Big Data Memo

天行健，君子以自强不息；地势坤，君子以厚德载物。

ANS1

The Fourier transform of an aperiodic discrete signal x[n] is given by: \[X({\omega}) = \sum_{n=-\infty}^{\infty} x[n] e^{-j\omega n}\] where $j$ is the imaginary unit, $\omega$ is the angular fr...

Posted by Big Data Memo on March 11, 2023

Market-Regimes with a Hidden-Markov Model

1 马尔可夫过程（Markov Process）马尔可夫过程是一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。马尔可夫过程是研究离散事件动态系统状态空间的重要方法，它的数学基础是随机过程理论。马尔可夫性随机过程若随机过程\(\{X(t), x \in T\}\)满足马尔可夫性，则称为马尔可夫过程。以上摘自。同...

Posted by Big Data Memo on September 21, 2018

数据挖掘，你我常常忽略的小问题

题记半亩方塘一鉴开，天光云影共徘徊。问渠哪得清如许，唯有源头活水来。 –朱熹 Intro 矿工一枚，有太多的故事（眼泪）想要给大家分享，今天就来谈一谈数据挖掘中常常被我们忽略的小问题（踩过的坑），（强装笑脸）。数据挖掘，让我们从下面这张图开始吧。图一从现实世界到模型世界图片来自网络，版权无关。咳咳，注意，本篇不是八卦文，在这里我们要正经地讨论一些小case。如图所...

Posted by Big Data Memo on July 17, 2018

数据挖掘，你我常常忽略的小问题

题记半亩方塘一鉴开，天光云影共徘徊。问渠哪得清如许，唯有源头活水来。 –朱熹 Intro 矿工一枚，有太多的故事（眼泪）想要给大家分享，今天就来谈一谈数据挖掘中常常被我们忽略的小问题（踩过的坑），（强装笑脸）。数据挖掘，让我们从下面这张图开始吧。图一从现实世界到模型世界图片来自网络，版权无关。咳咳，注意，本篇不是八卦文，在这里我们要正经地讨论一些小case。如图所...

Posted by Big Data Memo on July 17, 2018

TuShare Data

PREF: ** Tushare当前（2018.3.12）版为’1.0.5’** 1 Tushare是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工到数据存储的过程，能够为金融分析人员提供快速、整洁、和多样的便于分析的数据，为他们在数据获取方面极大地减轻工作量，使他们更加专注于策略和模型的研究与实现上。考虑到Python pandas包...

Posted by Big Data Memo on March 12, 2018

Graphx operation 2[转]

This page is maily from the web http://blog.csdn.net/u013468917/article/details/51199808 sth changed for 2.0. 简介在Hadoop兴起之后，google又发布了三篇研究论文，分别阐述了了Caffeine、Pregel、Dremel三种技术，这三种技术也被成为google的新“三驾...

Posted by Big Data Memo on February 13, 2018

Graphx operation 1

This page is maily from the web http://blog.csdn.net/u013045749/article/details/50483407 sth changed for 2.0. import org.apache.spark._ import org.apache.spark.SparkContext import org.apache.spark...

Posted by Big Data Memo on February 13, 2018

如何用Python发送邮件

1 背景介绍工作当中，每天会有比较大的数据报表的监控，需要手动复制粘贴比较多的内容，重复工作会占用大量的时间，如果实现自动化就能够释放出大量的宝贵时间。因而自动发送邮件项目就诞生啦。 2 项目开始 2.1 数据源数据源的稳定是基础前提。本次我们读的数据源在大数据平台上，如何通过python相应接口来读呢？直接上代码： # Hive connect Test import py...

Posted by Big Data Memo on February 3, 2018

Graphx prelimery

This page is maily from http://spark.apache.org/docs/2.0.2/graphx-programming-guide.html. Just for markable. Example Property Graph Suppose we want to construct a property graph consisting of the...

Posted by Big Data Memo on January 7, 2018

如何用Python和深度神经网络识别图像？[转录]

This is from http://blog.sciencenet.cn/blog-377709-1091943.html。 1 环境准备 1.1 数据下载 git clone https://github.com/wshuyi/demo-python-image-classification.git cd demo-python-image-classification 1....

Posted by Big Data Memo on January 3, 2018