Big Data Memo

天行健，君子以自强不息；地势坤，君子以厚德载物。

Spark Streaming Lesson 1

1 Overview Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput(高吞吐), fault-tolerant(容错机制) stream processing of live data streams(实时流处理). Data can be ingest...

Posted by Big Data Memo on September 8, 2016

travel Map

Posted by Big Data Memo on September 5, 2016

Scala Lesson 16

链接：https://segmentfault.com/a/1190000005043288#articleHeader56 Databricks Scala 编程风格指南声明 (Disclaimer) The Chinese version of the Databricks Scala Guide is contributed and maintained by communit...

Posted by Big Data Memo on September 2, 2016

Scala Lesson 15

### Resilient Distributed Datasets https://people.eecs.berkeley.edu/~jegonzal/pyspark/_modules/pyspark/rdd.html spark-sreaming-practice Spark Shuffle初探 Hadoop家族学习路线图

Posted by Big Data Memo on September 2, 2016

Scala Lesson 14

Scala 提取器(Extractor) 提取器是从传递给它的对象中提取出构造该对象的参数。 Scala 标准库包含了一些预定义的提取器，我们会大致的了解一下它们。 Scala 提取器是一个带有unapply方法的对象。unapply方法算是apply方法的反向操作：unapply接受一个对象，然后从对象中提取值，提取的值通常是用来构造该对象的值。以下实例演示了邮件地址...

Posted by Big Data Memo on September 2, 2016

Scala Lesson 13

Scala 异常处理 Scala 的异常处理和其它语言比如 Java 类似。 Scala 的方法可以通过抛出异常的方法的方式来终止相关代码的运行，不必通过返回值。抛出异常 Scala 抛出异常的方法和 Java一样，使用 throw 方法，例如，抛出一个新的参数异常： throw new IllegalArgumentException 捕获异常异常捕捉的机制与其...

Posted by Big Data Memo on September 2, 2016

Scala Lesson 12

Scala 正则表达式 Scala 通过 scala.util.matching 包种的 Regex 类来支持正则表达式。以下实例演示了使用正则表达式查找单词 Scala : import scala.util.matching.Regex object RegExp1 { def main(args: Array[String]) { val pattern ...

Posted by Big Data Memo on September 2, 2016

Scala Lesson 11

Scala 模式匹配 Scala 提供了强大的模式匹配机制，应用也非常广泛。一个模式匹配包含了一系列备选项，每个都开始于关键字 case。每个备选项都包含了一个模式及一到多个表达式。箭头符号 => 隔开了模式和表达式。以下是一个简单的整型值模式匹配实例： object PatternMatching1 { def main (args: Array[St...

Posted by Big Data Memo on September 2, 2016

kafka组件深度解析

kafka组件深度解析kafka1,kafka介绍关于kafka入门的文章最好的就莫过于kafka的官方文档了，这上面对kafka的定义是：Kafka is a distributed, partitioned, replicated commit log service. It provides the functionality of a messaging system, but w...

Posted by Big Data Memo on September 2, 2016

Scala Lesson 9

Scala 文件 I/O 1 文件写操作 Scala 进行文件写操作，直接用的都是 java中的 I/O 类（java.io.File)： import java.io._ object IOs1 { def main(args: Array[String]) { val writer = new PrintWriter(new File("test.txt" ...

Posted by Big Data Memo on September 1, 2016