Big Data Memo

天行健，君子以自强不息；地势坤，君子以厚德载物。

scala Lesson 5

Scala 字符串 object Strings{ def main(args: Array[String]){ println(greeting) } val greeting: String = "Hello, World!" } 以上实例定义了变量 greeting，为字符串常量，它的类型为 String (java.lang.St...

Posted by Big Data Memo on August 31, 2016

scala Lesson 4

函数函数是一组一起执行一个任务的语句。您可以把代码划分到不同的函数中。如何划分代码到不同的函数中是由您来决定的，但在逻辑上，划分通常是根据每个函数执行一个特定的任务来进行的。 Scala 有函数和方法，二者在语义上的区别很小。Scala 方法是类的一部分，而函数是一个对象可以赋值给一个变量。换句话来说在类中定义的函数即是方法。我们可以在任何地方定义函数，甚至可以在函数内定义函数（内嵌...

Posted by Big Data Memo on August 31, 2016

scala Lesson 3

Scala IF…ELSE 语句 1 if语句语法格式： if (boole express) { // 如果布尔表达式为true则执行该语句块；否则跳过大括号内的语句块，执行大括号之后的语句块。 } # ex object Ifs { def main(args: Array[String]){ var x = 10; if (x ...

Posted by Big Data Memo on August 30, 2016

scala Lesson 2

Scala 访问修饰符 Scala 访问修饰符基本和Java的一样，分别有：private，protected，public。如果没有指定访问修饰符符，默认情况下，Scala对象的访问级别都是 public。 Scala 中的 private 限定符，比 Java 更严格，在嵌套类情况下，外层类甚至不能访问被嵌套类的私有成员。 1 私有(Private)成员用private关键字修饰，...

Posted by Big Data Memo on August 30, 2016

scala Lesson 1

变量函数 1 变量：var，val—-immutable Scala的变量分两种，var和val。var，即variable，类似于我们在Java等其他语言中接触到的变量，而val，是value，类似于我们在其他语言中用到的不可重新赋值的常量，或者final变量。Scala非常强调不可变（immutable）的概念。 Scala编译器通过类型推断（Type Inf...

Posted by Big Data Memo on August 30, 2016

Hadoop Tutorial ---- 学习安排

Hive专题第一节 Hive（9月11日）(陈东辉讲) 任务式学习参照考试列表（计划3-4节*40分钟/每节）参考书: 下载 Spark专题第二节 Scala（9月25日）（陈东辉讲） 1cala语法编程基础（计划3-4节*40分钟/每节）第三节 Streaming&Spark SQL&GraphX（10月16日）（第1、2主题于利君讲，第3主...

Posted by Big Data Memo on August 28, 2016

consistent hashing

前言一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。一致性hash算法提出了在动态变化的Cache环境中，判定哈希算法好坏的四个定义： 1、平衡性(Ba...

Posted by Big Data Memo on August 25, 2016

google trends

Posted by some on August 21, 2016

scala with sublime

Scala特点： Scala是一种纯面向对象的语言，一切都是对象：将原始类型和类统一起来，同时也将函数和操作符统一起来。 Scala又是函数式语言，这体现在，函数在Scala中也是一种对象，并且能非常自然的使用高阶函数。 Scala是静态类型的语言，但是由于它强大的类型推断，实际需要指定类型的地方并不多。在拥有静态语言和编译型语言的安全高效的优势的同时，Sc...

Posted by Big Data Memo on August 20, 2016

Hadoop Tutorial ---- Spark入门实战系列--1.Spark及其生态圈简介

Site Spark入门实战系列–1.Spark及其生态圈简介 start SparkFrames spark-shell –packages graphframes:graphframes:0.2.0-spark2.0-s_2.11

Posted by Big Data Memo on August 17, 2016