MapReduce

“先 Map 再 Reduce”——这个简单的编程模型是分布式计算的经典范式。通过 WordCount 入门 MapReduce。 一、分治思想 1.1 单机处理大文件的困境 1.2 Map——分而治之，并行处理 1.3 Reduce——汇总合并 1.4 为什么叫 MapReduce——函数式编程渊源 二、WordCount 完整流程 2.1 输入——一行一行读 2.2 Map 阶段——切词 + 计数 2.3 Shuffle 阶段——按 Key 分组 2.4 Reduce 阶段——累加求和 2.5 完整的数据流图示 三、MapReduce 编程要素 3.1 Mapper 类——m...