HadoopMap Reduce Map Reduce Map Reduce Part 1

  • Slides: 37
Download presentation

目录 遇到的问题 Hadoop与Map. Reduce编程 Map. Reduce执行 Map. Reduce实例

目录 遇到的问题 Hadoop与Map. Reduce编程 Map. Reduce执行 Map. Reduce实例

Part 1 Hadoop与Map. Reduce

Part 1 Hadoop与Map. Reduce

Part 2 Map. Reduce编程

Part 2 Map. Reduce编程

Part 3 Map. Reduce执行

Part 3 Map. Reduce执行

Map. Reduce执行

Map. Reduce执行

Part 3 Map. Reduce实例

Part 3 Map. Reduce实例

Map. Reduce实例 单词统计 Word. Count – Python版 ---------------------- Ø Mapper. py 文件

Map. Reduce实例 单词统计 Word. Count – Python版 ---------------------- Ø Mapper. py 文件

Map. Reduce实例 单词统计 Word. Count – Python版 ---------------------- Ø Reducer. py 文件

Map. Reduce实例 单词统计 Word. Count – Python版 ---------------------- Ø Reducer. py 文件

Map. Reduce实例 文档倒排索引算法 ---------------------- doc 1: one fish two fish doc 2: red fish

Map. Reduce实例 文档倒排索引算法 ---------------------- doc 1: one fish two fish doc 2: red fish blue fish doc 3: one red bird 倒排索引: one: doc 1, doc 3 fish: doc 1, doc 2 two: doc 1 red: doc 2, doc 3 blue: doc 2 bird: doc 3 搜索: fish doc 1, doc 2 red doc 2, doc 3 red fish doc 2 Map:输入 (文档名+行号, 内容); 输出list(单词, 文档名) Reduce: 输出(单词, list(文档名)); 输出list(单词, 文档列表)

Others 其他

Others 其他