map-reduce 过程
中间绿线区域就是shuffle(“洗牌”)过程:map之后,reduce之前的过程。
可以这样理解:一个map 产生的数据,结果通过hash过程分区却分配给了不同的reduce任务,就相当于对数据洗牌的过程。
map端过程
reduce 过程
本文共 183 字,大约阅读时间需要 1 分钟。
map-reduce 过程
中间绿线区域就是shuffle(“洗牌”)过程:map之后,reduce之前的过程。
可以这样理解:一个map 产生的数据,结果通过hash过程分区却分配给了不同的reduce任务,就相当于对数据洗牌的过程。
map端过程
reduce 过程
转载于:https://my.oschina.net/u/189445/blog/528289