经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » MapReduce » 查看文章
【Hadoop】:MapReduce核心思想
来源:cnblogs  作者:Geeksongs  时间:2021/1/11 12:36:54  对本文有异议

一.MapReduce流程介绍

假设我们有一个任务:用于统计一个文件当中一个单词出现的总次数,查询结果保存到两个文件里,一个装载a-p单词出现的次数,一个文件装载q-z单词出现的个数。下面是这个任务使用mapreduce实现的具体流程:

 

 

 MapReduce当中需要注意的是:

1.一个MapReduce程序运行之后,Map和Reduce阶段都可以并行执行,但是每次一个MapReduce程序只能处理一个任务,不能够多个任务并行执行。一个任务当中的每一步可以并行执行。

2.MapReduce如果想要处理多个任务,只能进行串行执行

二.MapReduce中的进程

在进行分布式运行的时候,一共MapReduce任务仅有三个进程,如下所示:

三.MapReduce编程规范

1.Mapper阶段

 

 2.Reducer阶段和Driver阶段

在Mapper阶段执行完毕之后,开始Reducer阶段的执行,如下图所示:

 

 完毕!!!

原文链接:http://www.cnblogs.com/geeksongs/p/14261329.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号