换个角度理解云计算之MapReduce

学习云计算，必然得了解Hadoop，而Hadoop中的HDFS（分布式文件系统）是一个基础，接下来就写一下我所理解的HDFS。

有一个很有特别的村庄，村庄里面有一个很牛逼的人，叫做“大哥”，村民们都信得过他，于是会把自己家的粮食、农具等等各种各样的东西“打包成一个大的包裹”让“大哥”给存着，等用的时候，再去找大哥要。我们可以姑且简单的认为：“大哥”就是服务器Server，村民们是客户端Client，而村民打包的一个大的包裹就是一个很大的文件。

一开始大家相安无事，后来别的村的人（更多的Client）觉得在自己家里放那么多东西，太占地方，于是都找“大哥”，要把东西放他这儿。“大哥”人也算好，来者不拒，可是自己家里就那么多点儿地方，放不下了怎么办？

于是“大哥”想到一个办法，扩大自己家的地方（服务器扩大硬盘容量），这样就很好的解决了问题。

可是“大哥”的名气越来越多，往他这儿存东西的人越来越多，无休止的的扩大自己家的地方，也不是一个办法啊。“大哥”开始拼命读书，请教各路朋友支招，最终一个叫做“攻城狮”朋友一下点中要害：“大哥，你现在遇到的问题叫做大数据，有人也称为海量数据，有人也称为bigdata”。“兄台高见，可有破解之道？” “光靠扩充自己的家地方也不是办法，还得想到一个万全之策”。他们经过日夜思考，终于想到一个绝妙的办法，且听我慢慢道来。

大哥雇佣了其他一些人，我们姑且叫他们“小弟们”，他们是“主从的关系”。小弟们家里会有些地方，这样村民们往大哥这儿存东西的话，大哥并不用自己家的地方，而是放在别的小弟那儿，随着村民们存的东西越来越多，大哥只需要多雇佣点儿小弟就行了。

上面就是“大哥”和“攻城狮”想到的一个万全之策，他们称之为HDFS，而大哥为了小弟们称呼方便，给自己起了一个花名，叫做“NameNode”，也给小弟们每个人起了个花名：DataNode1、DataNode2、DataNode3、……。对于村民（客户端）来说，我需要存东西到你那儿，直接给你就行了，不用考虑太多，可是大哥心酸，又怎可知。我们看看大哥是如何很好的运作HDFS的。

假设有个村民要存一个大包裹给大哥，这个大包裹有多大呢，称了称，大概是“6GB”。接下来是大哥面对这“6GB”的东西，思考的一些问题和解决的方法。

1.这么大东西怎么存呢？

他把这么一个大的东西，切分成了64MB大小的块（Block），给小弟们（DataNode）分出去，而大哥（DataNode）脑子（内存）里面记下各个块都分给了哪个小弟。这样人家村民来取东西的时候，大哥“NameNode”会告诉村民各个块（Block）在哪个小弟手里，然后直接找小弟要就行了。

2.光记在脑子里不行，要是忘了怎么办？

村民的各种行为（创建、修改、删除）等操作时，大哥不能仅仅记在脑子里，还准备了两个本子（文件），一个叫做EditLog，一个叫做FSImage。无论村民新存东西、修改自己存的东西、删除自己存的东西，大哥“NameNode”都会在EditLog记下一笔。

万一EditLog或FSImage丢了怎么办？于是他找了个管家，叫做“SecondaryNameNode”，帮他也存着这两个文件，切记，虽然也有NameNode称号，但他仅仅是“管家”，不是“大哥”，要是大哥死了，管家也担当不了大哥的位置。

3.存数据块的小弟“挂了”怎么办呢？

（1）怎么知道小弟“挂了”呢？

为了保证小弟们好好干活，小弟（DataNode）需要周期性的向大哥（NameNode）汇报情况，称为“心跳信号heartbeat”，如果周期性的收到信号，表示小弟没事；如果没有收到呢，则说明小弟异常了。　　

（2）大哥的应对策略是什么呢？

大哥把大文件分成一个个64MB的小块给了小弟，万一哪个小弟挂了，这个数据块不就丢失了，村民还不得堵我家门。因此大哥把某一个块给其中一个小弟前，会先复制出两份，叫做“副本”，给其他小弟也存着，这种冗余存储，保证了数据的安全性。

（3）副本给哪些小弟呢？

一个数据块默认的3个副本，不是随便给哪个小弟的，一般给符合下面要求的小弟：

1）第一个副本给任意一个小弟（DataNode）。

2）第二个副本给第一个小弟的邻居。（同一个机架上）

3）第三个副本给其他小弟，离前面两个都远点儿。（不同机架的DataNode）

备注：同一个机架下的两个服务器带宽比不同机架间两台带宽要大。

（4）副本怎么给小弟

副本的复制是采用的流水线式复制方法。具体来说：客户端存数据的时候，先把数据写到本地磁盘临时文件中，等写够64MB了，NameNode才会告诉客户端一个DataNode地址，让客户端往里面写数据，第一个DataNode一小部分一小部分的接收数据，然后把接到的数据复制给第二个DataNode，然后第二个DataNode复制给第三个，以这种流水线式的进行副本的复制。

（5）万一有一个小弟挂了怎么办？

天有不测风云人有旦夕祸福，如果其中一个小弟真挂了，那么现在副本数变成了两个，大哥会再创建一个副本给其他小弟存着，保证副本的数量不少于3个，一切安全第一。

尼玛，终于搞定了海量数据存储的问题，大哥雇佣了这么多小弟，不能只存储数据吧，怎么着也得再干点儿别的吧，于是他们又想着去帮助村民去完成他们的一些计算等任务，这个时候，大哥又有了个名字，叫做“JobTracker”，而小弟们又有了个新的名字，叫做“TaskTracker”，又组成了一个新的团队，叫做：MapReduce。

换个角度理解云计算之MapReduce

上一篇简单讲了一下HDFS，简单来说就是一个叫做“NameNode”的大哥，带着一群叫做“DataNode”的小弟，完成了一坨坨数据的存储，其中大哥负责保存数据的目录，小弟们负责数据的真正存储，而大哥和小弟其实就是一台台的电脑，他们之间通过交换机，互相联系到了一起。

其实这位大哥和这群小弟不仅能存储数据，还能完成很多计算任务，于是他们有了新的名字，大哥叫做“JobTracker”，而小弟们叫做“TaskTracker”，一起组成了MapReduce。今天就来说说MapReduce是怎么一回事。

这里仅仅是从大面上去介绍，让大家有一个整体的认识，而整体上认识后，个别的细节知识自己再去看看别的资料，也就很容易理解了，只是时间问题而已。

刚开始学习MapReduce，肯定会被各种各样的概念整的晕头转向，到底尼玛任务、job、作业、Task有什么区别？split、数据分片、数据块、block到底什么区别？Map、Mapper、Map方法到底是不是一回事？到底Map输入的Key和Value是什么，是一行数据，还是一行行的数据？Reduce的输入到底尼玛是什么东西？他们之间到底是怎么一个数据流程？还出现了什么Sort、Merge、Shuffle？我了个去啊！！！

如果你也有这样的疑惑，那么下面听我慢慢道来吧，请记住两点：1.MapReduce是个框架，因此是很简单的，前先在脑子里面有这个观念。2.有了这个观念，就不要暴躁了，慢慢看下去吧。

为了说清MapReduce这个问题，我还是以经典的统计单词数量来一步步的说明。我来一步步的去说：

一、我们要干什么？

现在有一个文本文件，里面好多好多单词，文件有多大呢？别管它多大了，反正有很多行，我们要做的事情就是：统计出来到底这个文件里面每个单词出现的次数，最终输出结果到文件中。简单来说如下：

输入：一个有很多单词的文本文件。 　

例如：文件为test.txt,文件内容如下：
hello world
hello hadoop
hello dog
hello world
hello jobs

输出：一个显示单词出现次数的文件。

例如：统计出来结果为：
hello    29
world    300
hadoop    34
jobs    1

二、编写程序

针对上面这件事，我们编写程序，程序名字叫MyWordCount，我们把程序提交给MapReduce，让大哥和小弟们去做，我们称之为一个作业，英文名叫做job。

三、程序做了什么

关键点来了。

1、文件分割

这么大一个数据文件test.txt,首先输入进来之后，会被分割成一块一块的，称之为一个个split。为了方便我们假设分成了5个split，分别是split1~5，说白了，可以认为是把test.txt分成了五个小文件split1~5，每个split里面有很多行数据。（到底输入文件怎么划分，可以看看InputSplit,可以设置的，这里我们就假设那个test.txt文件内容从上到下分成了5份）。接下来分别对这5个split进行单词的统计，叫做分布式运算。每一个split作为输入数据，给了一个Map，因此叫做Map任务，你也可以叫做Mapper，在编写程序里面Mapper是一个类，用了继承的。

因此，总结一下就是：一个文件，分成了split1~5五个数据分片，每个数据分片对应一个Map任务，共五个Map任务，分别为Map1~5。那么这5个任务让谁去干呢？大哥“JobTracker”说，小弟“Tasktracker”们去干吧。要是有5个小弟，一人一个Map任务，可是假如有三个小弟的话，那么其中两个小弟就必须多干一个任务。

（实际运行过程中，大概是每个小弟大约10到100个Map，对于CPU消耗较小的，大哥可能会给这个小弟分配300个左右）

2.Map操作

让我们把镜头拉进其中一个split的Map过程，假设是split1的Map1过程。

Split1有好多行数据，整体给了Map任务去操作。那么Map任务怎么操作呢？在程序里面其实就是一个Mapper类而已。因此真正实现操作的是Mapper类的其中的map方法来操作，map方法会对输入文件进行操作。那么问题来了，map方法的输入key和value是什么呢，是split1的所有数据还是某一行数据。答案是：某一行数据。那是怎么怎么处理完成那么多行数据的。答案是：运行多次map方法。

因此，总结一下就是：split1有很多行数据，map1任务去处理，对于每一行数据，运行一次map方法。

假如split1有三行：第一行：hello world 第二行：hello hadoop 第三行：hello hadoop。

经过Map1任务运行三次map方法，

第一次map方法的：

输入的key为1，value为：hello world（其中key的值是我瞎编的，value值是对的）。运行map方法里面的代码后

输出为：第一行：hello 1，第二行：world 1

第二次运行map方法的

输入的key为12，value为：hello hadoop，运行map方法后，

输出为：第一行：hello 1,，第二行：hadoop 1

第三次运行map方法

输入的key为23，value为：hello hadoop，运行map方法后，

输出为：第一行：hello 1，hadoop 1

最终，split1，经过一次Map1任务的好多次map方法运行后，最终输出结果可能如下：

hello    1
world    1
hello    1
hadoop    1
hello    1
hadoop    1

最终，5个split1~5和5个map1~5输出了5份结果，分别存在了不同的节点上，以中间文件存在的，可能并不是知道它们在哪里。

接下来，就该进行Reduce的归并操作，最终统计出来结果，可是在Reduce之前，Map之后，还做了很多事情，下篇再写吧，这篇内容太长了。

3.Combiner操作

前面讲完Map操作，总结一下就是：一个大文件，分成split1~5，对应于Map1~5，每一个Map处理一个split，每一个split的每一行，会用每一个Map的map方法去处理，经过上面操作，最终输出了5个中间结果。

对于这5个中间结果的每一个来说，都有很多行，每一行是key value格式的，如hello　　1，这样子，在传给Reducer之前，为了减少传输的数据量，可以增加一个Combiner过程，把每个中间结果进行化简。因为每个中间结果可能有相同的键值的行，如：hello 1，hello 1，通过combiner，就可以合并成一行：hello 2.

切记：Combiner是Mapper任务的一部分，紧随map方法之后。看起来类似Reduce的操作。

之后，就可以把Combiner的输出传入Reducer，而不是Map的输出传入Reducer。Combiner需要自己指定，当然也可以不写。

4.Reducer操作

Reduce操作分成了三个过程

（1）Shuffle

前面的Map或者Combiner的输出，一共有有5份中间结果，其中的每一份结果，按照Key值可以分成（预先定义的R份），由R个Reduce来操作（通过Partitioner接口完成）。因此R个Reduce需要向5个中间结果都取一段数据，5个中间结果的其中每一结果是由R个Reduce操作的。

简单来说：对于其中某一个个Reduce1来说，分别从Map1~Map5里面把需要的那一份copy至本地，然后再合并Merge一下，供Sort使用。

（2）Sort

对于每一个Reduce来说，进来的数据为5个中间结果的中的一段，即Shuffle的结果，里面可能有重复的key，因此作为Reduce输入之前，会有一个sort操作，把相同Key的整合一下，例如<hello，1>,<hello,1>整合成<hello,(1,1)>，作为Reduce的输入，所以Reduce的输入的value一般是Iterable的。

（3）Reduce

这里是我们编写程序的地方了，一共R个Reduce，就能产生R个中间结果了。

注意：shuffle、sort、Reduce是在Reduce节点完成的，而不是在Map节点完成，有些书籍上写的是错的！

啰啰嗦嗦竟然讲了这么多，上一个我自己随手画的图，凑合看吧。