安装好HDFS后配置yarn和MapReduce

1、如果是重新安装和配置MapReduce，首先清空数据文件夹，本人的数据文件夹在/root/data下输入如下命令：cd /root/datarm -rf *

2、清空所有文件以后，输入命令格式化hdfs节点hdfs namenode -format

3、启动hdfs，并测试启动hdfs命令 start-dfs.sh

4、测试通过以后开始配置 yarn框架首先来到hadoop的配置文件夹下cd /root/hadoop/etc/hadoop

5、拷贝hadoop配置文件夹下的mapred-site.xml.template重命名为mapred-site.xml，命令如下：cp mapred-site.xml.template mapred-site.xml注意：hadoop文件夹下默认是有一个mapred-site.xml文件的，在拷贝之前请先把那个文件删除，默认的文件时空文件。

6、拷贝完成以后在添加如下标签<property> <name>mapreduce.framework.name</name> <value>yarn</value></property>注意：configuration标签是存在的只需要将name-value对放入就可以了。

7、配置完成以后，再配置yarn-site.xmlvi yarn-site.xml并在yarn-site.xml的configuration中加入如下配置<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>保存退出，以上是yarn的最基本的配置

8、输入命令start-yarn.sh启动yarn如果启动成功后，利用jps查看进程会发现出现了如下进程namenodedatanodesecondarynamenode以上三个进程是hdfs的进程nodemanagerresourcemanager以上两个是yarn的进程jps是java自己的进程一共会出现6个进程，这证明yarn被成功启动了

9、测试当前yarn首先利用hdfs创建根目录下的test文件夹hdfs dfs -mkdir /test

10、将/root/hadoop/etc/hadoop下所有的xml文件拷入test文件夹hdfs dfs -put *.xml /test

11、然后进入目录/root/hadoop/share/hadoop/mapreducecd/root/hadoop/share/hadoop/mapreduce找到hadoop给的测试用例hadoop-mapreduce-examples-2.6.0.jar

12、输入命令hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /test /outputwordcount是文字记数/test是输入/output是输出

13、运行完成以后，进入到output文件夹下hdfs dfs -ls /outputhdfs dfs cat /output/xxxxx如果结果正常，证明单机版的yarn已经成功构架

14、单机版的yarn配置好以后，配置集群版的yarn集群版的配置与单机版的配置主要区别还是集中在xml文件的配置上

15、第一个配置文件就是yarn-site.xmlvi /root/hadoop/etc/hadoop/yarn-site.xml添加如下配置：配置yarn的resourcemanager访问地址<property> <name>yarn.resourcemanager.address</name> <value>hadoop1:9080</value></property>配置yarn的调度器scheduler访问地址<property> <name>yarn.resourcemanager.scheduler.address</name> <value>hadoop1:9081</value></property>配置yarn的resource-tracker访问地址<property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>hadoop1:9082</value></property>配置yarn.nodemanager.aux-services<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property>

16、第二个配置文件就是mapreduce-site.xml<property><name>mapreduce.framework.name</name><value>yarn</value> </property>

17、配置好以后将所有文件同步到集群当中，命令如下：scp /root/hadoop/etc/hadoop/*.xml hadoop2:/root/hadoop/etc/hadoop/

18、在slaves中配置hadoop集群重启hadoop后，集群配置成功