MapReduce - WordCount程序练习与 Hadoop的Web验证

• 一、试验目的
• 二、试验环境
• • 1、环境
  • 2、集群规划
• 三、实验内容
• • 项目一 MapReduce - WordCount程序练习
  • • 任务一 下载一个WordCount的程序包并上传
    • 任务二 运行示例
  • 项目二 Hadoop的Web验证练习
  • • 任务一 Hadoop的Web验证练习

一、试验目的

1、上传WordCount的jar执行程序
2、使用WordCount进行MapReduce计算

二、试验环境

1、环境

1、一台独立PC机或虚拟机
2、每台主机内存2G以上，磁盘剩余空间300M以上已安装CentOS 7.2操作系统
3、已安装JDK
4、已完成Hadoop平台的搭建

2、集群规划

※Hadoop的高可用完全分布模式中有HDFS的主节点和数据节点、MapReduce的主节点和任务节点、数据同步通信节点、主节点切换控制节点总共6类服务节点，其中HDFS的主节点、MapReduce的主节点、主节点切换控制节点共用相同主机Cluster-01和Cluster-02 ,HDFS的数据节点、MapReduce的任务节点共用相同主机Cluster-03、Cluster-04、Cluster-05，数据同步通信节点可以使用集群中的任意主机，但因为其存放的是元数据备份，所以一般不与主节点使用相同主机。

※高可用完全分布模式中需要满足主节点有备用的基本要求，所以需要两台或以上的主机作为主节点，而完全分布模式中需要满足数据有备份和数据处理能够分布并行的基本要求，所以需要两台或以上的主机作为HDFS的数据节点和MapReduce的任务节点，同时数据同步通信节点工作原理同Zookeeper类似，需要三台或以上的奇数台主机。

具体规划 如下：

三、实验内容

项目一 MapReduce - WordCount程序练习

任务一 下载一个WordCount的程序包并上传

1、上传jar包
（1）现在以"admin"普通用户登录"Master.Hadoop"服务器。即在主节点操作。
首先在"/home/admin"目录下创建文件夹"file"。

$mkdir ~/file

（2）接着创建两个文本文件file1.txt和file2.txt。
使file1.txt内容为"Hello World"，而file2.txt的内容为"Hello Hadoop"。

$ cd file
$ echo "Hello World"> file1.txt
$ echo "Hello Hadoop"> file2.txt

（3）在HDFS上创建输入文件夹

$ hadoop fs -mkdir input

（4）上传本地file中文件到集群的input目录下

$ hadoop fs -put ~/file/file*.txt input
$ hadoop fs -ls input

（5）上传jar包
先使用Xftp工具把WordCount的jar执行程序包，上传到~/hadoop/hadoop-2.7.3/share/hadoop/mapreduce目录下

任务二 运行示例

1、备注:以input作为输入目录，output目录作为输出目录。
执行命令:

$ hadoopjar~/hadoop/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-0.20.2-examples.jar wordcount input output

注：Hadoop命令会启动一个JVM来运行这个MapReduce程序，并自动获得Hadoop的配置，同时把类的路径（及其依赖关系）加入到Hadoop的库中。
以上就是Hadoop Job的运行记录，从这里可以看到，这个Job被赋予了一个ID号: job_1533748123309_0002，而且得知输入文件有两个(Totalinput paths to process : 2)，同时还可以了解map的输入输出记录（record数及字节数），以及reduce输入输出记录。比如说，在本例中，map的task数量是2个，reduce的task数量是一个。map的输入record数是2个，输出record数是4个等信息。

2、查看结果
（1）查看HDFS上output目录内容

$ hadoop fs -ls output

（2）查看结果输出文件内容

$ hadoop fs -cat output/part-r-00000

项目二 Hadoop的Web验证练习

任务一 Hadoop的Web验证练习

HDFS启动验证
1、查看jps进程
2、打开浏览器查看个集群的HDES状态∶
http://192.168.10.111:50070/
http://192.168.10.111:50070/dfshealth.html#tab-overview
ResourceManager状态查看︰
1、打开浏览器查看集群状态、日志信息等:
http://192.168.10.111:8088/
http://i92.168.10.111:8088/cluster
在从节点上查看NodeManager信息︰
http://192.168.10.113:8042/

在这里插入图片描述