Hadoop是一个适合大数据的分布式存储和计算平台.
如前所述,狭义上说Hadoop就是一个框架平台,广义上讲Hadoop代表大数据的一个技术生态圈,包括很多其他软件框架.
Hadoop生态圈技术栈 |
---|
Hadoop(HDFS + MapReduce + Yarn) |
Hive数据仓库工具 |
HBase海量列式非关系型数据库 |
Flume数据采集工具 |
Sqoop ETL工具 |
Kafka高吞吐消息中间件 |
...... |
Hadoop=HDFS(分布式文件系统) + MapReduce(分布式计算框架) + Yarn(资源协调框架) + Common模块
图片中涉及到的几个角色:
Yarn中有如下几个主要角色,同样,既是角色名,也是进程名,也指代所在计算机节点名称
软件安装版本(如果VMware15闪退就安装12版本的)
Install centos7
直接回车运行即可
配置语言环境,选择English,点击continue继续按钮
点击DATE&TIME
在地图位置点击中国,选择时区为shanghai,点击左上角的Done按钮完成设置
选择 INSTALLATION DESTINATION
选择I will configure partitioning⾃自定义分区,然后按左上⻆角的蓝⾊色Done按钮
继续点击+
添加swap分区
继续点击+
添加根/分区,不写Desired Capacity的⼤大⼩小,即是把剩余的空间都给了了根/分区
点击Done 完成分区
点击Accept Changes。返回上一页,点击右下⻆角蓝⾊色按钮Begin installation
点击ROOT PASSWORD,输入两遍密码,确认后即可看到程序正在运行安装了
重新启动
最好在关机状态下,修改网络
点击编辑,选择倒数第二个选项“虚拟⽹网络编辑器器”,出现下⾯面的“虚拟⽹网络编辑器器”窗口。选择NAT模式,
注意子网IP前三位与NAT设置的网关IP、DHCP网段一致
使用命令:
vi /etc/sysconfig/network-scripts/ifcfg-ens33
打开ifcfg-ens33
文件,修改配置
ONBOOT改为yes, 开启自动启用网络连接
BOOTPROTO改为静态static
IPADDR改为你自己设置的ip (ip可以通过命令 ip addr来获得)
GATEWAY设置网关
设置DNS1作为主DNS,也可以加个DNS2作为备⽤用。
常见的DNS1=8.8.8.8
DNS2=8.8.4.4
按esc退出编辑模式后 :wq!
强制退出并保存;
此时,运⽤用命令ping baidu.com
即可看出已经联通:
systemctl status firewalld # 查看防火墙的状态 systemctl stop firewalld # 停止防火墙 systemctl disable firewalld # 禁止防火墙开机启动
三台虚拟机关闭防火墙:
第一步,查看防火墙状态:systemctl status firewalld
第二步,关闭三台机器器的selinux: vi /etc/selinux/config
hostname # 查看主机名 hostnamectl set-hostname linux121 # 修改主机名
另外一种修改主机名的方式:
vi /etc/sysconfig/network
打开network编辑
改动配置文件要进行网络重启: service network restart
从而使配置文件生效
vi /etc/hosts
我此时已经配置了了三台机器器的IP与hostname映射,从而可以达到,在本机ping hostname可通,如果没有配此映射,需用ping IP地址可通。如果是三台机器互相用hostname来ping,那么三台机器器必须同时配好三个IP和hostname的映射。
至此,网络配置完成。
下载jdk安装包,并解压到本地指定位置:
配置环境变量: vim /etc/profile
使环境变量生效: source /etc/profile
查看是否安装成功:
java -version javac
下载hadoop安装包,并解压到指定目录:
配置环境变量: vim /etc/profile
使环境变量生效: source /etc/profile
查看是否安装成功:
hadoop version
Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置
cd /opt/lagou/servers/hadoop-2.9.2/etc/hadoop
vim hadoop-env.sh # 配置:hadoop-env.sh 将JDK路径明确配置给HDFS export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
vim core-site.xml # 指定NameNode节点以及数据存储目录(修改core-site.xml) <!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://linux121:9000</value> </property> <!-- 指定Hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value> </property> core-site.xml的官方默认配置: https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/core-default.xml
vim hdfs-site.xml # 指定secondarynamenode节点(修改hdfs-site.xml) <!-- 指定Hadoop辅助名称节点主机配置 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>linux123:50090</value> </property> <!--副本数量 --> <property> <name>dfs.replication</name> <value>3</value> </property> hdfs-site.xml的官方默认配置: https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-hdfs/hdfs- default.xml
vim slaves # 指定datanode从节点(修改slaves文件,每个节点配置信息占一行) linux121 linux122 linux123 注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。
vim mapred-env.sh # 指定MapReduce使用的jdk路径(修改mapred-env.sh) export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml # 指定MapReduce计算框架运行Yarn资源调度框架(修改mapred-site.xml) <!-- 指定MR运行在Yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> mapred-site.xml的官方默认配置: https://hadoop.apache.org/docs/r2.9.2/hadoop-mapreduce-client/hadoop-mapreduce- client-core/mapred-default.xml
vim yarn-env.sh # 指定JDK路径 export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
vim yarn-site.xml # 指定ResourceMnager的master节点信息(修改yarn-site.xml) <!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>linux123</value> </property> <!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> yarn-site.xml的官方默认配置: https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-common/yarn- default.xml
vim slaves # 指定datanode从节点(修改slaves文件,每个节点配置信息占一行) linux121 linux122 linux123 注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。
注意:Hadoop安装目录所属用户和所属用户组信息,默认是501 dialout,而我们操作Hadoop集群的用户使 用的是虚拟机的root用户, 所以为了避免出现信息混乱,修改Hadoop安装目录所属用户和用户组!! chown -R root:root /opt/lagou/servers/hadoop-2.9.2
rsync 远程同步工具
基本语法
rsync -rvl $pdir/$fname $user@$host:$pdir/$fname 命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称
选项参数说明
选项 | 功能 |
---|---|
-r | 递归 |
-v | 显示复制过程 |
-l | 拷贝符号连接 |
yum -y install rsync
案例:编写shell代码将文件分发到所有服务器
vim rsync-script
:
#!/bin/bash #1 获取命令输入参数的个数,如果个数为0,直接退出命令 paramnum=$# if((paramnum==0)); then echo no params; exit; fi #2 根据传入参数获取文件名称 p1=$1 file_name=`basename $p1` echo fname=$file_name #3 获取输入参数的绝对路径 pdir=`cd -P $(dirname $p1); pwd` echo pdir=$pdir #4 获取用户名称 user=`whoami` #5 循环执行rsync for((host=121; host<124; host++)); do echo ------------------- linux$host -------------- echo "rsync -rvl $pdir/$file_name $user@linux$host:$pdir" rsync -rvl $pdir/$file_name $user@linux$host:$pdir done
修改脚本 rsync-script 具有执行权限: chmod 777 rsync-script
执行命令,分发文件: rsync-script /opt/lagou/servers/hadoop-2.9.2
注意:如果集群是第一次启动,需要在Namenode所在节点格式化NameNode,非第一次不用执行格
式化Namenode操作!!
hadoop namenode -format # 格式化NameNode
格式化命令执行效果:
格式化后创建的文件:/opt/lagou/servers/hadoop-2.9.2/data/tmp/dfs/name/current
[root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start namenode [root@linux121 hadoop-2.9.2]$ jps
[root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start datanode [root@linux121 hadoop-2.9.2]$ jps 3461 NameNode 3608 Jps 3561 DataNode
[root@linux122 hadoop-2.9.2]$ hadoop-daemon.sh start datanode [root@linux122 hadoop-2.9.2]$ jps 3190 DataNode 3279 Jps
[root@linux123 hadoop-2.9.2]$ hadoop-daemon.sh start datanode [root@linux123 hadoop-2.9.2]$ jps 3237 Jps 3163 DataNode
http://linux121:50070/dfshealth.html#tab-overview
查看HDFS集群正常节点:
[root@linux123 servers]# yarn-daemon.sh start resourcemanager [root@linux123 servers]# jps 7881 ResourceManager 8094 Jps
[root@linux122 servers]# yarn-daemon.sh start nodemanager [root@linux122 servers]# jps 8166 NodeManager 8223 Jps
[root@linux121 servers]# yarn-daemon.sh start nodemanager [root@linux121 servers]# jps 8166 NodeManager 8223 Jps
如果已经单节点方式启动了Hadoop,可以先停止之前的启动的Namenode与Datanode进程,如果
之前Namenode没有执行格式化,这里需要执行格式化!
hadoop namenode -format
[root@linux121 hadoop-2.9.2]$ sbin/start-dfs.sh [root@linux121 hadoop-2.9.2]$ jps 4166 NameNode 4482 Jps 4263 DataNode
[root@linux122 hadoop-2.9.2]$ jps 3218 DataNode 3288 Jps
[root@linux123 hadoop-2.9.2]$ jps 3221 DataNode 3283 SecondaryNameNode 3364 Jps
[root@linux123 hadoop-2.9.2]$ sbin/start-yarn.sh
注意:NameNode和ResourceManger不是在同一台机器,不能在NameNode上启动 YARN,应该
在ResouceManager所在的机器上启动YARN。
hadoop-daemon.sh start/stop namenode/datanode/secondarynamenode
yarn-daemon.sh start/stop resourcemanager/nodemanager
(1)整体启动/停止HDFS
start-dfs.sh / stop-dfs.sh
(1)整体启动/停止YARN
start-yarn.sh / stop-yarn.sh
在Yarn中运行的任务产生的日志数据不能查看,为了查看程序的历史运行情况,需要配置一下历史日志
服务器。具体配置步骤如下:
[root@linux121 hadoop]$ vi mapred-site.xml
在该文件里面增加如下配置:
<!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>linux121:10020</value> </property> <!-- 历史服务器web端地址 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>linux121:19888</value> </property>
[root@linux121 hadoop]$ rsync-script mapred-site.xml
[root@linux121 hadoop-2.9.2]$ mr-jobhistory-daemon.sh start historyserver
[root@linux121 hadoop-2.9.2]$ jps
http://linux121:19888/jobhistory
日志聚集:应用(Job)运行完成以后,将应用运行日志信息从各个task汇总上传到HDFS系统上。
日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。
注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和
HistoryManager。
开启日志聚集功能具体步骤如下:
[root@linux121 hadoop]$ vi yarn-site.xml
在该文件里面增加如下配置:
<!-- 日志聚集功能使能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 日志保留时间设置7天 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property> <property> <name>yarn.log.server.url</name> <value>http://linux121:19888/jobhistory/logs</value> </property>
[root@linux121 hadoop]$ rsync-script yarn-site.xml
[root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh stop resourcemanager [root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh stop nodemanager [root@linux121 hadoop-2.9.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver
[root@linux121 hadoop-2.9.2]$ bin/hdfs dfs -rm -R /wcoutput
[root@linux121 hadoop-2.9.2]$ hadoop jar share/hadoop/mapreduce/hadoop- mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput