现在的我们,生活在数据大爆炸的年代。2020年,全球的数据总量达到44ZB,经过单位换算后,至少在440亿TB以上,也就是说,全球每人一块1TB的硬盘都存储不下。
扩展:数据大小单位,从小到大分别是:byte,kb、mb、Gb、Tb、PB、EB、ZB、DB、NB…单位之间的转换都是满足1024
为了解决大数据的处理问题,为了解决大数据的存储问题
Hadoop是Apache基金会旗下一个开源的分布式存储和分析计算平台,使用jvai语言开发,具有很好的跨平台性,可以运行在商用(廉价硬件上,用户无需了解分布式底层摇节,就可以开发分布式程序,充分使用集群的高速计算和存储
hadoop2.0以后的四个模块: - Hadoop Common : Hadoop模块的通用组件 - Hadoop Distributed File System:分布式文件系统 - Hadoop YARN:作业调度和资源管理框架 - Hadoop MapReduce:基于YARN的大型数据集并行计算处理框架 hadoop3.0新扩展的两个模块: - Hadoop 0zone:Hadoop的对象存储机制 - Hadoop Submarine : Hadoop的机器学习引擎
1.检查一下是否已经安装过或者系统内置JDK,如果有内置的,将其卸载
[root@tianqinglong01 ~]#rpm -qa |grep jdk # 如果有,将其卸载 [root@tianqinglong01 ~]#rpm -e xxxxxx --nodeps #将查询到的内置jdk强制卸载
2.上传jdk1.8
将jdk-8u221-linux-x64.tar.gz上传到/root目录中
3.解压jdk到usr/local/下
[root@tianqinglong01 ~]# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local
4.更名jdk
[root@tianqinglong01 ~]# cd /usr/local [root@tianqinglong01 ~]# mv jdk1.8.0_221/ jdk
5.配置jdk的环境变量 /etc/profile
[root@tianqinglong01 ~]# vim /etc/profile ......省略....... #jdk environment export JAVA_HOME=/usr/local/jdk export PATH=$PATH:$JAVA_HOME/bin # export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
6.使当前窗口生效
[root@tianqinglong01 ~]# source /etc/profile
7.验证jdk环境
javac java -version
完全分布式环境需求及安装
1.三台机器的防火墙必须是关闭的 2.确保三台机器的网络配置通常(NAT模式、静态IP、主机名的配置) 3.确保/etc/hosts文件配置了IP和hosts的映射关系 4.确保配置了三台机器的免密登录认证 5.确保所有的机器时间同步 6.JDK和Hadoop的环境变量配置
[root@tianqinglong01 ~]# systemctl stop firewalld [root@tianqinglong01 ~]# systemctl disable firewalld 禁止开机自启动 [root@tianqinglong01 ~]# systemctl stop NetworkManager [root@tianqinglong01 ~]# systemctl disable NetworkManager #最好也把selinux关闭掉,这是li nux系统的一个安全机制,进入文件中将SELINUX设置为disabled [root@tianqinglong01 ~]# vim /etc/selinux/config .......... SELINUX=disabled ..........
--1. 配置静态IP (确保NAT模式) [root@tianqinglong01 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33 ........ BOOTPROTO=static # 将dhcp改为static ........ ONBOOT=yes #将no改为yes IPADDR=192.168.10.101 #添加IPADDR属性和ip地址 (101 102 103) PREFIX=24 #添加NETMASK-255.255.255.8或者PREFIX-24 GATEWAY=192.168.10.2 #添加网关GATETAY DNS1=114.114.114.114 #添加DNS1和备份DNS DNS2=8.8.8.8 --2.重启网络服务 [root@tianqinglong01 ~]# systemctl restart network 或者 [root@tianqinglong01 ~]# service network restart --3.修改主机名(如果修改过,请略过这一步) [root@tianqinglong01 ~]# hostnamectl set-hostname tianqinglong01 或者 [root@tianqinglong01 ~]# vi/etc/hostname tianqinglong01
[root@tianqinglong01 ~]# vi /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localhostdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localhostdomain6 192.168.10.101 tianqinglong01 # 添加本机的静态IP和本机的主机名之间的映射关系 192.168.10.101 tianqinglong02 192.168.10.101 tianqinglong03 :wq #保存并退出 #给02 03配置 scp /etc/hosts tianqinglong02:/etc/ yes 输入密码 scp /etc/hosts tianqinglong03:/etc/ yes 输入密码
-1. 使用rsa加密技术,生成公钥和私钥,一路回车即可 01 02 03都要生成 [root@tianqinglong01 ~]# cd ~ [root@tianqinglong01 ~]# ssh-keygen -t rsa -2.进入~/.ssh目录下,使用ssh-copy-id命令 (01 02 03 都一样) [root@tianqinglong01 ~]# cd ~/.ssh [root@tianqinglong01 .ssh]# ssh-copy-id root@tianqinglong02 输入02密码 [root@tianqinglong01 .ssh]# ssh-copy-id root@tianqinglong03 输入03密码 -3.进行验证 [root@tianqinglong01 .ssh]# ssh tianqinglong #发现直接登陆过来了,不需要密码 注意:三台机器提前安装好的情况下,需要同步公钥文件。如果使用克隆技术。那么使用同一套密钥对就方便多了。
# 1 选择集群中的某一台机甚作为时间服务器。tianqinglong01 # 2 保证这台服务第安装了ntp.x86_64。 # 3 保证ntpd服务运行..- --- [root@tianqinglong01 .ssh]# yum install ntp -y [root@tianqinglong01 .ssh]# vim /etc/ntp.conf # Hosts on local network are less restricted. # restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap # 添加集群中的网络段位 restrict 192.168.10.e mask 255.255.255.0 nomodify notrap # Use public servers from the pool.ntp.org project. #Please consider joining the pool (http://nw.pool.ntp.org/join.html # server 0.centos,pool.ntp.org iburst注释掉 # server 1.centos.pool.ntp.org iburst注释掉 # server 2.centos.pool.ntp.org iburst注释掉 # server 3.centos. pool.ntp.org iburst注释掉 server 127.127.1.0 -master作为服务器 :wq [root@tianqinglong01 .ssh]# systemctl start ntpd [root@tianqinglong01 .ssh]# systemctl status ntpd 02 安装 yum install ntpdate -y ntpdate -u tianqinglong01 03 安装 yum install ntpdate -y ntpdate -u tianqinglong01 # 其他机器要使用root定义定时器 [root@tianqinglong02 .ssh]#crontab -e * * * * * /usr/sbin/ntpdate -u tianqinglong01 > /dev/null 2>&1 :wq [root@tianqinglong03 .ssh]#crontab -e * * * * * /usr/sbin/ntpdate -u tianqinglong01 > /dev/null 2>&1 :wq 02 03的jdk环境配置 [root@tianqinglong01 local]# scp -r jdk/tianqinglong02:$PWD [root@tianqinglong01 local]# scp -r jdk/tianqinglong03:$PWD
# 1.上传和解压两个软件包 [root@tianqinglong01 ~J# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/ [root@tianqinglong01 ~J# tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/ # 2.进入local里,给两个软件更名 [root@tianqinglong01 ~J# cd /usr/local/ [root@tianqinglong01 localJ# mv 1.8.0_221/jdk [root@tianqinglong01 localJ# mv hadoop-2.7.6/ hadoop # 3.配置环境变量 [root@tianqinglong01 hadoopJ# vim /etc/profile export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin [root@tianqinglong01 hadoopJ# source /etc/profile [root@tianqinglong01 hadoopJ# cd [root@tianqinglong01 ~J# hadoop version 02 03 也要安装hadoop [root@tianqinglong01 localJ# scp -r hadoop/tianqinglong02:$PWD [root@tianqinglong01 localJ# scp -r hadoop/tianqinglong03:$PWD [root@tianqinglong01 localJ# scp /etc/profile tianqinglong02:/etc/ [root@tianqinglong01 localJ# scp /etc/profile tianqinglong03:/etc/ 02 [root@tianqinglong02 .sshJ# source /etc/profile [root@tianqinglong02 ~J# hadoop version 03 [root@tianqinglong03 .sshJ# source /etc/profile [root@tianqinglong03 ~J# hadoop version
NameNode :是用来维护集群的目录树结构,并对外提供服务的节点
DateNode : 数据存储的节点
我们需要通过配置若干配置文件,来实现Hadoop集群的配置信息。需要配置的文件有: hadoop-env.sh yarn-env.sh core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml
[root@tianqinglong01 ~]# cd $HADOOP_HOME/etc/hadoop/ [root@tianqinglong01 hadoop]# vi core-site.xml <configurations> <!-- hdfs的地址名称: schome ,ip,port--> <!--在Hadoop1.x的版本中,默认使用的端口是9000。在Hadoop2.x的版本中,默认使用端口是8020 --> <property> <name>fs.defaultFS</name> <value>hdfs://tianqinglong01:8020</value> </property> <!-- hdfs的基础路径。被其他属性所依赖的一个基础路径--> <property> <name>hodoop.tmp.dir</name> <value>/usr/local/hodoop/tmp</value> </property> </configurations>
[root@tianqinglong01 hadoop]# vi hdfs-site.xml <configuration> <!-- namenode守护进程管理的元数据文件fsimage存储的位置--> <property> <name>dfs.namenode.name.dir</name> <value>file://${hadoop.tmp.dir}/dfs/name</value> </ property> <!--确定DFS数据节点应该将其块存储在本地文件系统的何处--> <property> <name>dfs.datanode.data.dir</name> <value>file://${hadoop.tmp.dir}/dfs/data</value> </property> <!--块的副本数--> <property> <name>dfs.replicationc</name> <value>3</value> </property> <!--块的大小(128M),下面的单位是字节--> <property> <name>dfs.blocksize</name> <value>134217728</value> </property> <!-- secondarynamenode守护进程的http地址:主机名和端口号。参考守护进程布局--> <property> <name>dfs.namenode.secondary.http-address</name> <value>tianqinglong02:50090</value> </property> <!-- namenode守护进程的http地址:主机名和端口号。参考守护进程布局--> <property> <name>dfs.nomenode.http-address</name> <value>tianqinglong01:50070</value> </property> </configuration>
[root@tianqinglong01 hadoop]# cp mapred-site.xml.template mapred-site.xml [root@tianqinglong01 hadoop]# vi mapred-site .xml <configuration> <!--指定mopreduce使用yarn资源管理器--> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <!--配置作业历史服务器的地址--> <property> <name>mapreduce.jobhistory.address</name> <value>tianqinglong01:10020</value> </property> <!--配置作业历史服务器的http地址--> <property> <name>mopreduce-jobhistory.webapp.address</name> <value>tianqinglong01:19888</value> </property> </configurations>
[root@tianqinglong01 hadoop]# vi yarn-site.xml <configuration> <!--指定yarn的shuffle技术--> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!--指定resourcemanager的主机名--> <property> <name>yarn.resourcemanager.hostname</name> <value>tianqinglong01</value> </property> <!--下面的可选--> <!--指定shuffle对应的类--> <property> <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <!--配置resourcemanager的内部通讯地址--> <property> <name>yarn.resourcemanager.address</name> <value>tianqinglong:8032</value> </property> <!--配置resourcemanager的scheduler的内部通讯地址--> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>tianqinglong01:8030</value> </property> <!--配置resoucemanager的资源调度的内部通讯地址--> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>tianqinglong:8031</value> </property> <!--配置resourcemanager的管理员的内部通讯地址--> <property> <name>yarn.resourcemanager.admin.address</name> <value>tianqinglong:8033</value> </property> <!--配置resourcemanager的web ui的监控页面--> <property> <name>yarn.resourcemanager.webapp.address</name> <value>tianqinglong:8088</value> </property> </configuration>
[root@tianqinglong01 hadoop]# vim hadoop-env.sh ......... # The java implementation to use export JAVA_HOME=/usr/local/jdk .........
[root@tianqinglong01 hadoop]# yarn-env.sh ........ # some Java Paramters JAVA_HOME=/usr/local/jdk ........
此文件用于指定datanode守护进程所在的机器节点主机名 [root@tianqinglong01 hadoop]# vim slaves tianqinglong01 tianqinglong02 tianqinglong03
[root@tianqinglong01 hadoop]# cd .. [root@tianqinglong01 etc]# ll [root@tianqinglong01 etc]# scp -r hadoop/ tianqinglong02:$PWD [root@tianqinglong01 etc]# scp -r hadoop/ tianqinglong03:$PWD
1.在tianqinglong01机器上运行命令
[root@tianqinglong01 ~]# hdfs namenode -format [root@tianqinglong01 ~]# cd /usr/ocal/hadoop/tmp/dfs/name/current
1.启动脚本 -- start-dfs.sh :用于启动hdfs集群的脚本 -- start-yarn.sh :用于启动yarn守护进程 -- start-all.sh :用于启动hdfs和yarn 2.关闭脚本 -- stop-dfs.sh :用于关闭hdfs集群的脚本 -- stop-yarn.sh :用于关闭yarn守护进程 -- stop-all.sh :用于关闭hdfs和yarn
[root@tianqinglong01 ~]# ssh-copy-id tianqinglong01 [root@tianqinglong01 ~]# start-dfs.sh [root@tianqinglong01 ~]# jps #查看
HDFS其实就是一个分布式的文件系统,我们可以使用一些命令来操作这个分布式文件系统上的文件。 -访问HDFS的命令: hadoop dfs ---已过时 hdfs dfs -小技巧 1.在命令行中输入hdfs。回车后,就会提示hdfs.后可以使用哪些命令,其中有一个是dfs. 2.在命令行中输入hdfs dfs,回车后,就会提示dfs后可以添加的一些常用shell命令。 -注意事项 分布式文件系统的路径在命令行中,要从/开始写,即绝对路径。
hdfs dfs -mkdir (-p) /目录 hdfs dfs -mkdir (-p) /data
echo "hello hdfs" >> a1 hdfs dfs -put a1 /data
hdfs dfs -mkdir /empty hdfs dfs touchz /empty/empty1
echo "hello world" >> e1 hdfs dfs -appendToFile e1 /empty/empty1
hdfs dfs -get /empty/empty1 ./ ##扩展 拷贝指令 hdfs dfs -copyToLocal /empty ./
echo "hello 1" >> file1 echo "hello 2" >> file2 echo "hello 3" >> file3 hdfs dfs -put file* / hdfs dfs -getmerge /file* ./file cat file hello 1 hello 2 hello 3
hdfs dfs -mv /file* /data
hdfs dfs -mv /test /test1
hdfs dfs -cp /data/file1 /
hdfs dfs -rm /file1 hdfs dfs -rm -r /a #递归删除 hdfs dfs -rmdir /test1 #只能删除空文件夹
hdfs dfs -df / hdfs dfs -df -h / #可以直观的看 hdfs dfs -du -h /data #查看data文件夹里面的每个文件大小 hdfs dfs -du -s /data #查看data文件夹里面的总文件大小
hdfs dfs -chmod 777 /data hdfs dfs -chown shawn:shwan /data
hdfs dfs -setrep 5 /data #默认为3
hdfs dfs -test -e /data/a1 # 看不出来什么 hdfs dfs -test -e /data/a1 && echo "exists" || echo "none"
hdfs不适合小文件的存储!块是固定的~ 你存1M和127M都要占用那么多空间
HDFS的优点
1, 高容错性(硬件故障是常态)数据自动保存多个副本,副本丢失后,会自动恢复2, 适合大数据集:GB。TB、甚至PB级数据、千万规模以上的文件数量,1000以上节点规模。3, 数据访问:一次性写入。多次读取;保证致据一致性,安全性4, 构建成本低:可以构建在廉价机器上。5, 多种软硬件平台中的可移植性6, 高效性:Hodoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。7, 高可靠性:Hadoop的存储和处理数据的能力值得人们信赖,
HDFS的缺点
1.不适合做低延迟数据访问: HDFS的设计目标有一点是:处理大型数据集,高吞吐率。这一点势必要以高延迟为代价的。因此HDFS不适合处理用户要求的毫秒级的低延迟应用请求 2.不适合小文件存储: 一个是大量小文件需要消耗大量的寻址时间,违反了HDFS的尽可能减少寻址时间比例约设计目标。第二个是内存有限,一个block元数据大内存消耗大约为159个字节,存储一亿个block和一亿个小文件都会消耗20G内存。因此相对来说。大文件更省内存。 3.不适合并发写入,文件随机修改: HOFS上的文件只能拥有一个写者,仅仅麦搏append操作。不支持多用户对同一个文件的写操作,以及在文件任意位置进行修改
SecondaryNamenode,是HDFS集群中的重要组成部分,它可以辅助Namenode进行fsimage和editlog的合并工作,减小edtlog文件大小,以便缩短下次Namenode的重启时间,能尽快退出安全模式。
两个文件的合并周期,称之为检查点机制(checkpoint),是可以通过hdfs-default.xml配置文件进行修改的:
<property> <name>dfs.namenode.checkpoint.period</ name> <value>3600</value> <description>两次检查点间隔的秒数,默认是1个小时</description></property>I <property> <name>dfs.namenode.checkpoint.txns</name> <value>1000000</value> <description>txid执行的次数达到100w次,也执行checkpoint</description> </property> <property> <name>dfs.namenode.checkpoint.check.period</name> <value>60</value> <description>60秒一检查txid的执行次数</description> </property>
通过上图,可以总结如下:
1.SecondaryNamenode请求Namenode停止使用正在编辑的editlog文件,Namenode会创建新的editlog文件(小了吧),同时更新seed._txid文件。 2.SecondaryNomenode通过HTTP协议获取Namenode上的fsimage和editlog文件。 3.SecondaryNamenode将fsimage读进内存当中,并逐步分析editlog文件里的数据,进行合并操作,然后写入新文件fsimage_x.ckpt文件中。 4.SecondaryNamenode将新文件fsimage_x.ckpt通过HTTP协议发送回Namenode. 5.Namenode再进行更名操作。