Hadoop学习

本文主要是介绍Hadoop学习，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

为什么要用Hadoop

现在的我们，生活在数据大爆炸的年代。2020年，全球的数据总量达到44ZB，经过单位换算后，至少在440亿TB以上，也就是说，全球每人一块1TB的硬盘都存储不下。

扩展:数据大小单位，从小到大分别是:byte,kb、mb、Gb、Tb、PB、EB、ZB、DB、NB…单位之间的转换都是满足1024

为了解决大数据的处理问题，为了解决大数据的存储问题

Hadoop的简要介绍

Hadoop是Apache基金会旗下一个开源的分布式存储和分析计算平台，使用jvai语言开发，具有很好的跨平台性，可以运行在商用(廉价硬件上，用户无需了解分布式底层摇节，就可以开发分布式程序，充分使用集群的高速计算和存储

Hadoop的组成部分

hadoop2.0以后的四个模块:
- Hadoop Common : Hadoop模块的通用组件
- Hadoop Distributed File System:分布式文件系统
- Hadoop YARN:作业调度和资源管理框架
- Hadoop MapReduce:基于YARN的大型数据集并行计算处理框架

hadoop3.0新扩展的两个模块:
- Hadoop 0zone:Hadoop的对象存储机制
- Hadoop Submarine : Hadoop的机器学习引擎

Hadoop的生态系统

在这里插入图片描述

JDK的安装

在这里插入图片描述

1.检查一下是否已经安装过或者系统内置JDK，如果有内置的，将其卸载

[root@tianqinglong01 ~]#rpm -qa |grep jdk   # 如果有,将其卸载
[root@tianqinglong01 ~]#rpm -e xxxxxx --nodeps #将查询到的内置jdk强制卸载

2.上传jdk1.8

将jdk-8u221-linux-x64.tar.gz上传到/root目录中

3.解压jdk到usr/local/下

[root@tianqinglong01 ~]# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local

4.更名jdk

[root@tianqinglong01 ~]# cd /usr/local
[root@tianqinglong01 ~]# mv jdk1.8.0_221/ jdk

5.配置jdk的环境变量 /etc/profile

[root@tianqinglong01 ~]# vim /etc/profile
......省略.......
#jdk environment
export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$JAVA_HOME/bin

# export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

6.使当前窗口生效

[root@tianqinglong01 ~]# source /etc/profile

7.验证jdk环境

javac  
java -version

Hadoop的安装

完全分布式环境需求及安装

1．三台机器的防火墙必须是关闭的
2．确保三台机器的网络配置通常(NAT模式、静态IP、主机名的配置)
3．确保/etc/hosts文件配置了IP和hosts的映射关系
4．确保配置了三台机器的免密登录认证
5．确保所有的机器时间同步
6.JDK和Hadoop的环境变量配置

1.关闭防火墙

01 02 03

[root@tianqinglong01 ~]# systemctl stop firewalld
[root@tianqinglong01 ~]# systemctl disable firewalld  禁止开机自启动
[root@tianqinglong01 ~]# systemctl stop NetworkManager
[root@tianqinglong01 ~]# systemctl disable NetworkManager

#最好也把selinux关闭掉，这是li nux系统的一个安全机制，进入文件中将SELINUX设置为disabled
[root@tianqinglong01 ~]# vim /etc/selinux/config
..........
SELINUX=disabled
..........

2.静态IP和主机名配置

01 02 03

--1. 配置静态IP （确保NAT模式）
[root@tianqinglong01 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
........
BOOTPROTO=static   # 将dhcp改为static
........
ONBOOT=yes  		   #将no改为yes
IPADDR=192.168.10.101  #添加IPADDR属性和ip地址 (101 102 103)
PREFIX=24 			   #添加NETMASK-255.255.255.8或者PREFIX-24
GATEWAY=192.168.10.2   #添加网关GATETAY
DNS1=114.114.114.114   #添加DNS1和备份DNS
DNS2=8.8.8.8

--2.重启网络服务
[root@tianqinglong01 ~]# systemctl restart network
或者
[root@tianqinglong01 ~]# service network restart

--3.修改主机名（如果修改过，请略过这一步）
[root@tianqinglong01 ~]# hostnamectl set-hostname tianqinglong01
或者
[root@tianqinglong01 ~]# vi/etc/hostname
tianqinglong01

3.配置/etc/hosts文件

[root@tianqinglong01 ~]# vi /etc/hosts
127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localhostdomain4
::1        localhost localhost.localdomain localhost6 localhost6.localhostdomain6

192.168.10.101 tianqinglong01 # 添加本机的静态IP和本机的主机名之间的映射关系
192.168.10.101 tianqinglong02
192.168.10.101 tianqinglong03
:wq  #保存并退出

#给02 03配置
scp /etc/hosts tianqinglong02:/etc/ 
yes
输入密码
scp /etc/hosts tianqinglong03:/etc/ 
yes
输入密码

4.免密登录认证

-1. 使用rsa加密技术，生成公钥和私钥，一路回车即可  01 02 03都要生成
[root@tianqinglong01 ~]# cd ~
[root@tianqinglong01 ~]# ssh-keygen -t rsa

-2.进入~/.ssh目录下，使用ssh-copy-id命令  (01 02 03 都一样)
[root@tianqinglong01 ~]# cd ~/.ssh
[root@tianqinglong01 .ssh]# ssh-copy-id root@tianqinglong02
输入02密码
[root@tianqinglong01 .ssh]# ssh-copy-id root@tianqinglong03
输入03密码

-3.进行验证
[root@tianqinglong01 .ssh]# ssh tianqinglong #发现直接登陆过来了，不需要密码

注意:三台机器提前安装好的情况下，需要同步公钥文件。如果使用克隆技术。那么使用同一套密钥对就方便多了。

5.时间同步

# 1 选择集群中的某一台机甚作为时间服务器。tianqinglong01 
# 2 保证这台服务第安装了ntp.x86_64。
# 3 保证ntpd服务运行..- ---
[root@tianqinglong01 .ssh]# yum install ntp -y
[root@tianqinglong01 .ssh]# vim /etc/ntp.conf

	# Hosts on local network are less restricted.
	# restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap	 # 添加集群中的网络段位
	restrict 192.168.10.e mask 255.255.255.0 nomodify notrap
	
	# Use public servers from the pool.ntp.org project.
    #Please consider joining the pool (http://nw.pool.ntp.org/join.html
    # server 0.centos,pool.ntp.org iburst注释掉
	# server 1.centos.pool.ntp.org iburst注释掉
	# server 2.centos.pool.ntp.org iburst注释掉
    # server 3.centos. pool.ntp.org iburst注释掉

    server 127.127.1.0    -master作为服务器
    :wq

[root@tianqinglong01 .ssh]# systemctl start ntpd
[root@tianqinglong01 .ssh]# systemctl status ntpd

02 安装 yum install ntpdate -y
ntpdate -u tianqinglong01

03 安装 yum install ntpdate -y
ntpdate -u tianqinglong01

# 其他机器要使用root定义定时器
[root@tianqinglong02 .ssh]#crontab -e
* * * * * /usr/sbin/ntpdate -u tianqinglong01 > /dev/null 2>&1
:wq

[root@tianqinglong03 .ssh]#crontab -e
* * * * * /usr/sbin/ntpdate -u tianqinglong01 > /dev/null 2>&1
:wq

02 03的jdk环境配置
[root@tianqinglong01 local]# scp -r jdk/tianqinglong02:$PWD
[root@tianqinglong01 local]# scp -r jdk/tianqinglong03:$PWD

6.Hadoop安装与环境变量配置

# 1.上传和解压两个软件包
[root@tianqinglong01 ~J# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/
[root@tianqinglong01 ~J# tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/

# 2.进入local里,给两个软件更名
[root@tianqinglong01 ~J# cd /usr/local/
[root@tianqinglong01 localJ# mv 1.8.0_221/jdk
[root@tianqinglong01 localJ# mv hadoop-2.7.6/ hadoop

# 3.配置环境变量
[root@tianqinglong01 hadoopJ# vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[root@tianqinglong01 hadoopJ# source /etc/profile
[root@tianqinglong01 hadoopJ# cd
[root@tianqinglong01 ~J# hadoop version

02 03 也要安装hadoop
[root@tianqinglong01 localJ# scp -r hadoop/tianqinglong02:$PWD
[root@tianqinglong01 localJ# scp -r hadoop/tianqinglong03:$PWD

[root@tianqinglong01 localJ# scp /etc/profile tianqinglong02:/etc/

[root@tianqinglong01 localJ# scp /etc/profile tianqinglong03:/etc/

02 
[root@tianqinglong02 .sshJ# source /etc/profile
[root@tianqinglong02 ~J# hadoop version
03 
[root@tianqinglong03 .sshJ# source /etc/profile
[root@tianqinglong03 ~J# hadoop version

NameNode 和 DateNode

NameNode ：是用来维护集群的目录树结构，并对外提供服务的节点

DateNode ：数据存储的节点

在这里插入图片描述

Hadoop的配置文件

我们需要通过配置若干配置文件，来实现Hadoop集群的配置信息。需要配置的文件有:
hadoop-env.sh
yarn-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml

core-site.xml

[root@tianqinglong01 ~]# cd $HADOOP_HOME/etc/hadoop/
[root@tianqinglong01 hadoop]# vi core-site.xml
<configurations>
 <!-- hdfs的地址名称: schome ,ip,port-->
 <!--在Hadoop1.x的版本中，默认使用的端口是9000。在Hadoop2.x的版本中，默认使用端口是8020 -->
    <property>
		<name>fs.defaultFS</name>
		<value>hdfs://tianqinglong01:8020</value>
    </property>
<!-- hdfs的基础路径。被其他属性所依赖的一个基础路径-->
    <property>
		<name>hodoop.tmp.dir</name>
		<value>/usr/local/hodoop/tmp</value>
    </property>
</configurations>

hdfs-site.xml

[root@tianqinglong01 hadoop]# vi hdfs-site.xml
<configuration>
<!-- namenode守护进程管理的元数据文件fsimage存储的位置-->
    <property>
		<name>dfs.namenode.name.dir</name>
		<value>file://${hadoop.tmp.dir}/dfs/name</value>
    </ property>
<!--确定DFS数据节点应该将其块存储在本地文件系统的何处-->
    <property>
        <name>dfs.datanode.data.dir</name>
		<value>file://${hadoop.tmp.dir}/dfs/data</value>		</property>
<!--块的副本数-->
	<property>
		<name>dfs.replicationc</name>
        <value>3</value>
    </property>
<!--块的大小(128M),下面的单位是字节-->
    <property>
        <name>dfs.blocksize</name>
        <value>134217728</value>
     </property>
<!-- secondarynamenode守护进程的http地址:主机名和端口号。参考守护进程布局-->
    <property>
		<name>dfs.namenode.secondary.http-address</name>			<value>tianqinglong02:50090</value>
	</property>
<!-- namenode守护进程的http地址:主机名和端口号。参考守护进程布局-->		<property>
		<name>dfs.nomenode.http-address</name>
    	<value>tianqinglong01:50070</value>
	</property>
</configuration>

mapred-site.xml

[root@tianqinglong01 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@tianqinglong01 hadoop]# vi mapred-site .xml
<configuration>
<!--指定mopreduce使用yarn资源管理器-->
    <property>
        <name>mapreduce.framework.name</name>						<value>yarn</value>
	</property>
<!--配置作业历史服务器的地址-->
<property>
	<name>mapreduce.jobhistory.address</name>
    <value>tianqinglong01:10020</value>
</property>
<!--配置作业历史服务器的http地址-->
    <property>
		<name>mopreduce-jobhistory.webapp.address</name>
        <value>tianqinglong01:19888</value>
</property>
</configurations>

yarn-site.xml

[root@tianqinglong01 hadoop]# vi yarn-site.xml
<configuration>
<!--指定yarn的shuffle技术-->
    <property>
		<name>yarn.nodemanager.aux-services</name>					<value>mapreduce_shuffle</value>
	</property>
<!--指定resourcemanager的主机名-->
    <property>
		<name>yarn.resourcemanager.hostname</name>
        <value>tianqinglong01</value>
	</property>
<!--下面的可选-->
<!--指定shuffle对应的类-->
    <property>
		<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
<!--配置resourcemanager的内部通讯地址-->
    <property>
		<name>yarn.resourcemanager.address</name>					<value>tianqinglong:8032</value>
	</property>
<!--配置resourcemanager的scheduler的内部通讯地址-->
    <property>
		<name>yarn.resourcemanager.scheduler.address</name>			<value>tianqinglong01:8030</value>
	</property>
<!--配置resoucemanager的资源调度的内部通讯地址-->
    <property>
		<name>yarn.resourcemanager.resource-tracker.address</name>
        <value>tianqinglong:8031</value>
	</property>
<!--配置resourcemanager的管理员的内部通讯地址-->
    <property>
		<name>yarn.resourcemanager.admin.address</name>
        <value>tianqinglong:8033</value>
	</property>
 <!--配置resourcemanager的web ui的监控页面-->
    <property>
		<name>yarn.resourcemanager.webapp.address</name>
        <value>tianqinglong:8088</value>
	</property>   
</configuration>

hadoop-env.sh

[root@tianqinglong01 hadoop]# vim hadoop-env.sh
.........
# The java implementation to use
export JAVA_HOME=/usr/local/jdk
.........

yarn-env.sh

[root@tianqinglong01 hadoop]# yarn-env.sh
........
# some Java Paramters
JAVA_HOME=/usr/local/jdk
........

slaves

此文件用于指定datanode守护进程所在的机器节点主机名
[root@tianqinglong01 hadoop]# vim slaves
tianqinglong01
tianqinglong02
tianqinglong03

分发到另外两台

[root@tianqinglong01 hadoop]# cd ..
[root@tianqinglong01 etc]# ll
[root@tianqinglong01 etc]# scp -r hadoop/ tianqinglong02:$PWD
[root@tianqinglong01 etc]# scp -r hadoop/ tianqinglong03:$PWD

格式化集群与启动

格式化集群

1.在tianqinglong01机器上运行命令

[root@tianqinglong01 ~]# hdfs namenode -format
[root@tianqinglong01 ~]# cd /usr/ocal/hadoop/tmp/dfs/name/current

启动

1.启动脚本
-- start-dfs.sh   :用于启动hdfs集群的脚本
-- start-yarn.sh  :用于启动yarn守护进程
-- start-all.sh   :用于启动hdfs和yarn
2.关闭脚本
-- stop-dfs.sh    :用于关闭hdfs集群的脚本
-- stop-yarn.sh   :用于关闭yarn守护进程
-- stop-all.sh    :用于关闭hdfs和yarn

[root@tianqinglong01 ~]# ssh-copy-id tianqinglong01
[root@tianqinglong01 ~]# start-dfs.sh
[root@tianqinglong01 ~]# jps   #查看

HDFS的shell命令

HDFS其实就是一个分布式的文件系统，我们可以使用一些命令来操作这个分布式文件系统上的文件。
-访问HDFS的命令:
hadoop dfs ---已过时
hdfs dfs 

-小技巧
	1.在命令行中输入hdfs。回车后，就会提示hdfs.后可以使用哪些命令，其中有一个是dfs.
	2.在命令行中输入hdfs dfs，回车后，就会提示dfs后可以添加的一些常用shell命令。

-注意事项
分布式文件系统的路径在命令行中,要从/开始写,即绝对路径。

创建目录

hdfs dfs -mkdir (-p) /目录
hdfs dfs -mkdir (-p) /data

上传指令

echo "hello hdfs" >> a1
hdfs dfs -put a1 /data

创建空文件

hdfs dfs -mkdir /empty
hdfs dfs touchz /empty/empty1

向分布式文件系统中的文件里追加内容

echo "hello world" >> e1
hdfs dfs -appendToFile e1 /empty/empty1

下载指令

hdfs dfs -get /empty/empty1 ./

##扩展 拷贝指令
hdfs dfs -copyToLocal /empty ./

合并下载

把多个文件里面数据合并成一个

echo "hello 1" >> file1
echo "hello 2" >> file2
echo "hello 3" >> file3

hdfs dfs -put file* /

hdfs dfs -getmerge /file* ./file

cat file
hello 1
hello 2
hello 3

移动文件

hdfs dfs -mv /file* /data

重命名

hdfs dfs -mv /test /test1

复制

hdfs dfs -cp /data/file1 /

删除命令

hdfs dfs -rm /file1
hdfs dfs -rm -r /a   #递归删除
hdfs dfs -rmdir /test1 #只能删除空文件夹

查看磁盘利用率和文件大小

hdfs dfs -df /
hdfs dfs -df -h /  #可以直观的看
hdfs dfs -du -h /data #查看data文件夹里面的每个文件大小
hdfs dfs -du -s /data #查看data文件夹里面的总文件大小

修改权限的

hdfs dfs -chmod 777 /data
hdfs dfs -chown shawn:shwan /data

修改副本数量

hdfs dfs -setrep 5 /data  #默认为3

查看文件状态

在这里插入图片描述

测试

hdfs dfs -test -e /data/a1 # 看不出来什么

hdfs dfs -test -e /data/a1 && echo "exists" || echo "none"

HDFS的块

在这里插入图片描述

hdfs不适合小文件的存储！块是固定的~ 你存1M和127M都要占用那么多空间

HDFS的优点

1, 高容错性(硬件故障是常态)数据自动保存多个副本，副本丢失后，会自动恢复2, 适合大数据集:GB。TB、甚至PB级数据、千万规模以上的文件数量，1000以上节点规模。3, 数据访问:一次性写入。多次读取;保证致据一致性,安全性4, 构建成本低:可以构建在廉价机器上。5, 多种软硬件平台中的可移植性6, 高效性:Hodoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。7, 高可靠性:Hadoop的存储和处理数据的能力值得人们信赖,

HDFS的缺点

1.不适合做低延迟数据访问:
HDFS的设计目标有一点是:处理大型数据集，高吞吐率。这一点势必要以高延迟为代价的。因此HDFS不适合处理用户要求的毫秒级的低延迟应用请求

2.不适合小文件存储:
一个是大量小文件需要消耗大量的寻址时间，违反了HDFS的尽可能减少寻址时间比例约设计目标。第二个是内存有限，一个block元数据大内存消耗大约为159个字节，存储一亿个block和一亿个小文件都会消耗20G内存。因此相对来说。大文件更省内存。

3.不适合并发写入,文件随机修改:
HOFS上的文件只能拥有一个写者，仅仅麦搏append操作。不支持多用户对同一个文件的写操作，以及在文件任意位置进行修改

HDFS的体系结构解析

在这里插入图片描述

HDFS的开机启动过程

非第一次启动集群

在这里插入图片描述

第一次启动集群

在这里插入图片描述

SecondaryNameNode的工作机制

SecondaryNamenode，是HDFS集群中的重要组成部分，它可以辅助Namenode进行fsimage和editlog的合并工作，减小edtlog文件大小，以便缩短下次Namenode的重启时间，能尽快退出安全模式。

两个文件的合并周期，称之为检查点机制(checkpoint)，是可以通过hdfs-default.xml配置文件进行修改的:

<property>
	<name>dfs.namenode.checkpoint.period</ name>				<value>3600</value>
	<description>两次检查点间隔的秒数，默认是1个小时</description></property>I
<property>
	<name>dfs.namenode.checkpoint.txns</name>					<value>1000000</value>
	<description>txid执行的次数达到100w次，也执行checkpoint</description>
</property>
<property>
	<name>dfs.namenode.checkpoint.check.period</name>			<value>60</value>
	<description>60秒一检查txid的执行次数</description>
</property>

在这里插入图片描述

通过上图，可以总结如下：

1.SecondaryNamenode请求Namenode停止使用正在编辑的editlog文件，Namenode会创建新的editlog文件(小了吧)，同时更新seed._txid文件。

2.SecondaryNomenode通过HTTP协议获取Namenode上的fsimage和editlog文件。

3.SecondaryNamenode将fsimage读进内存当中，并逐步分析editlog文件里的数据，进行合并操作，然后写入新文件fsimage_x.ckpt文件中。

4.SecondaryNamenode将新文件fsimage_x.ckpt通过HTTP协议发送回Namenode.

5.Namenode再进行更名操作。

这篇关于Hadoop学习的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！

Hadoop学习

为什么要用Hadoop

Hadoop的简要介绍

Hadoop的组成部分

Hadoop的生态系统

JDK的安装

Hadoop的安装

1.关闭防火墙

2.静态IP和主机名配置

3.配置/etc/hosts文件

4.免密登录认证

5.时间同步

6.Hadoop安装与环境变量配置

NameNode 和 DateNode

Hadoop的配置文件

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

hadoop-env.sh

yarn-env.sh

slaves

分发到另外两台

格式化集群与启动

格式化集群

启动

HDFS的shell命令

创建目录

上传指令

创建空文件

向分布式文件系统中的文件里追加内容

下载指令

合并下载

移动文件

重命名

复制

删除命令

查看磁盘利用率和文件大小

修改权限的

修改副本数量

查看文件状态

测试

HDFS的块

HDFS的体系结构解析

HDFS的开机启动过程

非第一次启动集群

第一次启动集群

SecondaryNameNode的工作机制

前端开发

后端开发

移动端开发

数据库

服务器运维

人工智能

区块链

游戏开发

网站运营

大数据/云计算

软件工程

软件/开发工具使用

资讯