Hadoop教程

02-Hadoop完全分布式

本文主要是介绍02-Hadoop完全分布式,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

一、完全分布式集群搭建

1、规划

HDFS: 1个NN+N个DN

YARN: 1个RM+N个NM

避免单点故障,NN和RM建议分散到多台机器。注意负载均衡。

hadoop101 hadoop102 hadoop103
DN DN DN
NM NM NM
NN RM 2NN

 

 

 

 

 

2、准备集群,安装软件

(1)克隆三台虚拟机

  1. 在每台机器的/etc/hosts中配置集群所有机器的ip和主机名的映射
  2. 提供安装用户,配置安装用户具有root权限
  3. 保证三台机器可以互相联通

(2)安装软件,在一台机器安装,再将这台机器的软件复制到其他机器

二、常用命令

1、scp(安全拷贝)

全量复制

命令: scp -r 源文件用户名A@主机名1:path1 目标文件用户名B@主机名2:path2

-r:递归,复制目录
如果从本机执行读取或写入,用户名B@主机名2:可以省略!

解释:在主机1上,使用A用户读取path1的文件,再使用用户B登录到主机2,在主机2的path2路径执行写入。

要求: 用户名A@主机名1 对path1有读权限
      用户名B@主机名2 对path2有写权限

2、rsync (远程同步)

可以只同步变化的文件(对比文件的修改时间)!增量同步

命令: rsync -rvlt path1 目标文件用户名B@主机名2:path2

-r:递归,复制目录
-v:显示复制的过程
-l: 同步软连接
-t:基于文件的修改时间进行对比,只同步修改时间不同的文件

只能将本机的文件同步到其他机器。

注意: 
path1是个目录,目录以/结尾,只会同步目录中的内容,不会同步目录本身!
path1是个目录,目录不以/结尾,同步目录中的内容,也会同步目录本身!

3. 免输入密码登录,借助SSH实现

举例: A机器的a用户,希望在A机器上,使用b用户的身份登录到B机器!

实现步骤:

① A机器的a用户,在A机器上生成一对密钥
  ssh-keygen -t rsa
② 密钥分为公钥和私钥,a用户需要将公钥拷贝到B机器上b用户的家目录下的
  authorithxxxx_keys
    a)使用b用户登录到B机器
    b)编辑authorithxxxx_keys,将公钥的内容进行添加

  在A机器,使用a用户执行以下命令: ssh-copy-id b@B

③ A机器的a用户,可以使用 ssh b@B进行登录!

3. 免输入密码登录,借助SSH实现
举例: A机器的a用户,希望在A机器上,使用b用户的身份登录到B机器!

实现步骤: ①A机器的a用户,在A机器上生成一对密钥
ssh-keygen -t rsa
②密钥分为公钥和私钥,a用户需要将公钥拷贝到B机器上b用户的家目录下的
authorithxxxx_keys
a)使用b用户登录到B机器
b)编辑authorithxxxx_keys,将公钥的内容进行添加

在A机器,使用a用户执行以下命令: ssh-copy-id b@B

③A机器的a用户,可以使用 ssh b@B进行登录!

注意:如果使用ssh 直接登录 主机名
默认使用当前用户对目标主机进行登录!

4. 编写同步脚本

#!/bin/bash
#校验参数是否合法
#脚本名称:xsync
if(($#==0))
then
    echo 请输入要分发的文件!
    exit;
fi
#获取分发文件的绝对路径
dirpath=$(cd `dirname $1`; pwd -P)
filename=`basename $1`

echo 要分发的文件的路径是:$dirpath/$filename

#循环执行rsync分发文件到集群的每条机器
for((i=101;i<=103;i++))
do
    echo ---------------------hadoop$i---------------------
    rsync -rvlt $dirpath/$filename  atguigu@hadoop$i:$dirpath
done

5. 编写多机器执行命令脚本

#!/bin/bash
#在集群的所有机器上批量执行同一条命令
#脚本名称:xcall
if(($#==0))
then
    echo 请输入您要操作的命令!
    exit
fi

echo 要执行的命令是$*

#循环执行此命令
for((i=101;i<=103;i++))
do
    echo ---------------------hadoop$i-----------------
    ssh hadoop$i $*
done

 

这篇关于02-Hadoop完全分布式的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!