C/C++教程

基于Centos7安装Ambari+HDP,学习的记录!

本文主要是介绍基于Centos7安装Ambari+HDP,学习的记录!,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

Ambari简介

1.Ambari基本介绍

  • Ambari是是 Apache Software Foundation
    中的一个项目,并且是顶级项目,是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控
  • Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。
  • 官方链接:Ambari官网
  • 需对hadoop生态圈的各个组件以及环境配置,参数有一定的知识,才建议使用ambari搭建

2.Ambari安装准备工作

2.1虚拟机准备工作

  • 安装好 Centos 7.2, jdk-8u91, mysql5.7.13
  • 准备好ambari-2.7.4.0-centos7.tar.gz,HDP-3.1.4.0-centos7-rpm.tar.gz,HDP-GPL-3.1.4.0-centos7-gpl.tar.gz,HDP-UTILS-1.1.0.22-centos7.tar.gz相关安装包
  • 主节点:master(92.168.238.1)
  • 从节点:node1(192.168.238.2),node2(192.168.238.3)
  • 确保所有节点时间同步;
  • 确保所有节点(master,node1,node2)能互相通信以及能访问外网
2.1.1 资源下载
镜像下载地址
jdk-8u162-linux-x64https://download.csdn.net/download/qq_44697847/16840098
mysqlhttps://www.mysql.com/downloads/
ambari-2.7.4.0-centos7.tar.gzhttps://download.csdn.net/download/qq_44697847/16845882
HDP-3.1.4.0-centos7-rpm.tar.gzhttps://download.csdn.net/download/qq_44697847/16846206
HDP-GPL-3.1.4.0-centos7-gpl.tar.gzhttps://download.csdn.net/download/qq_44697847/16846358
HDP-UTILS-1.1.0.22-centos7.tar.gzhttps://download.csdn.net/download/qq_44697847/16846735
Vmwarehttps://www.vmware.com
xshell+xfdphttps://download.csdn.net/download/qq_44697847/16839001
CentOS-7-x86_64https://download.csdn.net/download/qq_44697847/16838216
2.1.2 虚拟机安装
主机名称系统IP地址内存磁盘
Centos1MasterCentos7192.168.238.1(NAT)4G60G
Centos2Node1Centos7192.168.238.2(NAT)2G60G
Centos3Node2Centos7192.168.238.3(NAT)2G60G
2.1.3 修改节点主机名字
hostnamectl set-hostname master  #master节点-192.168.238.1
hostnamectl set-hostname node1   #node1节点-192.168.238.2
hostnamectl set-hostname node2   #node2节点-192.168.238.3
2.1.4配置主机名到IP的映射关系

需要在master node1 node2 三个节点上的hosts文件上都进行以下操作!

vi /etc/hosts
#添加上以下内容
192.168.238.1  master
192.168.238.2  node1
192.168.238.3  node2
2.1.5防火墙配置

在后续的操作中,需要将防火墙关闭。所有节点都需要进行以下操作

systemctl status firewalld   #查看firewall服务状态
```![查看防火墙状态](https://www.www.zyiz.net/i/ll/?i=20210422201827621.png?,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0Njk3ODQ3,size_16,color_FFFFFF,t_70#pic_center)
```shell
systemctl stop firewalld && systemctl disable firewalld   # 关闭防火墙

关闭防火墙

2.1.6关闭selinux
# 关闭selinux
setenforce 0
vi /etc/selinux/config
SELINUX=disabled

2.2JDK安装

2.1.1JDK安装(当前安装全部在master节点上)

现将JDK包放到相应目录下之后解压/etc/lib/jvm下面

 #保证当前目录下存在 jdk-8u162-linux-x64.tar.gz
 mkdir -p /usr/lib/jvm
 tar -zxvf jdk-8u162-linux-x64.tar.gz  -C /usr/lib/jvm
# 配置环境变量
vi /etc/profile
export JAVA_HOME=/opt/jdk1.8.0_171/
export PATH=$PATH:$JAVA_HOME/bin
#刷新环境变量
source /ect/profile
2.1.2配置免密登录(所有节点)
# master
ssh-keygen
ssh-copy-id hdp-1
ssh-copy-id hdp-2
ssh-copy-id hdp-3
# node1
ssh-keygen
ssh-copy-id hdp-1
ssh-copy-id hdp-2
ssh-copy-id hdp-3
# node2
ssh-keygen
ssh-copy-id hdp-1
ssh-copy-id hdp-2
ssh-copy-id hdp-3
2.1.3将master配置好的jdk发送到node1 node2上面

**注意:**需要提前在node1 ,node2上创建jvm文件夹,保证 /usr/lib/jvm/路径存在

也可以手动在node1 node2两个节点上重复以上步骤安装jdk

scp -r /usr/lib/jvm/  node1:/usr/lib/jvm/
scp -r /usr/lib/jvm/  node2:/usr/lib/jvm/
scp  /etc/profile/ node1:/usr/lib/jvm/
scp  /etc/profile/ node2:/usr/lib/jvm/

最后不要忘记在node1 node2上执行下列代码 使环境变量生效

source /ect/profile
#分别在master node1 node2上面输入java -version检查是否安装成功
java -version

2.3安装时间同步服务ntp

#安装
yum install -y ntp
#修改ntp.conf
vi /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10

systemctl start ntpd
systemctl enbale ntpd
#hdp-2
yum install -y ntpdate
ntpdate hdp-1
#hdp-3
yum install -y ntpdate
ntpdate hdp-1

2.4 安装Apache Http服务器

yum install -y httpd
yum start httpd
yum enable http

2.5 关闭大页面压缩(所有节点)

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

2.5 配置yum源(只在master配置)

在/var/www/html 下面创建 ambari,hdp,hdp_util ,hdp_gpl三个文件夹

**这里推荐使用xfdp将之恶几个文件放入到虚拟节点上面。**基于Centos7安装Ambari+HDP.md

再将 ambari-2.7.4.0-centos7.tar.gz,HDP-3.1.4.0-centos7-rpm.tar.gz,HDP-UTILS-1.1.0.22-centos7.tar.gz ,HDP-GPL-3.1.4.0-centos7-gpl.tar.gz 放入到 /var/www/html路径下

tar -zxvf ambari-2.7.0.0-centos7.tar.gz -C /var/www/html/ambari/
tar -zxvf HDP-3.0.0.0-centos7-rpm.tar.gz -C /var/www/html/hdp
tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp_util/
tar -zxvf HDP-GPL-3.1.4.0-centos7-gpl.tar.gz -C /var/www/html/hdp_gpl

这里我们对yum源进行配置

cd /etc/yum.repos.d
vi ambari.repo
[ambari]
name=ambari
baseurl=http://192.168.238.1/ambari/ambari/centos7/2.7.0.0-897/
gpgcheck=0

注意文件中的baseurl是你自己电脑的实际位置,你可查看解压之后的文件位置,查看里买呢目录,这里推荐使用xfdp去查看

vi hdp.repo
[HDP-3.1]
name=HDP-3.1
baseurl=http://192.168.238.1/hdp/HDP/centos7/3.1.4.0-315/
gpgcheck=0
[HDP-UTILS-1.1.0.22]
name=HDP-UTILS-1.1.0.22
baseurl=http://192.168.238.1/hdp-utils/HDP-UTILS/centos7/1.1.0.22/
gpgcheck=0
[HDP-3.1-GPL]
name=HDP-3.1-GPL
baseurl=http://192.168.238.1/hdp-gpl/HDP-GPL/centos7/3.1.4.0-315/
gpgcheck=0
# 验证
yum repolist

成功之后将配置的yum源发送给node1与node2

#成功之后将配置的yum源发送给node1
scp /etc/yum.repos.d/ambari.repo node1:/etc/yum.repos.d/
scp /etc/yum.repos.d/hdp.repo node2:/etc/yum.repos.d/
#将配置的yum源发送给node2
scp /etc/yum.repos.d/ambari.repo node1:/etc/yum.repos.d/
scp /etc/yum.repos.d/hdp.repo node2:/etc/yum.repos.d/

浏览器输入 http://192.168.238.1/ambari/

http://192.168.238.1/ambari/

2.6 数据库安装(master上安装)

数据库使用MariaDB作为元数据储存的库,在master上安装

# 安装
yum install -y mariadb-server
# 启动 开机自启
systemctl start mariadb && systemctl enable mariadb
# 初始化
mysql_secure_installation

在初始化过程中,我们需要对数据进行配置一下是配置选项

Set root password? [Y/n] Y
Remove anonymous users? [Y/n]  Y
Disallow root login remotely? [Y/n] n
Remove test database and access to it? [Y/n] Y
Reload privilege tables now? [Y/n]  Y

3 安装配置ambari-server

yum install -y ambari-server

3.1配置数据库

#登陆
mysql -uroot -proot
# 创建amabri数据库
create database ambari;
#授权
grant all on ambari.* to ambari@'%' identified by '数据库密码';
grant all on ambari.* to ambari@localhost identified by '数据库密码';
# 使用ambari-server提供的sql脚本创建相关的表
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

3.2将JDBC驱动包复制到指定目录(/usr/share/java)

下载连接:java/mysql-connector-java.jar

mkdir -p /usr/share/java
mv mysql-connector-java-*.jar /usr/share/java/mysql-connector-java.jar

3.3安装ambari-server

ambari-server setup

配置信息

OK to continue [y/n] (y)? y

Customize user account for ambari-server daemon [y/n] (n)? y

Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
==============================================================================
Enter choice (1): 2

Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? n

Enter advanced database configuration [y/n] (n)? y

Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 3

Hostname (localhost):master

Port (3306): 3306
#后面的几个问题直接按 enter键
#启动ambari-server
ambari-server start

3.4 安装和配置ambari-agent(所有节点)

# 安装
yum install -y ambari-agent
# 配置
vi /etc/ambari-agent/conf/ambari-agent.ini 
[server]
hostname=hdp-1
#启动
amabri-agent start

3.5安装成功访问

http://192.168.238.3:8080

出现登录界面,默认管理员账户登录,账户:admin 密码:admin

ambari的安装到这就结束了,但是这只是一个安装,后续可以更具你自己的需要,来使用ambari的web页面去安装一下组件,笔记hpd ,hbase, hive等等

这篇关于基于Centos7安装Ambari+HDP,学习的记录!的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!