Hadoop教程
Hadoop完全分布式配置
本文主要是介绍Hadoop完全分布式配置,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
由于之前已经做了伪分布式配置,在做完全分布式配置之前,需要首先删除master主机hadoop安装路径下的tmp和logs文件夹中的文件:
重新配置core-site.xml和hdfs-site.xml,以及mapred-site.xml和yarn-site.xml。
(1)首先编辑core-site.xml
(2)然后编辑hdfs-site.xml
(3)编辑mapred-site.xml
(4)编辑yarn-site.xml
修改slaves文件
压缩hadoop安装文件夹,然后分发到slave主机:
在slave节点以root账户登录,在各个slave节点解压:
在master节点格式化namenode,只执行一次,以后启动Hadoop时不需要再次格式化。
注意:重复格式化会造成namenode和datanode的clusterID不一致,出现此种情况,需要删除各个节点hadoop下的tmp文件夹和logs文件夹的内容,然后,重新格式化namenode。
格式化完成后,启动Hadoop和Yarn。
通过jps命令查看各个节点的进程:
如果有个别进程没有启动,可以单独启动,例如通过hdfs --daemon start datanode启动数据节点。
在master节点通过hdfs dfsadmin –report命令可以查看集群状态,其中,Live datanodes (4)表明集群启动成功。
还可以通过web界面查看集群状态,在linux浏览器输入http://master:9870/
最后,关闭Hadoop集群,在master节点执行如下命令:
这篇关于Hadoop完全分布式配置的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
您可能喜欢
Windows下hadoop环境搭建之NameNode启动报错
05-13
hadoop伪分布式集群的安装(不是单机版)
04-14
Hadoop生态系统—数据仓库Hive的安装
12-05
Win10搭建Hadoop环境
11-02
Hadoop生态系统(数据仓库Hive的安装)
10-19
Hadoop、storm和Spark Streaming简单介绍
10-03
胖虎的Hadoop笔记——Hadoop的伪分布式部署
10-03
Ubuntu搭建全分布式Hadoop
09-11
Ubuntu搭建全分布式Hadoop
09-11
Ubuntu下安装伪分布式HADOOP遇到的一些问题
09-09
【学习打卡】第14天 Hadoop再深入之环境搭建
08-20
详解搭建ubuntu版hadoop集群
08-13
安装Hadoop2.10.1
08-04
hadoop API学习
08-01
Hadoop入门(1)——Hadoop概论
07-31
栏目导航
前端开发
HTML5教程
CSS教程
Javascript
jQuery教程
AJAX教程
Node.js教程
XML教程
正则表达式
后端开发
Go教程
C/C++教程
消息队列MQ
Net Core教程
Asp.net教程
Java教程
PHP教程
移动端开发
微信公众号开发
小程序开发
Swift教程
IOS教程
Kotlin教程
Android开发
数据库
Redis教程
MongoDB教程
PostgreSQL教程
Oracle教程
MariaDB教程
SqLite教程
MySql教程
SqlServer教程
服务器运维
Kubernetes
Docker容器
linux shell
Nginx教程
网站安全
PowerShell教程
Linux教程
人工智能
TensorFlow教程
Python教程
机器学习
人工智能学习
区块链
区块链技术
游戏开发
游戏编程
Unity3D教程
网站运营
网站策划
网站优化
建站知识
大数据/云计算
云计算
Hadoop教程
软件工程
软件/开发工具使用
Git教程
资讯