Hadoop教程

Hadoop的HDFS组件的Xshell命令

本文主要是介绍Hadoop的HDFS组件的Xshell命令,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

Hadoop的HDFS组件的Xshell命令

回顾:
三大组件:HDFS、MR、Yarn
手动搭建好Hadoop集群后,MR这个进程是看不到的,只能看得到HDFS和Yarn的进程

HDFS和Yarn遵循主从架构:
	HDFS主节点:NameNode----简称NN
	Yarn主节点:ResourceManager----简称RM
	主节点都在master服务器中,所以查看master的进程会有NN、RM,
	还会有一个进程SecondaryNameNode----简称SNN
	
	HDFS从节点:DataNOde----简称DN
	Yarn从节点:NodeManager----简称NM
	从节点分别都在node1和node2中,查看node1或node2进程,会有DN、NM
创建HDFS目录:
	hdfs dfs -mkdir 目录名称
查看HDFS下的目录
	hdfs dfs -ls /
复制
	hdfs dfs -cp
移动
	hdfs dfs -mv
删除
	hdfs dfs -rm
修改权限
	hdfs dfs -chmod
	
将数据上传到HDFS中的目录
hdfs dfs -put 数据名称 目录名称
举例:
hdfs dfs -put words.txt /input
		
-put 将本地文件上传到hdfs,如hdfs dfs -put  本地文件路径  hdfs路径	
-get 将hdfs文件下载到本地,如 hdfs dfs -get hdfs文件路径  本地文件路径
-mkdir 在hdfs上创建文件夹,如hdfs dfs -mkdir /test
-cp	将hdfs文件或目录复制 如 hdfs dfs -cp /test.txt /a/
-cat 查看hdfs上文件内容  如hdfs dfs -cat /test.txt

运行word count实例

命令:
hadoop jar hadoop-2.7.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount inputpath outpath

inputpath:是指hdfs上输入文件路径,需要我们自行创建该名称
outpath:是指hdfs上程序运行输出结果所在路径,不需要我们创建
创建输入文件路径
hdfs dfs -mkdir /input
将数据上传到HDFS中的目录
hdfs dfs -put 数据名称 目录名称
举例:
hdfs dfs -put words.txt /input

上传数据以后,我们来运行它
在/usr/local/soft/hadoop-2.7.6/share/hadoop/mapreduce中,
有一个hadoop-mapreduce-examples-2.7.6.jar,该jar包内含有wordcount方法是用来计算个数
我们通过wordcount方法来计算我们的数据words.txt

先将目录切换到 cd /usr/local/soft/hadoop-2.7.6/share/hadoop/mapreduce
运行 hadoop jar hadoop-mapreduce-examples-2.7.6.jar wordcount /input /output1
/input是我们创建的HDFS目录,/output1不需要创建,直接写出,后台会自动创建

运行进度可以通过master:8088查看

image

运行结果可以通过master:50070查看

image

image

下载结果

image

查看结果

image

上面是我们手动点击下载,也可以通过命令下载

下载到本地家目录内:
	cd ~
	hdfs dfs -get /output1/part-r-00000 ./
查看运行的结果
	cat part-r-0000或者less part-r-00000
	
想要修改该文件的权限
hdfs dfs -chmod 764 /output1/part-r-00000
想要查看磁盘使用情况
hdfs dfs -df -h
这篇关于Hadoop的HDFS组件的Xshell命令的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!