Hadoop教程

Win10搭建Hadoop环境

本文主要是介绍Win10搭建Hadoop环境,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

Win10系统配置hadoop环境

我这里就以hadoop-2.7.3为例子给大家演示,下载链接: 提取码:idxi ,如需下载其他版本,请访问或 ****进行下载

JDK环境配置

1、我使用的是jdk1.8.0_102版本,链接: 提取码:z833

2、不建议安装在C:Program Files下的默认路径。安装完成后,对jdk环境进行配置。 (1)鼠标右键点击“这台电脑”→“属性”→“高级系统设置”→“环境变量”→“系统变量”→“新建”,如下图所示: (2)接着找系统境变量Path,将%JAVA_HOME%in添加进去,如图下所示:

Hadoop环境配置

1、将下载好的压缩包解压到磁盘根目录下。 2、鼠标右键点击“这台电脑”→“属性”→“高级系统设置”→“环境变量”→“系统变量”→“新建”,如下图所示: 3、接着找系统境变量Path,将 %HADOOP_HOME%in;%HADOOP_HOME%sbin 添加进去,如图下所示: 4、拷贝动态库,hadoop.dll拷贝到C盘Windowssystem32目录下与%HADOOP_HOME%sbin目录下。目录下有就不用拷贝,要是缺少文件可在百度上面进行下载。

Hadoop核心组件配置

1、打开hadoop-2.7.0etchadoop文件夹里的hadoop-env.cmd文件,找到set JAVA_HOME;然后配置jdk路径,如图所示: 2、打开hadoop-2.7.0etchadoop文件夹里的hadoop-env.sh文件,找到export JAVA_HOME;然后配置jdk路径,如图所示: 3、在hadoop-2.7.0etchadoop中找到以下几个文件。 core-site.xml

<configuration>
	<property>       
		<name>fs.defaultFS</name>       
		<value>hdfs://localhost:9000</value>   
	</property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>/F:/hadoop-2.7.3/namenode</value>            // 路径不唯一  
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>/F:/hadoop-2.7.3/datanode</value>            // 路径不唯一
    </property>
</configuration>

mapred-site.xml 如果文件名为“mapred-site.xml.template”,请把后面“.template”去掉即可。

<configuration>   
	<property>       
		<name>mapreduce.framework.name</name>       
		<value>yarn</value>   
	</property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

格式化与启动Hadoop服务

1、在F:hadoop-2.7.3in目录下,地址栏输入cmd,进入后输入hdfs namenode -format或hadoop namenode -format,如下图所示: 2、然后进入sbin目录,命令cd …sbin,输入start-all.cmd,启动后输入jps查看进程,如下图所示:

3、在浏览器里面验证,注意cmd弹窗不要关闭。验证地址:、 4、如果你做到这里了,恭喜你,完成了

这篇关于Win10搭建Hadoop环境的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!