Hadoop教程

hadoop 伪分布式安装流程

本文主要是介绍hadoop 伪分布式安装流程,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

1.首先创建一台虚拟机 内存设置最好要大一些 要不玩不起来 我的设置为100g 然后内存线程什么的根据自己电脑配置来

2.然后配置文件 安装jdk什么的 前边有已经写好的shell脚本 可以直接用 或者自己配置也可以 

3.准备工作完成后下载hadoop安装包

 4.我的是已经下载好了 先放在/opt 目录下 

5.然后解压 文件

tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz 解压到什么位置自己选择 我的是 解压到已经创建好的

/opt/soft/hadoop260 文件夹下

6.解压完成后配置环境 

vi /etc/profile

#hadoop environment
export HADOOP_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

然后把 配置文件粘贴进去 

然后 source /etc/proflie 使文件生效

7.打开 hadoop 解压好的 文件包 进入etc目录下的hadoop文件 

cd etc/hadoop/

编辑 hadoop-env.sh 目录 添加你的jdk文件目录 我的jdk文件 解压好放在soft目录下 

 8. 配置 vi core-site.xml  添加以下配置文件  写在configuration 中 要不然不会生效

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://192.168.80.181:9000</value>
        </property>
         <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/soft/hadoop260/tmp</value>
        </property>
         <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
         <property>
                <name>hadoop.proxyuser.root.users</name>
                <value>*</value>
        </property>

9. vi hdfs-site.xml 

        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

10.cp mapred-site.xml.template mapred-site.xml 复制文件然后修改 

11. vi mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

12.vi yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.localhost</name>
                <value>localhost</value>
        </property>
         <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

13.hadoop namenode -format 格式化文件 

14.start-all.sh 启动文件  期间会不断让你输入密码 这个密码是 虚拟机密码  因为没有配置 ssh 这个我后边会有配置 

启动文件 后 一直到结束 

15 输入 jps 查看任务

 看到启动这5个任务 就算你配置成功了 

期间会报错的话就是文件 配置出错 可以自己查看log 目录下日志文件 看看报错在哪 

16 stop-all.sh 关闭文件 查看 jps 任务 全部关闭才行   然后配置ssh 

 首先创建公匙

17.

 你可以自己看看是什么样

18.

 然后输入 ssh-copy-id root@自己主机名 再次输入密码  ssh hc 查看 确认出现last login后配置成功

exit退出

全部配置完毕  快乐玩耍吧 

这篇关于hadoop 伪分布式安装流程的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!