1.首先创建一台虚拟机 内存设置最好要大一些 要不玩不起来 我的设置为100g 然后内存线程什么的根据自己电脑配置来
2.然后配置文件 安装jdk什么的 前边有已经写好的shell脚本 可以直接用 或者自己配置也可以
3.准备工作完成后下载hadoop安装包
4.我的是已经下载好了 先放在/opt 目录下
5.然后解压 文件
tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz 解压到什么位置自己选择 我的是 解压到已经创建好的
/opt/soft/hadoop260 文件夹下
6.解压完成后配置环境
vi /etc/profile
#hadoop environment export HADOOP_HOME=/opt/soft/hadoop260 export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export HADOOP_INSTALL=$HADOOP_HOME
然后把 配置文件粘贴进去
然后 source /etc/proflie 使文件生效
7.打开 hadoop 解压好的 文件包 进入etc目录下的hadoop文件
cd etc/hadoop/
编辑 hadoop-env.sh 目录 添加你的jdk文件目录 我的jdk文件 解压好放在soft目录下
8. 配置 vi core-site.xml 添加以下配置文件 写在configuration 中 要不然不会生效
<property> <name>fs.defaultFS</name> <value>hdfs://192.168.80.181:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/soft/hadoop260/tmp</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.users</name> <value>*</value> </property>
9. vi hdfs-site.xml
<property> <name>dfs.replication</name> <value>1</value> </property>
10.cp mapred-site.xml.template mapred-site.xml 复制文件然后修改
11. vi mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
12.vi yarn-site.xml
<configuration> <property> <name>yarn.resourcemanager.localhost</name> <value>localhost</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
13.hadoop namenode -format 格式化文件
14.start-all.sh 启动文件 期间会不断让你输入密码 这个密码是 虚拟机密码 因为没有配置 ssh 这个我后边会有配置
启动文件 后 一直到结束
15 输入 jps 查看任务
看到启动这5个任务 就算你配置成功了
期间会报错的话就是文件 配置出错 可以自己查看log 目录下日志文件 看看报错在哪
16 stop-all.sh 关闭文件 查看 jps 任务 全部关闭才行 然后配置ssh
首先创建公匙
17.
你可以自己看看是什么样
18.
然后输入 ssh-copy-id root@自己主机名 再次输入密码 ssh hc 查看 确认出现last login后配置成功
exit退出
全部配置完毕 快乐玩耍吧