Windows环境下的jdk以及Hadoop3.1.x和3.0.x版本安装(解决天坑系列!!!!),这里最需要注意的就是版本!版本!版本!其次就是各种应用插件问题,这里之所以只有3.0.x -> 3.1.x的安装教程,后面会有解释
前期的准备大同小异,可以给各位同学准备几个参考的博客即可
https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
jdk8以上的版本和不同版本的hadoop会出现各种莫名其妙的问题,建议看准jdk8即可
环境变量的配置看这个链接即可:https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html
要做到在cmd下输入 java, javac, java -version三条指令都没有问题(如下图所示),才能进入下一步,切记!!!!!!
hadoop的windows下安装是很简单的,只要去官网下载好tar.gz包,然后解压即可,先附上hadoop3的下载链接:: https://hadoop.apache.org/release/3.1.2.html.
这里解压有时候会报错,所以建议大家用管理员权限进入文件夹用命令行解压
我这里使用的是WinRAR软件,故可以使用这条命令:start winrar x -y hadoop-3.1.3.tat.gz
图片:
其次,hadoop的常规配置就是配置环境变量,然后添加 D:\hadoop\hadoop-3.1.3\etc\hadoop 里的配置xml文件,core_site.xml \ hdfs_site.xml \ mapred_site.xml \ yarn_site.xml \ hadoop-env.cmd,这里我不赘述,因为天坑到这一步也没有出现,大家一定先做好上述步骤,附上这一步的链接: https://blog.csdn.net/yongyong2014/article/details/91883547.
链接里面有一个小坑,就是记事本打开hadoop-env.cmd后一定要找到**set JAVA_HOME=%JAVA_HOME%**一行,将其值修改为jdk所在目录,如果目录带有空格,可以通过下面两种方式处理:这里以安装目录为C:\Program Files\Java\jdk1.8.0_212为例,因为Program Files中存在空格,若是直接使用会出现错误,可以下面两种方式之一进行处理:
现在开始,天坑之一(每一个hadoop版本一定要找到对应的源码文件),千万对应版本,不然错误你根本找不到!!
例如:hadoop3.1.x对应adooponwindows-master.zip以及winutils中3.1.0版本
https://link.csdn.net/?target=https%3A%2F%2Fcodeload.github.com%2Fzyj108%2Fapache-hadoop-3.1.0-winutils%2Fzip%2Fmaster
hadoop3.0.x对应adooponwindows-master.zip以及winutils中3.0.0版本
hadoop2.x对应adooponwindows-master.zip以及winutils中2.x版本
https://github.com/steveloughran/winutils
这里附上各种winutils的链接下载,后续操作就是下载后直接替换掉自己hadoop目录下bin文件即可,然后将替换后的bin目录下的hadoop.dll复制到C:\Windows\System32下即可,到此步,可以先去测试一下hadoop环境变量和其他配置是否成功。一定要用三条命令都试试 hadoop / hadoop -version/ winutils,具体显示如下:
如果都可以启动,恭喜,说明前期准备工作全部完毕,可以后续的格式化节点以及启动集群。
天坑之二,查看winutils如果发现报以下错误:”“”由于找不到MSVCR120.dll,无法继续执行代码.重新安装程序可能会解决此问题。“”“,必须安装Microsoft插件《----------这是最坑的-----------》
附上链接:https://www.codeprj.com/blog/a2e8231.html
格式化namenode节点:hadoop namenode -format 或者 hdfs namenode -format,这里不能出现任何异常,否则就往前找问题。
然后cd到安装的hadoop的sbin目录下,start-all.cmd ,如果能正常出现4个弹窗,并jps显示如下图所示,即成功安装!!!!!!!!!!!!!!
***天坑之三,如果resourceManager报错,解决方法如下 ***:
D:\hadoop\hadoop-3.1.3\share\hadoop\yarn\timelineservice 将这个文件夹下的hadoop-yarn-server-timelineservice-3.1.1.jar 包 复制到这个路径下 D:\hadoop\hadoop-3.1.3\share\hadoop\yarn 即可解决。