云计算

大数据学习从入门到放弃--小白初学Hadoop的坑...

本文主要是介绍大数据学习从入门到放弃--小白初学Hadoop的坑...,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

在学习过程中,最怕的事情,就是从入门到放弃......

      大二的时候接触数据分析和大数据学习,当时刚刚学完Linux的基础课程。但是学习过程中对于Linux的认识并不到位,认为这无非是学校又一门无用的课,直到我开始接触在Linux环境下搭建单节点的Hadoop环境....

  1. linux命令的不熟悉

    一开始甚至连最基本的目录进入和退出都不会,为此在配置新的虚拟机的时候连基本的命令都不会使用。

  2. IP地址的陌生

    新的虚拟机需要联网,网络基础也是大学的必修课,然而基础差就是表现在动手能力差。

    因为配置不好网络,这部分的学习一拖再拖(试想,虚拟机的网络都不连通,ip地址都不知道怎么配,怎么学习?)

    最终明白了,虚拟机和本地主机的ip地址虽然要在一个网段,但是不能是完全一样的,不然就是自己ping自己。

  3. Xshell

    用Xshell连接虚拟机,这种操作无非是将虚拟机里的终端放在本地上操作。为什么一定要用Xshell呢?

    首先是我电脑的分辨率太高,但是VM的虚拟机无法适配,每次要手动很麻烦;其次,远程连接这个操作一定要会,毕竟以后面对工作的时候不会是部署在虚拟机上,而是真正的服务器,比如云服务器。云服务器也有自带的连接,但是正如我所说,一切以工作为主;最后,不一定非要选择Xshell,Mac电脑有自带的shell,Windows也有自带的终端,只要知道ip地址,用户名密码就可以远程登录。但是想想这件事本身就很酷啊,慢慢像个Hacker了......

    再说说我在Xshell遇到的坑,每次连接的时候,总是连接一下就断,过个几分钟就断掉了连接......

    这个问题主要出在hosts的ip地址没有改过来。

  4. 日志文件不会查阅

    飞机飞行有黑匣子,轮船航行有航海日志,同样机器运行也有日志生成。不像在集成开发环境中做软件开发,随时可以pirnt一下。在启动hdfs的过程中,DataNode怎么都无法启动。

    我第一时间不是想到去查找日志,看看到底发生了什么,而是在百度中像个无头苍蝇似的乱撞。造成它无法启动的原因有很多,这里就不一一列举了。

    最终我找到了日志文件,发现还是hosts的问题,按照CSDN的博主提供的解决办法,修改了hosts,然后启动成功了。

    那位有几句话深受触动,

(1)大神的高度是小白只能仰望的,也是自己努力的方向。

(2)大牛花费10分钟解决的问题,小白花费一天解决不了,那是人家积累的结果,当然小白的耐心和毅力也值得赞扬。

(3)博客上面好多都是小白写的,必然自己,这样子容易导致顾此失彼,不能盲目相信。

(4)技术的道路是艰难的,要抬头仰望方向,低头稳步向前。

 

点击查看更多内容
这篇关于大数据学习从入门到放弃--小白初学Hadoop的坑...的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!