Hadoop教程

【学习打卡】第14天 Hadoop再深入之环境搭建

本文主要是介绍【学习打卡】第14天 Hadoop再深入之环境搭建,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

第一模块

课程名称:Hadoop 系统入门+核心精讲

章节名称:3-7 ~ 3-10

讲师姓名:Michael_PK


第二模块

内容概述:

3-7 ~ 3-10小节主要讲解了Hadoop部署前的一些前置准备工作,包括:JDK的安装、ssh无密码登录设置以及Hadoop安装后的目录结构


第三模块

学习心得:

通过这4章的学习使我对Hadoop的安装有了更深入的认识,知道了更多的安装细节,同时也大大丰富了自己对Linux的常用命令的掌握,下面附上学习笔记:

3-7 Hadoop部署前置介绍

https://img2.sycdn.imooc.com/62fe3b5f0001a0ec14000752.jpg


本地传到服务器:ftp客户端


3-8 JDK1.8部署详解

服务器端:

https://img2.sycdn.imooc.com/62fe3b670001f8a312540275.jpg


本地端:

https://img3.sycdn.imooc.com/62fe3b720001ee7d11180186.jpg


Linux命令:

scp:拷贝本地软件包到服务器

https://img3.sycdn.imooc.com/62fe3b7c0001684114550246.jpg


工作中的服务器一定是访问不了外网的!!!

所以,通过本地端向服务器端拷贝东西是一定要会的!!!


tar:压缩包解压

https://img4.sycdn.imooc.com/62fe3ae100010c4b13240125.jpg


建议:把jdk配置进系统的环境变量中,从而可以在全局范围内访问到jdk

注意:对于Linux系统而言,系统环境变量有好几种,这里我们选用【根目录】这种,eg:

https://img1.sycdn.imooc.com/62fe3af40001f18f12380178.jpg

https://img2.sycdn.imooc.com/62fe3b0700016b8408330766.jpg


重新加载文件(使配置实时生效):

https://img1.sycdn.imooc.com/62fe3b1000019c5208600192.jpg    

https://img1.sycdn.imooc.com/62fe3b180001ea6a10920267.jpg


3-9 ssh无密码登录详解

ls:查看这个文件夹下的可见文件

ls -a:查看这个文件夹下的可见文件和隐藏文件(文件名以.开头的)

ls - la:查看这个文件夹下的可见文件和隐藏文件(文件名以.开头的),以列表形式展示


默认情况下没有.ssh文件,要想有,得执行一次ssh命令,之后会自动生成一个。


没有配置无密码登录时:

https://img1.sycdn.imooc.com/62fe3b2600016b3b13510425.jpg


配置ssh无密码登录:

ss-keygen -t rsa  一路回车

cd ~/.ssh

https://img3.sycdn.imooc.com/62fe3b2b0001b6ff12450236.jpg


cat id.rsa.pub >> authorized_keys 【用公钥生成一个叫authorized_keys的文件】

chmod 600 authorized_keys 【改权限】

https://img4.sycdn.imooc.com/62fe3b330001b01211020125.jpg


Linux命令:rm -rf .ssh 删除.ssh文件


3-10 Hadoop安装目录详解 Hadoop-env 配置

ll -lh:查看一个文件下的所有文件和文件的大小


Hadoop(HDFS)安装:    

    下载

    解压:~/app

    添加HADOOP_HOME/bin到系统的环境变量中

    修改Hadoop的配置文件

            hadoop-env.sh

                  export JAVA_HOME=XXXXXX

hadoop文件目录说明:

    bin:Hadoop客户端的命令

    etc/hadoop:hadoop相关的配置文件存放目录

    sbin:Hadoop服务端的命令

    share:常用例子

   https://img3.sycdn.imooc.com/62fe3b47000125ec14130761.jpg


第四模块

学习截图:

https://img4.sycdn.imooc.com/62fe38650001af4407390184.jpg

这篇关于【学习打卡】第14天 Hadoop再深入之环境搭建的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!