第一模块
课程名称:Hadoop 系统入门+核心精讲
章节名称:3-7 ~ 3-10
讲师姓名:Michael_PK
第二模块
内容概述:
3-7 ~ 3-10小节主要讲解了Hadoop部署前的一些前置准备工作,包括:JDK的安装、ssh无密码登录设置以及Hadoop安装后的目录结构
第三模块
学习心得:
通过这4章的学习使我对Hadoop的安装有了更深入的认识,知道了更多的安装细节,同时也大大丰富了自己对Linux的常用命令的掌握,下面附上学习笔记:
3-7 Hadoop部署前置介绍
本地传到服务器:ftp客户端
3-8 JDK1.8部署详解
服务器端:
本地端:
Linux命令:
scp:拷贝本地软件包到服务器
工作中的服务器一定是访问不了外网的!!!
所以,通过本地端向服务器端拷贝东西是一定要会的!!!
tar:压缩包解压
建议:把jdk配置进系统的环境变量中,从而可以在全局范围内访问到jdk
注意:对于Linux系统而言,系统环境变量有好几种,这里我们选用【根目录】这种,eg:
重新加载文件(使配置实时生效):
3-9 ssh无密码登录详解
ls:查看这个文件夹下的可见文件
ls -a:查看这个文件夹下的可见文件和隐藏文件(文件名以.开头的)
ls - la:查看这个文件夹下的可见文件和隐藏文件(文件名以.开头的),以列表形式展示
默认情况下没有.ssh文件,要想有,得执行一次ssh命令,之后会自动生成一个。
没有配置无密码登录时:
配置ssh无密码登录:
ss-keygen -t rsa 一路回车
cd ~/.ssh
cat id.rsa.pub >> authorized_keys 【用公钥生成一个叫authorized_keys的文件】
chmod 600 authorized_keys 【改权限】
Linux命令:rm -rf .ssh 删除.ssh文件
3-10 Hadoop安装目录详解 Hadoop-env 配置
ll -lh:查看一个文件下的所有文件和文件的大小
Hadoop(HDFS)安装:
下载
解压:~/app
添加HADOOP_HOME/bin到系统的环境变量中
修改Hadoop的配置文件
hadoop-env.sh
export JAVA_HOME=XXXXXX
hadoop文件目录说明:
bin:Hadoop客户端的命令
etc/hadoop:hadoop相关的配置文件存放目录
sbin:Hadoop服务端的命令
share:常用例子
第四模块
学习截图: