写在前面的话,博主刚入大数据的坑,开始在配置环境上走过无数的坑,有些博文上的步骤方法要么就是版本太旧了,要么没有说清楚原理,要么就是可能会行不通,或着自动配置的,不过博主查过许多资料,自定义+手动分区相对来说是更好的,这篇博文让你0基础配置大数据环境!
这个系列文章传送门:
Hadoop入门(一)——CentOS7下载+VM上安装(手动分区)图文步骤详解(2021)
Hadoop入门(二)——VMware虚拟网络设置+Windows10的IP地址配置+CentOS静态IP设置(图文详解步骤2021)
Hadoop入门(三)——XSHELL7远程访问工具+XFTP7文件传输(图文步骤详解2021)
Hadoop入门(四)——模板虚拟机环境准备(图文步骤详解2021)
Hadoop入门(五)——Hadoop集群搭建-克隆三台虚拟机(图文步骤详解2021)
Hadoop入门(六)——JDK安装(图文步骤详解2021)
Hadoop入门(七)——Hadoop安装(图文详解步骤2021)
Hadoop入门(八)——本地运行模式+完全分布模式案例详解,实现WordCount和集群分发脚本xsync快速配置环境变量 (图文详解步骤2021)
Hadoop入门(九)——SSH免密登录 配置
Hadoop入门(十)——集群配置(图文详解步骤2021)
Hadoop入门(十一)——集群崩溃的处理方法(图文详解步骤2021)
Hadoop入门(十二)——配置历史服务器及日志的聚集(图文详解步骤2021)
Hadoop入门(十三)——集群常用知识(面试题)与技巧总结
Hadoop入门(十四)——集群时间同步(图文详解步骤2021)
Hadoop入门(十五)——集群常见错误及解决方案
1.进入CentOs官网:官网网址
2.往下拉进入Older Version
3. 往下拉找到Base Distribution,选择自己的版本,点击Tree
4.选择CentOs的ISO镜像文件(isos目录)
5. 选择对应电脑的版本进行下载
6. 选择你需要的,一般下载DVD标准安装版就行
各个版本的ISO镜像文件说明:
在官网下载的时候是非常慢的,我们可以使用国内镜像下载。
国内阿里云镜像下载:https://mirrors.aliyun.com/centos/7/isos/x86_64/
进入阿里云站点,选择 CentOS-7-x86_64-DVD-1810.iso下载
1、打开VMware Workstation Pro 15.5,点击“创建新的虚拟机”
2、选择“自定义(高级)”,下一步
3、此步用默认选项即可
4、点击“稍后安装操作系统”,下一步
4、选择要安装的虚拟机操作系统。这里我安装的是Linux的CentOS 7 64位系统,按照实际情况选择即可,下一步
可能出现的问题
在桌面虚拟机软件VMVare Workstation中创建新的虚拟机,选择客户机操作系统时,出现“此主机不支持64位客户机操作系统,此系统无法运行”的警告。
如果无视这个问题,直接点击“下一步”,倒也可以完成环境的配置,但是后面想要开启此虚拟机并正式安装红帽系统时,会出现“ VMware Workstation 与 Hyper-V不兼容 ”的提示,需要移除Hyper-V然后再运行VMWare安装CentOS。
这两个问题出现的根本原因都是Hyper-V和VMware冲突了,因此解决这个问题就需要关闭Hyper-V。
解决方法——通过命令行
以管理员身份运行命令提示符(cmd),然后执行命令bcdedit /set hypervisorlaunchtype off
,执行完后重启计算机即可解决。
6、配置CPU个数。根据电脑性能,配置给虚拟机的处理器(CPU)。
简单来说就是两两相乘,核总数不能超过本机的
处理器数量(P):
1、启用了超线程或具有双核CPU的单处理器主机可视为拥有两个逻辑处理器。
2、只有拥有至少两个逻辑处理器的主机才支持指定多个虚拟处理器。
3、具有两个CPU的多处理器主机无论是否为双核处理器或是否启用了超线程,均视为拥有至少两个逻辑处理器。
4、物理CPU个数×每颗核数就等于逻辑CPU的个数。
每个处理器的核心数量(C):
1、多内核(multicore chips)是指在一个处理器(CPU)中集成两个或多个完整的计算引擎(内核)。
2、一个CPU中可以包括多个核,相当于逻辑上的多个CPU在工作。
每个人电脑配置不一样,最后设置的数量只要没有超出电脑配置即可。博主的电脑配置如下:
如果还想搞的更清楚可以参考博客:VMware : 处理器数量和每个处理器的核心数量
这里的内存也是根据本机来的,不用给很大,够用就行,我这里给2048MB
以上都选默认的就行了
磁盘大小根据建议值来就行,系统安装之后也就占5、6个G的样子
这里默认的就好了,直接下一步
点击完成
引导设置成功后先进入Centos的主引导界面
菜单有三个选项
1、安装CentOS
2、试用CentOS
3、故障排除
这里进入第一项- 安装Centos【上下键选中并回车】
第二个界面是选择安装语言界面,我相信看这个教程的很多童鞋都是新手或者第一次安装Centos的同胞,对于新手而言,最好选择可以看懂的中文语言,往下拉到底就可以看到中文了,选中它。单机Continue/继续 【或者键盘的Tab键选中+回车确定】
第三个界面非常关键,这涉及到你系统的基本配置,比如硬盘大小、根分区以及swap分区
本地化:本地化这一块不需要做过多的配置,按需即可;
软件:软件下面的安装源和软件选中,只有特殊需求的童鞋才会用到。这一点从里面的选项描述就可以知道,为了不错误引导新手,这里就不放图了。
系统:我们来重点说一下系统
先说KDUMP
对于新手来说,这个在新手阶段无使用价值,配置启用或者不启用都无关紧要
安装位置
由于安装位置涉及到你自己的磁盘数据以及分区内容,如果原分区包含有数据、有必要先备份数据
点击 添加磁盘
按钮可以添加指定的附加设备或者网络设备(通过ISCSI、FCoE等方式添加硬盘)
然后下面其他存储选项中有
Automatically configure partitioning
自动配置分区
I will configure partitioning
手动配置分区
I would like to make additional space available
我想要额外空间可用
自动分区方案可能不符合实际使用情况,通常所以我们采用手动分区,选中手动配置分区
,然后单击左上角完成
就会弹出手动分区的配置界面。
如果这是一个空白的硬盘,这时我们可以点击 Click here to create them automatically 点击这里自动创建他们
,然后根据实际情况稍作调整。
如果这块硬盘已经安装了操作系统,选中该操作系统的一个分区,点击 - ,勾选删除所有文件系统。
此处设置自动创建分区的类型:Standard partition(标准分区)、Btrfs(一种已经废弃的文件系统)、LVM、LVM Thin Provisioning (自动精简LVM)
分区方案选择LVM即可
Tips:标准分区,分区是固定大小
LVM:普通的磁盘分区管理方式在逻辑分区划分好之后就无法改变其大小,当一个逻辑分区存放不下某个文件时,这个文件因为受上层文件系统的限制,也不能跨越多个分区来存放,所以也不能同时放到别的磁盘上。而遇到出现某个分区空间耗尽时,解决的方法通常是使用符号链接,或者使用调整分区大小的工具,但这只是暂时解决办法,没有从根本上解决问题。随着Linux的逻辑卷管理(LVM)功能的出现,这些问题都迎刃而解,用户在无需停机的情况下可以方便地调整各个分区大小,当然也可以使用LVM Thin Provisioning。某些分区固定只能是标准分区,即使选择LVM也会自动设置为标准分区。
创建一个手动分区,以下是我虚拟机的手动分区方案
可以使用下方+、- 符号增加或者删除分区。
如果你是新手记住:除了SWAP分区外,其他分区的文件系统一律选择ext4类型,设备类型默认选LVM
在安装过程中,可以同时配置ROOT用户的密码和创建新用户,可以点击相应选项进行设置。
于是就可以等待系统安装完成了!!!
重启完成安装
本片讲述了
CentOS7下载+VM上安装(手动分区)图文步骤详解(2021)
我们下一篇进行
VMware虚拟网络设置+Windows10的IP地址配置+CentOS静态IP设置