爬虫复习

1.python基础
	python基础语法
    流程控制
    函数封装
2.防爬措施
	整体防爬
    	User-Agent
        referer
        IP代理池
        Cookie代理池
    各自防爬
    	数据内部动态加载
        网页设置有干扰项标签
        数据加密解密
3.课程中爬取过的网站
	红牛分公司数据
    链家二手房数据
    历史天气数据
    汽车之家新闻数据
    京东商品数据
    豆瓣电影排行数据
    贴吧图片数据

本周内容

linux

操作系统

为什么要学Linux
	Hadoop相当于数据库软件 只不过功能非常强大专门处理海量数据
学习linux基础非常的简单
	其实就是一堆需要记忆的命令 没有任何得逻辑

服务器

对外提供服务的机器 本质也是电脑
我们日常生活中所使用到的所有的软件代码都是运行在服务器上面的
服务器使用的是linux系统
	该系统没有图形化界面 主要是尽可能多的把机器资源分配给真正运行的程序
 
软件开发架构
	cs bs
    	s服务端 c客户端 b浏览器
     
作⽤:
 1.可以尽量避免数据不会丢失
 2.可以24⼩时不间断提供服务
 3.可以提升⽤户体验
ps:运维⼈员的⼯作，本质上就是为了上述三点的实现

服务器种类

专门在机房工作的人员>>>:IDC运维
    
1.云主机服务器
将多台硬件服务器进行整合,根据用户的需求分配硬件资源给相应的用户
2.物理主机服务器
机架式服务器
刀片服务器
塔式服务器

服务器的品牌

戴尔dell(常见)
IBM(被联想收购更名为thinkserver)
华为
浪潮(国内居多)

"""
服务器尺寸描述主要以U为单位
1U=1.75英寸=4.45CM
常见服务器尺寸1U 2U 4U
"""

服务器内部组成

计算机五大硬件
	运算器、控制器、存储器、输入设备、输出设备
服务器主要组成
	电源 主板 CPU 内存 硬盘 散热系统
    电源：为了保证24小时不间断工作 电源起码有两个
    散热：服务器运行起来之后热量很大需要好的散热
    
1.如何保证不断电
	冗余技术：UPS(不间断电源系统)、双路或多路供电、发电机
2.CPU(运算器+控制器)
	CPU路数：单路==1个 双路==2个 四路==4个(个数)
    CPU核数：把CPU比喻成厂房，将CPU中的核数比喻成厂房中的工人，CPU核数是真正处理工作任务，CPU核数越多，同时处理工作任务的效率越高(核数越多性能越好)
    
3.内存
	临时存储数据(断电数据即消失)
    程序		 	进程(存储在内存中)		守护进程
    写好的代码		运行起来的程序		根本停不下来的进程
    
4.缓存cache 缓冲buffer
内存存储空间一分为二(公交车上下车位置)
cache缓存		从缓存读数据
buffer缓冲	从缓冲写数据

5.硬盘
    永久存储数据断电硬盘种类：
 		机械硬盘（性能低）
 		固态硬盘（性能⾼）
    硬盘接⼝（茶壶壶嘴）：SATA< SCSI <SAS <PCI-E
 
6.远程管理卡
	远程控制管理服务器的运⾏状态
         远程安装操作系统
         远程配置raid阵列信息 
         PS：⼀定要确认远程管理卡的默认地址信息
      
7.光驱（安装系统）-- 淘汰
     U盘安装系统
     kickstart cobbler -- ⽆⼈值守安装系统
     
# 机柜
	机柜⾥⾯线缆⼀定要布线整⻬ 设置标签

服务器磁盘阵列(raid)

服务器磁盘阵列（raid）
    1）服务器上有多块硬盘保证数据不容易丢失
    2）服务器上存储数据较多可以将多块硬盘进⾏整合
    3）服务器上存储⼤容量数据效率更⾼

服务器磁盘阵列(raid) 
     按照不同级别进⾏多块硬盘整合
     	2块（raid0 raid1） 3块（raid5） 4块（raid01 raid10）
     raid0 ：存储量-没有浪费
         优势：提升数据存储效率
         缺点：容易丢失数据
     raid1：存储量-浪费⼀半
         优势：不容易丢失数据，数据更加安全
         缺点：数据存储效率较低
     raid5：（⾄少需要3块硬盘）存储量--损失⼀块盘容量
         优势：安全 存储数据性能也⽐较⾼ 
         缺点：最多只能坏⼀块盘
	

操作系统

unix系统 1970
	后面逐步完善 之后由于涉及到可能要收费的情况 技术大牛基于unix开发了linux系统完全开源免费
linux系统	1991
	基于unix发展而来
图标是一只企鹅

linux主要版本
	Debian Ubuntu CentOS ...

虚拟化

将一台计算机硬件"拆分"成多份分配使用

借助于虚拟化软件可以实现在一台计算机上面安装多个操作系统

虚拟化软件

vmware软件
	vmware12		支持windows64
    vmware8			支持windows32
    vmware fusion	 支持苹果系统

下载流程

基本都是直接点击next即可
	注意安装位置不要放在C盘即可
激活操作
	直接拷贝文件名后缀部分或者文本文件内存放的激活码即可

虚拟软件配置

虚拟机内存最小可以设置成512MB
	第一台需要安装操作系统的虚拟机我们推荐使用2048MB提升速度
内存⽐较多分配 每个虚拟主机1G（建议） 

今日作业

1.熟读操作系统发展史PDF自己归纳总结出重要知识
2.下载并安装vmware软件
3.创建一个虚拟主机
ps:截图(vmware软件图标 虚拟机名称)
    
https://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/