课程介绍

以下是Linux系统的相关知识(但是并不全部出现在本文中)

学习Linux的价值

• Liux是现代化应用程序交付的首选平台，无论是部署在裸机、虚拟化还是容器化环境
• 公司内部服务(TCE、FaaS、SCM)统一使用Debian Linux系统
• 熟悉Linux基础指令，熟，练运维前端常用服务(Nginx,Node.js)
• 加深对操作系统概念和实现的理解，夯实基础知识

课前准备

• 一台安装Debian Linux系统的计算机

计算机硬件

计算机操作系统

操作系统的概念

操作系统(Operating System, OS)

操作系统是用于管理和控制计算机系统中的硬件和软件资源，用于在用户与系统硬件之间传递信息。

操作系统主要提供了两个方面的能力，一个是管理计算机资源，包括处理器管理、存储管理、设备管理、文件管理等，另外一个能力是提供各种的用户接口，包括命令接口、图形用户接口、程序调用接口，实现外部程序与操作系统内核的交互。

操作系统启动流程

• 问: 程序启动必须有操作系统来执行，那操作系统本身也是一个程序，那是如何在开机时被执行的呢？
• 答: 操作系统的启动流程分为传统模式，也就是基于 bios 的启动流程，另一种是当前的主流模式，就是基于 UEFI 的启动流程。BIOS 或者 UEFI 其实就是一段固化在主板上的程序，计算机启动时会默认运行这段程序，然后通过这段程序去运行主板引导项。

BIOS与UEFI

BIOS和UEFI都是计算机的固件，也就是硬件上的软件。它们的作用是在计算机启动时初始化硬件，检测设备是否正常，然后启动操作系统。

BIOS（Basic Input/Output System，基本输入输出系统）是一种早期的固件，它在计算机启动时负责执行POST（Power On Self Test，自检程序），检测硬件设备是否正常，然后加载引导程序，启动操作系统。BIOS存储在主板上的闪存芯片中，由于其限制比较多，如容量小、功能简单、启动速度慢等，已逐渐被新一代的UEFI所取代。

UEFI（Unified Extensible Firmware Interface，统一可扩展固件接口）是BIOS的后继者，是一种新型的计算机固件，提供比BIOS更多的功能和扩展性。UEFI支持更大的启动盘和更多的文件系统，也支持更高级的安全和启动选项，同时启动速度更快。UEFI通常存储在主板上的闪存芯片中，并由厂商提供升级固件的方式，使其支持新的硬件和功能。

在操作系统安装时，需要选择与BIOS或UEFI兼容的启动方式。在BIOS时代，常用的启动方式是Legacy BIOS（传统BIOS）启动模式，而在UEFI时代，常用的启动方式是UEFI启动模式。通常情况下，UEFI启动方式更为推荐，因为它提供了更多的功能和扩展性，同时也支持传统BIOS启动方式，以兼容老的硬件设备。

Linux系统概览

Linux发展简史

1. 1969年，Unix诞生于贝尔实验室
2. 1984年，贝尔实验室将Unix商业化
3. 1984年，Tanenbaum开发Minix操作系统用于教学并开放源码
4. 1984年，Richard M.Stallman发起自由软件(FSF)与GNU项目，起草GPL(通用公共许可)协议
5. 1991年，Linus Torvalds受Minix影响实现初版的Linux内核
6. 1992年，Linux内核以GPL协议发行V1.0

Linux版本

• 内核版本
• 发行版本

Linux内核 + 常用软件 = Linux发行版

查看Linux系统内核版本

#方法1
uname -a
//显示系统的所有信息，包括内核版本号、操作系统发行版、主机名、处理器类型和架构等等
uname -r
//只显示当前Linux系统的内核版本号

#方法2
cat /proc/version
//cat /proc/version 命令用于显示当前 Linux 系统内核的版本号、编译者和编译日期。该命令读取 /proc/version 文件的内容并将其输出到终端上。
//该命令可以提供有关 Linux 内核的基本信息，包括内核版本、内核编译器和内核构建日期等。此外，它还提供了有关操作系统的其他信息，例如 GNU 工具链的版本和 CPU 架构信息。
//一些 Linux 系统中可能没有 /proc/version 文件，但是它们通常会提供其他方式来查看内核

查看Linux系统版本

cat /etc/os-release

Linux系统应用领域

• IT服务器(操作系统、虚拟化和云计算)
• 嵌入式和智能设备
• 个人办公桌面
• 学术研究与软件研发

Linux系统结构

Linux四个主要部分

• 内核
  • Linux操作系统的核心部分，它管理计算机硬件的资源，包括CPU、内存、磁盘、网络等。它是操作系统与硬件之间的接口，提供了一个操作系统所需的各种基本服务和功能，如进程管理、文件系统、内存管理、网络协议栈等。
• shell
  • Shell是用户与Linux内核之间的接口，是一个命令解释器，提供了一种命令行界面供用户进行交互。在Shell中，用户可以输入命令和参数，执行脚本和程序，管理文件和目录等
• 文件系统
  • 文件系统是Linux操作系统中用于管理文件和目录的机制，是用户与操作系统之间进行文件交互的接口。Linux支持多种文件系统，如ext4、NTFS、FAT32等。它们管理着磁盘上的文件和目录，并提供文件读写、权限控制等基本功能
• 应用程序
  • 应用程序是运行在Linux操作系统上的各种软件，如文本编辑器、浏览器、视频播放器、编译器等。Linux操作系统拥有众多的应用程序，涵盖了各种领域，可以满足不同用户的需求

Linux体系结构

Linux 的体系结构是一个多层次的体系结构，包括硬件层、内核层、应用程序层和用户层。

用户空间和内核空间

• 用户空间是指应用程序运行的空间，包括用户应用程序、库、各种进程、服务等。用户空间的特点是受限制的权限，应用程序只能访问自己所拥有的资源，如自己的进程空间、自己的内存、自己的磁盘空间等。同时，用户空间还包括了各种 shell，用户可以通过 shell 进行命令行操作，从而控制整个系统
• 内核空间是指操作系统内核运行的空间，包括各种驱动程序、系统调用等。内核空间的特点是拥有系统级的权限，可以访问所有资源，包括 CPU、内存、磁盘、网络等。内核空间的代码通常运行在特权级别最高的模式下，可以直接操作硬件，因此内核空间的代码很少出错，一旦出错会导致整个系统崩溃
• 用户空间和内核空间之间通过系统调用进行通信。应用程序可以通过系统调用请求内核提供服务，如读写文件、网络通信、进程管理等。内核收到系统调用后会根据请求提供相应的服务，并返回结果给应用程序

中途涉及知识点：

应用程序发起 IO 请求的过程可以简单地概括为以下步骤：

1. 应用程序通过系统调用向内核发起 IO 请求。
2. 内核收到请求后，检查请求是否合法。如果请求不合法，则内核会向应用程序返回错误码。
3. 如果请求合法，内核会将请求加入到等待队列中，并将控制权返还给应用程序。
4. 当 IO 设备完成请求后，会产生一个中断信号通知内核。
5. 内核在中断处理程序中检查等待队列，将完成的请求从队列中移除，并将数据从内核空间复制到应用程序空间。如果有多个请求等待处理，内核会按照一定的策略进行调度，以确保公平性和效率。
6. 当请求处理完成后，内核会向应用程序发送一个信号，通知请求已经完成。
7. 应用程序收到信号后，继续执行自己的逻辑，处理已经完成的 IO 请求。

系统调用过程：

系统调用（system call）是操作系统向用户程序提供服务的接口，是操作系统的核心组成部分之一。它可以被视为用户程序与操作系统之间的桥梁，用户程序通过调用系统调用来向操作系统请求服务。

系统调用的一般过程如下：

1. 用户程序通过编写代码调用系统调用，指定调用的系统调用类型和参数。
2. 系统调用会将控制权转移到操作系统内核，即从用户态切换到内核态。
3. 在内核态中，操作系统会执行相应的系统调用，并根据调用的类型和参数进行相应的处理。
4. 处理完成后，操作系统将返回结果给用户程序，即从内核态切换回用户态。

在这个过程中，由于切换操作的开销比较大，因此系统调用的执行速度相对比较慢，因此在设计程序时应尽量避免频繁的系统调用操作。

内核漫画

• 内核是硬件与软件之间的中间层
• 内核是一个资源管理程序
• 内核提供一组面向系统的命令

• 像中间层靠着门的企鹅就是在监视着80端口
• 中间层两个肩扛管道的企鹅说明了，进程(企鹅)之间是允许进行管道通信的
• FS这个标志楼梯证明进程能够直接访问底层的

进程管理

• 进程是正在执行的一个程序或命令
• 进程有自己的地址空间，占用一定的系统资源
• 一个CPU核同一时间只能运行一个进程
• 进程由它的进程ID(PID)和它父进程的进程ID(PPID)唯一识别

进程命令

• 查看启动的Nginx进程：
  • 可以使用 ps 命令查看正在运行的进程，配合 grep 命令可以过滤出含有关键字的进程

ps aux | grep nginx

• 查看某个进程：
  • 可以使用 ps 命令查看某个进程的信息

ps -p <pid>
top -p <pid> 命令查看指定进程的系统资源使用情况

• 关闭指定的进程：
  • 可以使用 kill 命令关闭指定进程。下面命令会向进程 ID 为 的进程发送终止信号，使其退出。

kill <pid>

• 全部进程动态实时视图：
  • 可以使用 top 命令查看所有进程的动态实时信息。会打印出一个实时更新的进程列表，包含 CPU 占用率、内存占用率等信息。可以使用快捷键 q 退出 top 命令

top

进程调度

进程调度是指操作系统按某种策略或规则选择进程占用CPU进行运行的过程。

进程的状态

其中，R、S、D、T是常见的进程状态。进程的状态会随着进程运行和系统调度而不断变化。进程状态可以通过命令ps -ef或top查看

• R(TASK_RUNNING),可执行状态
• S(TASK_INTERRUPTIBLE),可中断的睡眠状态
• D(TASK_UNINTERRUPTIBLE),不可中断的睡眠状态
• T(TASK_STOPPED or TASK_TRACED),暂停状态或跟踪状态Z(TASK_DEAD-EXIT_ZOMBIE),退出状态，进程成为僵尸进程
• X(TASK_DEAD-EXIT_DEAD),退出状态，进程即将被销毁

进程调度原则

• 一个CPU核同一时间只能运行一个进程
• 每个进程有近乎相等的执行时间
• 对于逻辑CPU而言进程调度使用轮询的方式执行，当轮询完成则回到第一个进程反复
• 进程执行消耗时间和进程量成正比

对于进程调度来说不能保证一个程序是连续完成的，由于CPU调度和进程切换，上下文也会出现切换情况。

进程的系统调用

• 内核空间(Kernal Space):系统内核运行的空间
• 用户空间(User Space):应用程序运行的空间

文件系统

Linux中一切皆文件

文件系统负责管理持久化数据的子系统，负责把用户的文件存到磁盘硬件中。

这样做最明显的好处是开发者仅需要使用一套 API 和开发工具即可调取 Linux 系统中绝大部分的资源。

举个简单的例子，Linux 中几乎所有读（读文件，读系统状态，读 socket，读PIPE）的操作都可以用read函数来进行；几乎所有更改（更改文件，更改系统参数，写 socket，写 PIPE）的操作都可以用write函数来进行。

使用任何硬件设备都必须与根目录下某一目录执行挂载操作

目录结构

Liux文件系统是采用树状的目录结构，最上层是 /（根）目录

• /bin：bin 是 Binaries (二进制文件) 的缩写, 这个目录存放着最经常使用的命令。
• /boot：这里存放的是启动 Linux 时使用的一些核心文件，包括一些连接文件以及镜像文件。
• /dev ：dev 是 Device(设备) 的缩写, 该目录下存放的是 Linux 的外部设备，在 Linux 中访问设备的方式和访问文件的方式是相同的。
• /etc：etc 是 Etcetera(等等) 的缩写,这个目录用来存放所有的系统管理所需要的配置文件和子目录。
• /home：用户的主目录，在 Linux 中，每个用户都有一个自己的目录，一般该目录名是以用户的账号命名的。
• /lib：lib 是 Library(库) 的缩写这个目录里存放着系统最基本的动态连接共享库，其作用类似于 Windows 里的 DLL 文件。几乎所有的应用程序都需要用到这些共享库。
• /mnt：系统提供该目录是为了让用户临时挂载别的文件系统的，我们可以将光驱挂载在 /mnt/ 上，然后进入该目录就可以查看光驱里的内容了。
• /opt：opt 是 optional(可选) 的缩写，这是给主机额外安装软件所摆放的目录。比如你安装一个ORACLE数据库则就可以放到这个目录下。默认是空的。
• /proc：proc 是 Processes(进程) 的缩写，/proc 是一种伪文件系统（也即虚拟文件系统），存储的是当前内核运行状态的一系列特殊文件，这个目录是一个虚拟的目录，它是系统内存的映射，我们可以通过直接访问这个目录来获取系统信息。
• /root：该目录为系统管理员，也称作超级权限者的用户主目录。
• /sbin：s 就是 Super User 的意思，是 Superuser Binaries (超级用户的二进制文件) 的缩写，这里存放的是系统管理员使用的系统管理程序。
• /usr： usr 是 unix shared resources(共享资源) 的缩写，这是一个非常重要的目录，用户的很多应用程序和文件都放在这个目录下，类似于 windows 下的 program files 目录。

虚拟文件系统(VFS)

Liux有这么多不同的文件系统，如何实现对用户提供统一调用接口的？

• 对应用层提供一个标准的文件操作接口
• 对文件系统提供一个标准的文件接入接口

在 VFS 中，对所有的文件系统都采用统一的操作方式，这些操作会被映射到各个具体文件系统所对应的操作函数上。通过这种方式，VFS 能够屏蔽不同文件系统的差异性，为上层应用程序提供了一个统一的视图，使得应用程序不必关心文件的具体存储细节，而只需要关注文件操作本身。

因此，无论是 ext4、NTFS、FAT32 还是其他文件系统，应用程序都可以使用同样的方式来访问它们。这也是 Linux 系统在文件系统方面具有很强可扩展性和兼容性的一个重要原因。

# df命令报告文件系统磁盘空间利用率
df -T

# mount 命令是挂载文件系统用的，不带任何参数运行，会打印包含文件系统类型在内的磁盘分区的信息
mount

文件基本操作

ls # 查看文件夹下内容

mkdir demo # 创建文件夹

mv demo /home # 移动demo 文件夹到 /home

rm -r demo # 删除demo文件夹

touch file.txt # 创建空文件

cp file.txt file_bak.txt #复制文件

文件读取流程

1. 用户空间: 包括用户进程和用户缓冲区，用户进程通过系统调用发起文件读取请求，读取的数据存储在用户缓冲区中。

2. 内核空间: 包括内核缓存区和Socket缓冲区，当用户进程发起文件读取请求后，操作系统内核会将文件内容从磁盘中读取到内核缓存区中，并将数据从内核缓存区复制到Socket缓冲区。

3. 硬件空间: 包括磁盘和网卡，当内核缓存区中的数据被复制到Socket缓冲区后，网卡会将数据发送到网络中，同时硬盘控制器从磁盘读取数据并传输到内核缓存区。

用户操作

用户账户

• 用户账户
  • 普通用户账户：在系统中进行普通作业
  • 超级用户账户：在系统中对普通用户和整个系统进行管理
• 用户组
  • 标准组：可以容纳多个用户
  • 私有组：只有用户自己

文件权限

文件权限关于用户有三个概念：

• 所有者：文件的所有者
• 所在组：文件的所有者所在的组
• 其他人：除文件所有者及所在组外的其他人

每个用户对于文件都有不同权限，包括读(R)、写(W)、执行(X)

基础用户操作命令

• 在根目录创建一个文件夹，查看当前用户拥有文件夹的权限

  • 这是三个命令组合在一起执行的语句。
    1. cd / 切换到根目录
    2. mkdir demo 创建名为demo的文件夹
    3. ls -ld demo 查看demo文件夹的详细信息，包括文件夹的权限等。其中，ls是查看文件和目录的命令，-l选项是显示详细信息，-d选项是显示目录自身信息，而不是显示目录内文件信息。

    cd  / && mkdir demo && ls -ld demo
    

• 创建一个用户，并赋予可写操作

  • sudo useradd 表示以管理员权限执行添加用户的操作，而 ceshi 则是指定要创建的用户的用户名。执行该命令后，系统会创建一个新的用户账户，并在系统中为其分配一个用户ID、主目录和默认shell等

    sudo useradd ceshi
    

• 设置用户密码

  • 设置ceshi用户的密码的命令，其中sudo是用来获得超级用户权限，passwd是用来设置用户密码的命令，ceshi是指定要设置密码的用户

  sudo passwd ceshi

• 切换 ceshi 用户登录

  • 在当前终端中切换到用户ceshi的身份。通过执行这个命令，你可以在终端中执行ceshi用户具有权限的操作

    su ceshi
    

• 创建index.js文件，提示无权限，需要给ceshi用户demo文件夹的权限

  • 在当前目录下创建一个名为index.js的空文件的命令

    touch index.js
    

• demo文件夹权限给ceshi用户

  • 将当前目录下的 demo 文件夹的所有文件和文件夹的拥有者(owner)和所属组(group)都修改为 ceshi 用户和 ceshi 组。其中 -R 参数表示递归修改

    sudo chown -R ceshi:ceshi ./demo
    

Linux系统软件包管理器

软件包

• 软件包: 通常指的是一个应用程序，它可以是一个GUI川应用程序、命令行工具或（其他软件程序需要的）软件库
• 软件包管理
  • 底层工具：主要用来处理安装和删除软件包文件等任务，DPKG, RPM
  • 上层工具：主要用于数据的搜索任务和依赖解析任务，APT, YUM, DNF

yum 可以自动下载并安装所有需要的依赖项，但 rpm 会告诉你安装一个依赖项列表，然后你必须手动安装。

• RPM(Red Hat Package Manager), 为Red hat操作系统的包管理系统
• DPKG(Debian package), 为Debian操作系统的包管理系统

rpm、deb 包，这个就相当于 Windows 中的 exe

yum、apt，相当于 Windows 中的软件管家

常用命令

• 列出所有可更新的软件清单命令：apt update

• 安装指定的软件命令：apt install<package_name>

• 安装多个软件包：apt install<package_1><package_2><package_3>

• 更新指定的软件命令：apt update<package_name>

• 删除软件包命令：apt remove<package_name>

• 查找软件包命令：apt search<keyword>

• 列出所有已安装的包：apt list-installed