文章目录

• 深入理解Linux文件系统与日志分析
• • inode与block
  • • inode和block概述
    • • inode的内容
      • inode的号码
    • 文件存储小结
    • • inode的大小
    • 链接文件
  • 恢复误删除的文件
  • • 案例1：inode节点耗尽故障
    • 案例2：恢复EXT类型的文件
    • 案例3：恢复XFS类型的文件(预先备份)
    • • 模拟删除并执行恢复操作
  • 分析日志文件
  • • 日志文件
    • 用户日志分析
    • 主配置文件rsyslog.conf
    • 程序日志分析
    • 日志管理策略
    • • 配置日志服务器手机日志
      • journalctl日志管理工具（CentOS 7）

深入理解Linux文件系统与日志分析

inode与block

inode和block概述

• 文件数据包括元信息与实际数据

• 文件存储在硬盘上,硬盘最小存储单位是"扇区”，每个扇区存储512字节

• block(块)

  • 连续的八个扇区组成一个block(4K)
  • 是文件存取的最小单位，操作系统读取硬盘的时候，是一次性连续读取多个扇区，即一个块一个块的读取的。

• inode(索引节点)

  • 中文译名为“索引节点”，也叫i节点
  • 用于存储文件元信息

  元信息–>inode

  数据–>block

  文件数据包括实际数据与元信息（类似文件属性）。文件数据存储在"块"中，存储文件元信息（比如文件的创建者、创建日期、文件大小、文件权限等）的区域就叫做inode。因此，一个文件必须占用一个inode，并且至少占用一个block。

  inode不包含文件名。文件名是存放在目录当中的。Linux系统中一切皆文件，因此目录也是一种文件。

inode的内容

• inode包含文件的元信息（不包含文件名）

  • 文件的字节数
  • 文件拥有者的User ID
  • 文件的Group ID
  • 文件的读、写、执行权限
  • 文件的时间戳
  • ……

• 用stat命令可以查看某个文件的inode信息

  • 例：stat aa.txt

    • ls -i //仅能查看到inode，没有stat详细

  • Acess、atime（accesstime）：当使用这个文件的时候就会更新这个时间

  • Modify、mtime (modification time) ：当修改文件的内容数据的时候，就会更新这个时间，而更改权限或者属性，mtime不会改变，这就是和ctime的区别。

  • Change、ctime (status time):当修改文件的权限或者属性的时候，就会更新这个时间，ctime并不是create time，更像是change time,只有当更新文件的属性或者权限的时候才会更新这个时间，但是更改内容的话是不会更新这个时间。

• 目录文件的结构

  • 目录也是一种文件

  • 目录文件的结构

    文件名 – inode号码(一行称为一个目录项)

• 每个inode都有一个号码，操作系统用inode号码来识别不同的文件

• Linux系统内部不使用文件名，而使用inode号码来识别文件

• 对于用户，文件名只是inode号码便于识别的别称

inode的号码

• 用户通过文件名打开文件时，系统内部的过程
  1. 系统先根据文件名去查找它对应的inode号码。
  2. 通过inode号码，获取inode信息
  3. 根据inode信息，看该用户是否具有访问这个文件的权限:如果有，就指向相对应的数据block，并读取数据。
• 查看inode号码的方法
  • ls -i命令：查看文件名对应的inode号码
  • stat命令：查看文件inode信息中的inode号码

文件存储小结

• 硬盘分区后的结构

  

• 访问文件的简单流程

  

inode的大小

• inode也会消耗硬盘空间

  • 每个inode的大小
  • —般是128字节或256字节

• 格式化文件系统时确定inode的总数

• 使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量

  inode也会消耗硬盘空间，所以格式化的时候，操作系统自动将硬盘分成两个区域。一个是数据区，存放文件数据；另一个是 inode区，存放inode所包含的信息。每个inode的大小，一般是128字节或256字节。
  通常情况下不需要关注单个inode的大小，而是需要重点关注inode总数。inode的总数在格式化时就给定了，执行"df -i"命令即可查看每个硬盘分区对应的inode总数和已经使用的inode数量。

  由于inode号码与文件名分离，导致Linux系统具备以下几种特有的现象:

  1. 文件名包含特殊字符，可能无法正常删除。这时直接删除inode，能够起到删除文件的作用

  2. 移动文件或重命名文件，只是改变文件名，不影响inode号码

  3. 打开一个文件以后，系统就以inode号码来识别这个文件，不再考虑文件名

  4. 使用vi编辑器修改文件数据保存后，会生成一个新的inode号码。

• 按inode号删除文件

  find ./ -inum 52305110 -exec rm -i {} \;

  find ./ -inum 52305110 -delect

  find ./ -inum 52305110 | xargs rm -rf

链接文件

• 为文件或目录建立链接文件

• 链接文件分类

  	软链接（又称符号链接）	硬链接
  删除原始文件后	失效	仍旧可用
  使用范围	适用于文件或目录	只可用于文件
  保存位置	与原始文件可以位于不同的文件系统中	必须与原始文件在同一个文件按系统（如同一个Linux分区）内

  • 硬链接

    ln 源文件 目标位置

  • 软链接

    ln [-s] 源文件或目录… 链接文件或目标位置

恢复误删除的文件

案例1：inode节点耗尽故障

表现：用ls -ld查询发现目录本身占用空间很大，目录下无法创建新的文件

• 使用fdisk创建分区/dev/sdb1，分区大小30M即可

  fdisk /dev/sdb

  mkfs.ext4 /dev/sdb1 //ext4文件系统在df -i显示时能最准确的显示出inode号的数量

  mkdir /test

  mount /dev/sdb1 /mnt

  df -i //查看inode数量，下一步循环操作要使用

• 模拟inode节点耗尽故障

  for ((i=1;i<=7680;i++));do touch /test/file$i;done或者touch {1..7680}.txt

  df -i

  df -hT

• 删除文件恢复

  rm -rf /test/*

  df -i

  df -hT

案例2：恢复EXT类型的文件

extundelete是一个开源的Linux数据恢复工具，支持ext3、ext4文件系统。（ext4只能在CentOS6版本恢复）

• 编译安装extundelete软件包

  • 使用fdisk创建分区/dev/ sdc1，格式化ext3文件系统

    fdisk /dev/sdc

    partprobe /dev/sdc //刷新磁盘状态

    mkfs.ext3 /dev/sdc1

    mkdir /test

    mount /dev/sdc1 /test

    df -hT

  • 安装依赖包

    e2fsprogs-libs-1.41.12-18.el6.x86_64.rpm

    e2fsprogs-devel-1.41.12-18.el6.x86_64.rpm

    yum -y install e2fsprogs-devel e2fsprogs-libs

  • 编译安装extundelete

    cd /test

    wget http://nchc.dl.sourceforge.net/project/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2

    tar jxvf extundelete-0.2.4.tar.bz2

    cd extundelete-0.2.4/

    ./configure --prefix=/usr/local/extundelete && make && make install //指定安装目录

    ln -s /usr/local/extundelete/bin/* /usr/bin/ //创建软链接使系统能够识别命令

  • 模拟删除并执行恢复操作

    cd /test

    echo a>a

    echo a>b

    echo a>c

    echo a>d

    ls

    extundelete /dev/sdc1 --inode 2 //查看文件系统/dev/sdc1下存在哪些文件，i节点是从2开始的，2代表该文件系统最开始的目录。

    rm -rf a b

    extundelete /dev/sdc1 --inode 2 //刚才被删除的文件带上了delect的标记

    cd ~

    umount /test //解挂防止新写入的文件覆盖被删除文件的inode号

    extundelete /dev/sdc1 --restore-all //恢复/dev/sdc1文件系统下的所有内容,在当前目录下会出现一个RECOVERED_FILES/目录，里面保存了已经恢复的文件

    ls RECOVERED_FILES/

案例3：恢复XFS类型的文件(预先备份)

CentOS 7系统默认采用xfs类型的文件，xfs类型的文件可使用xfsdump与xfsrestore工具进行备份恢复

• xfsdump命令格式

  xfsdump -f 备份存放位置 要备份的路径或设备文件

• xfsdump备份级别(默认为0)

  • 0:完全备份（默认级别）

  • 1-9:增量备份

• xfsdump常用选项:

  • -f：指定备份文件目录
  • -L：指定标签 session label
  • -M：指定设备标签 media label
  • -s：备份单个文件，后面不能直接跟路径

• xfsrestore命令格式

  xfsrestore -f 恢复文件的位置 存放恢复后文件的位置

• xfsdump使用限制：

  1. 只能备份己挂载的文件系统

  2. 必须使用root的权限才能操作

  3. 只能备份XFS文件系统

  4. 备份后的数据只能让xfsrestore解析

  5. 不能备份两个具有相同UUID的文件系统（可用blkid命令查看)

模拟删除并执行恢复操作

• 使用fdisk创建分区/dev/sdb1，格式化xfs文件系统

  fdisk /dev/sdb

  partprobe /dev/sdb

  mkfs -t xfs /dev/sdb

  mkdir /data

  mount /dev/sdb1 /data/

  cd /data

  cp /etc/passwd ./

  mkdir test

  touch test/a

• 使用xfsdump命令备份整个分区

  rpm -qa | grep xfsdump

  yum install -y xfsdump

  xfsdump -f /opt/dump_sdb1 /dev/sdb1 [-L dump_sdb1 -M sdb1] //可以按提示输入

• 模拟数据丢失并使用xfsrestore命令恢复文件

  cd /data/

  rm -rf ./*

  ls

  xfsrestore -f /opt/dump_sdb1 /data/

分析日志文件

日志文件

• 日志的功能

  • 用于记录系统、程序运行中发生的各种事件
  • 通过阅读日志，有助于诊断和解决系统故障

• 日志文件的分类

  • 内核及系统日志
    • 由系统服务rsyslog统一进行管理，日志格式基本相似
    • 软件包：rsyslog-7.4.7-16.el7.x86_64
    • 主要程序：/sbin/rsyslogd
    • 主配置文件/etc/rsyslog.conf
      • GLOBAL DIRECTIVES全局配置
      • MODULES模块
      • RULES规则
  • 用户日志
    • 记录系统用户登录及退出系统的相关信息
  • 程序日志
    • 由各种应用程序独立管理的日志文件，记录格式不统一

• 日志保存位置

  • 默认位于：/var/log目录下

• 主要日志文件介绍

  日志类型	日志路径
  内核及公共消息日志	/var/log/messages
  计划任务日志	/var/log/cron
  系统引导日志	/var/log/dmesg
  邮件系统日志	/var/log/maillog
  用户登录日志	/var/log/lastlog secure wtmp 和 /var/run/btmp

• 常见的一些日志文件

  • 内核及公共消息日志
    • /var/log/messages：记录Linux内核消息及各种应用程序的公共日志信息，包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息。
  • 计划任务日志
    • /var/log/cron：记录crond计划任务产生的事件信息。
  • 系统引导日志
    • /var/log/dmesg：记录Linux系统在引导过程中的各种事件信息。
  • 邮件系统日志
    • /var/log/maillog：记录进入或发出系统的电子邮件活动。

用户日志分析

• 用户登录日志

  • /var/log/secure：记录用户认证相关的安全事件信息。

  • /var/log/lastlog：记录每个用户最近的登录事件。二进制格式

  • /var/log/wtmp：记录每个用户登录、注销及系统启动和停机事件。二进制格式

  • /var/run/btmp：记录失败的、错误的登录尝试及验证事件。二进制格式

  • /var/log/utmp：当前登录的每个用户的详细信息。二进制格式

• 分析工具

  • users、who、w、last、lastb
  • last命令用于查询成功登录到系统的用户记录
  • lastb命令用于查询登陆失败的用户记录

主配置文件rsyslog.conf

• 查看rsyslog.conf配置文件，规则(RULES)配置格式（【设备.级别 动作】）

  vim /etc/rsyslog.conf

  *.info;mail.none;authpriv.none;cron.none /var/log/messages

  *.info //表示info等级及以上的所有等级的信息都写到对应的日志文件里

  mail.none //表示某事件的信息不写到日志文件里（这里举例是邮件）

• 设备字段说明

  字段	说明
  auth	用户认证时产生的日志
  authpriv	ssh，ftp等登录信息的验证信息
  daemon	一些守护进程产生的日志
  ftp	FTP产生的日志
  lpr	打印相关活动
  mark	rsyslog服务内部的信息，时间标识
  news	网络新闻传输协议（nntp）产生的消息
  syslog	系统日志
  uucp	Unix-to-Unix Copy 两个unix之间的相关通信
  console	针对系统控制台的消息
  cron	系统执行定时任务产生的日志
  kern	系统内核日志
  local0~local7	自定义程序使用
  mail	邮件日志
  user	用户进程

• Linux系统内核日志消息的优先级别（数字等级越小，优先级越高，消息越重要）

  • 0：EMERG（紧急）：会导致主机系统不可用的情况，如系统崩溃。

  • 1：ALERT（警告）：必须马上采取措施解决的问题，如数据库被破坏

  • 2：CRIT（严重）：比较严重的情况。如硬盘错误，可能会阻碍程序的部分功能

  • 3：ERR（错误）：运行出现错误。不是非常紧急，尽快修复的

  • 4：WARNING（提醒）：可能影响系统功能，需要提醒用户的重要事件。不是错误，如磁盘空间用了85%

  • 5：NOTICE（注意）：不会影响正常功能，但是需要注意的事件。无需处理

  • 6：INFO（信息）：一般信息。正常的系统信息

  • 7：DEBUG（调试）：程序或系统调试信息等。包含详细开发的信息，调试程序时使用。

    none：没有优先级，不记录任何日志信息

• 举例：

  • mail.info /var/log/maillog：比指定级别更高的日志级别，包括指定级别自身，保存到/var/log/maillog中

  • mail.=info /var/log/maillog：明确指定日志级别为info，保存至/var/log/maillog

  • mail.!info /var/log/maillog：除了指定的日志级别（info）所有日志级别，保存至/var/log/maillog

  • *.info /var/log/maillog：所有facility的info级别，保存至/var/log/maillog

  • mail.* /var/log/maillog：mail的有日志级别信息，都保存至/var/log/maillog

  • mail.notice;news.info /var/log/maillog：mail的notice以上的日志级别和news的info以上的级别保存至/var/log/maillog

  • mail,news.crit -/var/log/maillog：mail和news的crit以上的日志级别保存至/var/log/maillog中："-"代表异步模式

  路径":omusrmsg:*"：指的是Everybody gets emergency messages

程序日志分析

公共日志/var/log/message文件的记录格式

时间标签：消息发出的日期和时间。

主机名：生成消息的计算机的名称

消息：消息的具体内容

• 由相应的应用程序独立进行管理

  • Web服务：/var/log/httpd/（/etc/httpd/路径下有该路径的软链接，由/etc/httpd/conf/httpd.conf文件的配置决定）

    • access_log //记录客户访问事件
    • error_log //记录错误事件

  • 代理服务：/var/log/squid/

    • access.log、cache.log

  • 分析工具

    • 文本查看、grep过滤搜索、Webmin管理套件中查看

    • awk、sed等文本过滤、格式化编辑工具

    • Webalizer、Awstats等专用日志分析工具

日志管理策略

命令/脚本 + crontab

rsyslog自动收集

ELK/EFK

• 及时作好备份和归 档

• 延长日志保存期限

• 控制日志访问权限（640）

  • 日志中可能会包含各类敏感信息，如账户、口令等

• 集中管理日志

  • 将服务器的日志文件发到统一的日志文件服务器

• 便于日志信息的统一收集、整理和分析

  • 杜绝日志信息的意外丢失、恶意篡改或删除

配置日志服务器手机日志

rsyslog是一个C/S架构，可以通过套接字来进行监听记录工作，可以基于TCP和UDP工作，默认的监听接口是514，只需要在MODULES打开即可。

• 发送服务器：客户端192.168.80.20（主机名更改为send）

• 收集服务器：服务端192.168.80.30（主机名更改为receive）

• 关闭服务器和客户端防火墙、SELinux

  setenforce 0

  systemctl stop firewalld

  systemctl disable firewalld

• 修改客户端配置文件，并启动服务

  vim /etc/rsyslog.conf

  #### MODULES ####

  $ModLoad imudp

  $UDPServerRun 514

  $ModLoad imtcp

  $InputTCPServerRun 514

  将以上四行注释取消

  #### RULES ####

  $template myFormat, "%timestamp% %hostname% %syslogseverity-text% %syslogtag% %msg%\n"

  $ActionFileDefaultTemplate myFormat //调用格式

  *.info;mail.none;authpriv.none;cron.none @@192.168.20.30:514 //以UDP发送至192.168.20.30的514端口

  添加以上内容

  • 各字段释义
    • %timestamp%：时间戳
    • %fromhost-ip%：接收的信息来自于哪个节点的IP
    • %hostname%：主机名
    • %syslogseverity-text%：日志等级
    • %syslogtag%：服务进程
    • %msg%：日志内容
    • 接收方IP前面一个@表示TCP传输，两个@表示UDP传输

  systemctl restart rsyslog

  netstat -anutp | grep 514 //查看重启后的服务

• 修改服务端配置文件，并启动服务

  vim /etc/rsyslog.conf

  将下面四行前的注释取消掉

  $ModLoad imudp

  $UDPServerRun 514

  $ModLoad imtcp

  $InputTCPserverRun 514

  添加以下内容

  $AllowedSender tcp, 192.168.80.0/24 //允许192.168.80.0 网段内的主机以tcp协议来传输

  $template Remote, "/data/log/%fromhost-ip%/%fromhost-ip%_%$YEAR$-%$MONTH$-%$DAY%.log" //定义模板，接受日志文件路径，区分了不同主机的日志

  :fromhost-ip, !isequal, "127.0.0.1" ?Remote //过滤掉server本机的日志

• 在服务端创建/data/log目录，以接受大量日志信息，配置文件中的路径应当与该路径一致

  mkdir -p /data/log

  systemctl restart rsyslog //新建完存储文件夹再重启服务

• 验证

  cd /data/log/

  ls

  tree ./ //以树形结构查看本文件夹，无tree服务则yum安装

  tail -f 192.168.80.20_2021_11_24.log //接收端跟踪日志文件

  logger "hello world" //发送端的客户端的终端命令行输入或者重启一个服务

  systemctl restart network

  此时在接收端查看日志文件是否在同步更新显示

journalctl日志管理工具（CentOS 7）

日志管理工具journalctl是CentOS7上专有的日志管理工具，该工具是从message这个文件里读取信息

Systemd统一管理所有Unit的启动日志。带来的好处就是，可以只用journalctl一个命令，查看所有日志（内核日志和应用日志）

日志的配置文件是/etc/systemd/journald.conf

• 查看所有日志（默认情况下，只保存本次启动的日志）

  journalctl

  journalctl -r //-r表示倒序，从尾部看（推荐)

• 查看内核日志（不显示应用日志）

  journalctl -k

• 查看系统本次启动的日志

  journalctl -b [-0]

• 查看上一次启动的日志（需更改设置,如上次系统崩溃，需要查看日志时，就要看上一次的启动日志）

  journalctl -b -1

• 显示尾部指定行数的日志

  查看的是/var/log/messages的日志，但是格式上有所调整，如主机名格式不一样而已

  journalctl -n 20 [-f] //-f实现跟踪

• 查看某个服务的日志

  journalctl -u nginx.service [-f]

• 查看指定进程的日志

  journalctl -u _PID=1

• 查看指定用户的日志

  journalctl _UID=0 --since today

  journalctl -xe //-x是目录（catalog）的意思，在报错的信息下会，附加解决问题的网址;-e pager-end从末尾看