1、文本处理之grep

作用：文本搜索工具，根据用户指定的“模式”对目标文本逐行进行匹配检查；打印匹配到的行 模式：由正则表达式字符及文本字符所编写的过滤条件

格式：

grep [OPTIONS] PATTERN [FILE...]

常见选项

-color=auto 　　　　　　 对匹配到的文本着色显示
-m 　　　　　　　　　　   # 匹配#次后停止
-v　　　　　　　　　　　　 显示不被pattern匹配到的行,即取反
-i 　　　　　　　　　　 　 忽略字符大小写
-n 　　　　　　　　　　　　显示匹配的行号
-c 　　　　　　　　　　　　统计匹配的行数
-o 　　　　　　　　　　　　仅显示匹配到的字符串
-q 　　　　　　　　　　　　静默模式，不输出任何信息
-A 　　　　　　　　　　　　# after, 后#行
-B 　　　　　　　　　　　　# before, 前#行
-C 　　　　　　　　　　　　# context, 前后各#行
-e 　　　　　　　　　　　　实现多个选项间的逻辑or关系,如：grep –e ‘cat ' -e ‘dog' file
-w 　　　　　　　　　　　　匹配整个单词
-E 　　　　　　　　　　　　使用ERE，相当于egrep
-F 　　　　　　　　　　　　不支持正则表达式，相当于fgrep
-f file 　　　　　　　　　根据模式文件处理
-r   　　　　　　　　　　 递归目录，但不处理软链接
-R   　　　　　　　　　　 递归目录，但处理软链接

 2、文本处理之sed

　　Sed是从文件或管道中读取一行，处理一行，输出一行；再读取一行，再处理一行，再输出一行，直到 最后一行。每当处理一行时，把当前处理的行存储在临时缓冲区中，称为模式空间（Pattern Space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。

2.1.1 sed 基本用法

　　格式

sed [option]... 'script;script;...' [inputfile...]

　　常用选项

-n             不输出模式空间内容到屏幕，即不自动打印
-e             多点编辑
-f FILE        从指定文件中读取编辑脚本
-r, -E         使用扩展正则表达式
-i.bak         备份文件并原处编辑
-s             将多个文件视为独立文件，而不是单个连续的长文件流



#说明:
-ir 　　　　不支持
-i -r  　　支持
-ri    　　支持
-ni    　　会清空文件         

　　script格式

'地址命令'

地址格式

　　1. 不给地址：对全文进行处理
　　2. 单地址：
  　　 #：指定的行，$：最后一行
   　　/pattern/：被此处模式所能够匹配到的每一行

　　3. 地址范围：
   　　#,#     　　　　  #从#行到第#行，3，6 从第3行到第6行
   　　#,+#    　　　　  #从#行到+#行，3,+4 表示从3行到第7行
   　　/pat1/,/pat2/    #正则表达式
　　　 #,/pat/ 　　
　　　 /pat/,#

　　4. 步进：~
    　　 1~2 奇数行
    　　 2~2 偶数行

命令：

p 　　　　　　 打印当前模式空间内容，追加到默认输出之后
Ip 　　　　　  忽略大小写输出
d 　　　　　　 删除模式空间匹配的行，并立即启用下一轮循环
a [\]text 　　在指定行后面追加文本，支持使用\n实现多行追加
i [\]text 　　在行前面插入文本
c [\]text 　　替换行为单行或多行文本
w file 　　   保存模式匹配的行至指定文件
r file 　　   读取指定文件的文本至模式空间中匹配到的行后
= 　　　　　　 为模式空间中的行打印行号
! 　　　　　　 模式空间中匹配行取反处理
q            结束或退出sed

　　查找替代

s/pattern/string/修饰符 　　查找替换,支持使用其它分隔符，可以是其它形式：s@@@，s###
替换修饰符：
g 　　　　行内全局替换
p 　　　　显示替换成功的行
w   　　　/PATH/FILE 将替换成功的行保存至文件中
I,i   　　忽略大小写

　　示例：

[11:20:54 root@centos8 ~]#sed ' ' /etc/issue
\S
Kernel \r on an \m

[11:21:00 root@centos8 ~]#sed -n ' ' /etc/issue
[11:21:07 root@centos8 ~]#sed 'p' /etc/issue
\S
\S
Kernel \r on an \m
Kernel \r on an \m


[11:21:16 root@centos8 ~]#sed -n 'p' /etc/issue
\S
Kernel \r on an \m

[11:21:59 root@centos8 ~]#sed -n '1p' /etc/issue
\S
[11:22:10 root@centos8 ~]#sed -n '2p' /etc/issue
Kernel \r on an \m

[11:26:51 root@centos8 ~]#ifconfig ens160| sed '2p'
ens160: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.1.85  netmask 255.255.255.0  broadcast 192.168.1.255
        inet 192.168.1.85  netmask 255.255.255.0  broadcast 192.168.1.255
        inet6 fe80::f54:7ac3:581e:c117  prefixlen 64  scopeid 0x20<link>
        inet6 2409:8a20:be61:7a20:199e:9165:442b:2982  prefixlen 64  scopeid 0x0<global>
        ether 00:0c:29:0b:7c:79  txqueuelen 1000  (Ethernet)
        RX packets 22528  bytes 15943619 (15.2 MiB)
        RX errors 0  dropped 1468  overruns 0  frame 0
        TX packets 8950  bytes 784348 (765.9 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

[11:27:09 root@centos8 ~]#ifconfig ens160| sed -n '2p'
        inet 192.168.1.85  netmask 255.255.255.0  broadcast 192.168.1.255

不显示注释行和空行
[11:35:58 root@centos8 ~]#sed '/^#/d;/^$/d' /etc/fstab 
UUID=7a405199-a904-4290-89a3-72992b4ad489 /                       xfs     defaults        0 0
UUID=6c58d4aa-0c80-4e0b-b372-0a2187033d23 /boot                   ext4    defaults        1 2
UUID=2dd6f870-9df8-47ec-a4fc-b8a01878f4e0 /data                   xfs     defaults        0 0
UUID=27f69466-124d-4124-aab8-85f247d76d57 none                    swap    defaults        0 0
[11:36:03 root@centos8 ~]#cat /etc/fstab 

#
# /etc/fstab
# Created by anaconda on Tue Apr  5 08:42:34 2022
#
# Accessible filesystems, by reference, are maintained under '/dev/disk/'.
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info.
#
# After editing this file, run 'systemctl daemon-reload' to update systemd
# units generated from this file.
#
UUID=7a405199-a904-4290-89a3-72992b4ad489 /                       xfs     defaults        0 0
UUID=6c58d4aa-0c80-4e0b-b372-0a2187033d23 /boot                   ext4    defaults        1 2
UUID=2dd6f870-9df8-47ec-a4fc-b8a01878f4e0 /data                   xfs     defaults        0 0
UUID=27f69466-124d-4124-aab8-85f247d76d57 none                    swap    defaults        0 0
[11:36:15 root@centos8 ~]#

使用 -i 选项 直接 修改文本内容，最好-i.bak 备份修改

[11:38:40 root@centos8 ~]#sed -i '/^#/d;/^$/d' /etc/fstab 
[11:38:51 root@centos8 ~]#cat /etc/fstab 
UUID=7a405199-a904-4290-89a3-72992b4ad489 /                       xfs     defaults        0 0
UUID=6c58d4aa-0c80-4e0b-b372-0a2187033d23 /boot                   ext4    defaults        1 2
UUID=2dd6f870-9df8-47ec-a4fc-b8a01878f4e0 /data                   xfs     defaults        0 0
UUID=27f69466-124d-4124-aab8-85f247d76d57 none                    swap    defaults        0 0
[11:39:01 root@centos8 ~]#

　　示例：搜索替换和&

[11:39:01 root@centos8 ~]#sed -nr 's#U..D#&name#gp' /etc/fstab 
UUIDname=7a405199-a904-4290-89a3-72992b4ad489 /                       xfs     defaults        0 0
UUIDname=6c58d4aa-0c80-4e0b-b372-0a2187033d23 /boot                   ext4    defaults        1 2
UUIDname=2dd6f870-9df8-47ec-a4fc-b8a01878f4e0 /data                   xfs     defaults        0 0
UUIDname=27f69466-124d-4124-aab8-85f247d76d57 none                    swap    defaults        0 0
[11:50:19 root@centos8 ~]#

　　示例：去文件的前缀和后缀

[12:03:53 root@centos8 ~]#echo a.b.c.gz | sed -En 's/(.*)\.([^.]+)$/\1/p'
a.b.c
[12:08:20 root@centos8 ~]#echo a.b.c.gz | sed -En 's/(.*)\.([^.]+)$/\2/p'
gz



将非#开头的行加#

[12:09:25 root@centos8 ~]#sed -rn "s/^[^#]/#&/p" /etc/fstab 
#UUID=7a405199-a904-4290-89a3-72992b4ad489 /                       xfs     defaults        0 0
#UUID=6c58d4aa-0c80-4e0b-b372-0a2187033d23 /boot                   ext4    defaults        1 2
#UUID=2dd6f870-9df8-47ec-a4fc-b8a01878f4e0 /data                   xfs     defaults        0 0
#UUID=27f69466-124d-4124-aab8-85f247d76d57 none                    swap    defaults        0 0