目录
一、常见的管道命令
1.1sort命令
1.2uniq命令
1.3 tr命令
1.4cut命令
1.5实例
1.5.1统计当前主机连接状态
1.5.2统计当前连接主机数
二、正则表达式
2.1正则表达式的定义
2.2常见元字符(支持的工具:find、grep、egrep、sed和awk)
2.3扩展正则表达式
2.4位置锚定
sort命令可针对文本文件的内容,以行为单位来排序。
格式:sort [选项] 参数
常用选项:
选项 | 说明 |
---|---|
-f | 忽略大小写,会将小写字母都转换为大写字母来进行比较 |
-b | 忽略每行前面的空格 |
-n | 按照数字进行排序 |
-r | 反向排序 |
-u | 等同于uniq,表示相同的数据仅显示一行 |
-t | 指定字段分隔符,默认使用[Tab]键分隔 |
-k | 指定排序字段 |
-o<输出文件> | 将排序后的结果转存至指定文件 |
uniq 命令用于检查及删除文本文件中重复出现的行列,一般与 sort 命令结合使用
格式:uniq [选项] 参数
常用选项:
选项 | 说明 |
---|---|
-c | 进行计数,并删除文件中重复出现的行 |
-d | 仅显示连续的重复行 |
-u | 仅显示出现一次的行 |
常用来对来自标准输入的字符进行替换、压缩和删除。
格式:tr [选项] [参数]
常用选项
选项 | 说明 |
---|---|
-c | 保留字符集1的字符,其他的字符用(包括换行符\n)字符集2替换 |
-d | 删除所有属于字符集1的字符 |
-s | 将重复出现的字符串压缩为一个字符串;用字符集2 替换 字符集1 |
-t | 字符集2 替换 字符集1,不加选项同结果 |
常用参数
参数 | 说明 |
---|---|
字符集1 | 指定要转换或删除的原字符集。当执行转换操作时,必须使用参数“字符集2”指定转换的目标字符集。但执行删除操作时,不需要参数“字符集2” |
字符集2 | 指定要转换成的目标字符集 |
显示行中的指定部分,删除文件中指定字段
格式:cut [选项] 参数
常用选项
选项 | 说明 |
---|---|
-f | 通过指定哪一个字段进行提取。cut命令使用“TAB”作为默认的字段分割符 |
-d | “TAB”是默认的分隔符,使用此选项可更改为其他的分隔符 |
- -complement | 用于排除所指定的字段 |
- -output-delimiter | 更改输出内容的分隔符 |
[root@yxp data]#ss -ant|cut -d " " -f1|sort -n|uniq -c|head -2 2 ESTAB 13 LISTEN
[root@yxp opt]#ss -ant|tr -s " "|cut -d" " -f5|cut -d":" -f1|sort|uniq -c|tail -n +3 3 192.168.59.1 1 192.168.59.118 1 Address
正则表达式,又称正规表达式、常规表达式
使用字符串来描述、匹配一系列符合某个规则的字符串
正则表达式组成
普通字符包括大小写字母、数字、标点符号及一些其他符号。
元字符是指在正则表达式中具有特殊意义的专用字符
匹配符 | 表示含义 |
---|---|
. | 表示任意一个字符 |
[ ] | 匹配括号中的一个字符 |
[^ ] | 表示否定括号中出现字符类中的字符,取反 |
\转义字符 | 用于取消特殊符号的含义 |
^ | 匹配字符串开始的位置 |
$ | 匹配字符串结束的位置 |
{n} | 匹配前面的子表达式n次 |
{n,} | 匹配前面的子表达式不少于n次 |
{n,m} | 匹配前面的子表达式n到m次 |
[:alnum:] | 匹配任意字母和数字 |
[:alpha:] | 匹配任意字母,大写或小写 |
[:lower:] | 小写字符a-z |
[:upper:] | 大写字符A-Z |
[:blank:] | 空格和TAB字符 |
[:space:] | 所有空白字符( 新行、空格、制表符) |
[:digit:] | 数字 0-9 |
[:xdigit:] | 16 进制数字 |
[:cntrl:] | 控制字符 |
示例1:. 表示任意一个字符
#表示任意一个字符 [root@yxp data]#echo abc|grep "a.c" abc #原来的点需要加\转义 [root@yxp data]#echo abc|grep "a\.c" #标准格式需要加'' 或者"" [root@yxp data]#echo abc a.c|grep "a\.c" abc a.c [root@yxp data]#echo abc adc|grep "a.c" abc adc
示例2:[ ] 匹配括号中的一个字符
#[yxp] [root@yxp opt]#ls |grep "[yxp].txt" p.txt x.txt y.txt yxp.txt #[0-9] [root@yxp opt]#ls |grep "[0-9].txt" 0.txt 1.txt 2.txt 3.txt 4.txt 5.txt 6.txt 7.txt 8.txt 9.txt #{a..d} [root@yxp aa]#touch {a..z}.txt [root@yxp aa]#ls a.txt e.txt i.txt m.txt q.txt u.txt y.txt b.txt f.txt j.txt n.txt r.txt v.txt z.txt c.txt g.txt k.txt o.txt s.txt w.txt d.txt h.txt l.txt p.txt t.txt x.txt #{A..Z} [root@yxp bb]#touch {A..Z}.txt [root@yxp bb]#ls A.txt E.txt I.txt M.txt Q.txt U.txt Y.txt B.txt F.txt J.txt N.txt R.txt V.txt Z.txt C.txt G.txt K.txt O.txt S.txt W.txt D.txt H.txt L.txt P.txt T.txt X.txt #[a-d]:包括小a到小d,还有大写的,除了D [root@yxp opt]#ls [a-d].txt a.txt A.txt b.txt B.txt c.txt C.txt d.txt ##只想匹配小写(需要结合grep) [root@yxp opt]#ls |grep '[a-d].txt' a.txt b.txt c.txt d.txt #[A-D]:不包括小a [root@yxp opt]#ls [A-D].txt A.txt b.txt B.txt c.txt C.txt d.txt D.txt ##[A-D]只想匹配大写 [root@yxp opt]#ls |grep '[A-D].txt' A.txt B.txt C.txt D.txt
示例3:[^ ]:表示否定括号中出现字符类中的字符,取反
[root@yxp opt]#ls |grep "[^yxp].txt" 0.txt 1.txt 2.txt 3.txt 4.txt 5.txt 6.txt 7.txt 8.txt 9.txt a.txt .........后面省略 [root@yxp opt]#echo 12txt|grep "[^az].txt" 12txt
示例4:[:alnum:]匹配任意字母和数字
##注意:一定要在外面再套一个[ ] [root@yxp opt]#ls |grep '[[:alnum:]].txt' 0.txt 1.txt 2.txt 3.txt 4.txt 5.txt 6.txt
示例5:元字符:(.)
#//表示rc. rc0 ... rc6 [root@yxp opt]#ls /etc/ |grep 'rc[.0-6]' rc0.d rc1.d rc2.d rc3.d rc4.d rc5.d rc6.d rc.d rc.local #r..t ..表示任意两个字符 [root@yxp opt]#grep "r..t" /etc/passwd root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
支持的工具:egrep、awk 或 grep -E 和 sed -r
限定符 | 说明 |
---|---|
* | 匹配前面子表达式0次或者多次 |
.* | 任意长度的任意字符 |
? | 匹配前面子表达式0次或者1次,即:可有可无 |
+ | 与星号相似,表示其前面字符出现一次或多次,但必须出现一次,>=1 |
{n,m} | 匹配前面的子表达式n到m次 |
{m} | 匹配前面的子表达式n次 |
{n,} | 匹配前面的子表达式不少于n次 >=n |
{,n} | 匹配前面的子表达式最多n次,<=n |
| | 用逻辑OR(或)方式指定正则表达式要是用的模式 |
() | 字符串分组,将括号中的字符串作为一个整体。 |
示例1:*匹配前面子表达式0次或者多次
[root@yxp opt]#echo google ggle|grep "go*gle" google ggle [root@yxp opt]#echo google ggle gggle|grep "go*gle" google ggle gggle
示例2:{n,m}匹配前面的子表达式n到m次
[root@yxp opt]#echo goooogle goole gggle|egrep "go{3,5}gle" goooogle goole gggle
示例3:{n,} 匹配前面的子表达式不少于n次 >=n
[root@yxp opt]#echo goooogle gooogle gggle|egrep "go{3,}gle" goooogle gooogle gggle
示例4:{,n} 匹配前面的子表达式最多n次,<=n
[root@yxp opt]#echo goooogle gooogle gggle|egrep "go{,3}gle" goooogle gooogle gggle
示例5:* 匹配前面子表达式0次或者多次
[root@yxp opt]#echo gggggggggggdadasgle|grep 'g*gle' gggggggggggdadasgle
示例6:.*任意长度的任意字符
[root@yxp opt]#echo gggggggggggdadasgle|grep '.*gle' gggggggggggdadasgle
示例7:?匹配前面子表达式0次或者1次,即:可有可无
[root@yxp opt]#echo goole gogle ggle|egrep "go?gle" goole gogle ggle
示例8:+与星号相似,表示其前面字符出现一次或多次,但必须出现一次,>=1
[root@yxp opt]#echo google gogle ggle gooogle|egrep "go+gle" google gogle ggle gooogle
示例9:| 逻辑OR(或)方式指定正则表达式要是用的模式
[root@yxp opt]#echo 1ee 1abc 2abc|egrep "1|2abc" 1ee 1abc 2abc
示例10:() 字符串分组,将括号中的字符串作为一个整体。
[root@yxp opt]#echo 1ee 1abc 2abc|egrep "(1|2)abc" 1ee 1abc 2abc
示例11:提取ip地址
#法一 [root@yxp opt]#ifconfig ens33|grep "netmask"|grep -o -E "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}"|head -1 192.168.59.102 #法二:使用了分组 [root@yxp opt]#ifconfig ens33|grep "netmask"|egrep -o '([0-9]{1,3}.){3}[0-9]{1,3}'|head -1 192.168.59.102
位置限定符 | 说明 |
---|---|
^ | 行首锚定,用于模式的最左侧 |
$ | 行尾锚定,用于模式的最右侧 |
^PATTERN^ | 用于模式匹配整行 |
^$ | 空行 |
^[[:space:]]*$ | 空白行 |
\< 或 \b | 词首锚定,用于单词模式的左侧(连续的数字,字母下划线都算) |
\>或 \b | 词尾锚定,用于单词的右侧 |
\<PATTERN\> | 匹配整个单词 |
示例1:行尾锚定,用于模式的最右侧
[root@yxp opt]#grep "bash$" /etc/passwd root:x:0:0:root:/root:/bin/bash yxp:x:1000:1000:yxp:/home/yxp:/bin/bash
示例2:行首锚定,用于模式的最左侧
[root@yxp opt]#grep "^root" /etc/passwd root:x:0:0:root:/root:/bin/bash
示例3:用于模式匹配整行,匹配的内容单独在一行
[root@yxp opt]#echo root|grep "^root$" root
示例4:\< :只匹配右侧的单词
[root@yxp opt]#echo hello-123|grep "\<123" hello-123
示例5:\>:只匹配左侧的单词
[root@yxp opt]#echo hello-123 222|grep "hello\>" hello-123 222
示例6:过滤出不是以#开头的非空行
[root@yxp opt]#grep "^[^#]" /etc/fstab /dev/mapper/centos-root / xfs defaults 0 0 UUID=183ca7c7-1989-4f43-9e81-d2676192f5a4 /boot xfs defaults 0 0 /dev/mapper/centos-home /home xfs defaults 0 0 /dev/mapper/centos-swap swap swap defaults 0 0 /dev/sdb1 /mnt xfs defaults 0 0