linux命令三剑客grep、sed、awk

准备

grep、sed、awk号称"linux三剑客"，使用频繁，功能强大，本文通过一个实例演示下基本用法。首先准备一个文本文件，命名为text.txt，写入文件内容：

cat > test.txt <<EOF
1     province    省份  青海省
2     domain  域名或者ip  tianfengyinlou.cn
3     subject_no  主体备案号   青ICP备11000289号
4     addr    注册地址   青海省西宁市城中区南关街138号
5     check_time  备案时间, 时间对象  2011-06-23 16:38:00
6     update_time 更新时间, 毫秒级时间戳    1607414120745
7     site_no 网站备案/许可证号   青ICP备11000289号-2
8     site_url    站点/网站首页网址   www.tianfengyinlou.cn
9     comp_name   主办单位名称(公司名称)    西宁天丰银楼金银珠宝有限公司
EOF

grep

首先，最简单的是grep。经常用来过滤查看日志。对于grep需要知道如下几个常用的命令选项：

-n:

额外输出行号。例如过滤出每一行包含"青"的记录：

grep -n "青" text.txt

-v：

排除匹配的行。例如排除包含"青"的行记录:

grep -nv "青" text.txt
grep -n -v "青" text.txt

-E:

支持扩展正则匹配。grep的时候，我们可以按照正则表达式来进行匹配，但在需要扩展正则匹配时，要通过-E指定才能生效。常见的或操作，比如筛选包含"青海省"或者"青ICP"的行记录，不指定-E是无法获得想要的结果的。

grep -E "青ICP|青海省" text.txt

-l

只输出有匹配行的文件名。有时候，我们并不需要输出匹配的行记录，仅仅只是需要知道匹配到了行记录的文件名：

grep -l "省" text.txt

-r

递归匹配目录中的文件内容。有时候，在一个目录中我们并不知道哪个文件内容包含我们想要的结果，此时，可以查找整个目录，输出匹配的文件名以及行记录:

grep -r 省 ./mayanan/

结合-l参数就可以知道一个目录中有哪些文件包含了匹配项:

grep -lr 省abc mayanan/

-A

通过-A(after)指定输出匹配行后的额外行数。例如，想要额外输出包含"青"的行记录后一行，可以指定-A1:

grep -A1 青 text.txt 

-B

通过-B(before)指定输出匹配行前的额外行数。例如，想要额外输出包含"青"的行记录前一行，可以指定-B1:

grep -B1 青 text.txt 

-C

通过-C指定输出匹配行前后的额外行数。例如，想要额外输出包含"青"的行记录前后各一行，可以指定-C1：

grep -C1 青 text.txt 

sed

查找

sed的各项操作需要指定一个特定的动作。查找需要指定一个动作为p(print)，例如，打印出第三行的记录，需要指定行号加动作3p:

sed -n 3p text.txt

这里必须指定一个选项-n。因为sed的默认行为是遍历文本文件的每一行并输出每一行，假如不带-n选项，第三行会输出两次=默认输出一次+命令行指定输出一次：

sed 3p text.txt 

所以-n的作用是取消sed的默认输出行为, 一般都只与p组合使用。利用sed的默认输出行为，我们可以模拟复制每一行的操作，有时候在特定场景下非常有用：

sed p text.txt

sed不仅可以输出指定的某一行，还可以按行号范围进行输出，例如输出1-5行:

sed -n 1,5p text.txt

sed还可以按照正则匹配来输出特定的行。格式为/xx/p, 例如，查找包含"青海省"的行记录:

sed -n "/青海省/p" text.txt

查找包含数字0到6的行记录：

sed -n "/[0-6]/p" text.txt

查找以0结尾的行记录:

sed -n '/0$/p' text.txt

如果想要支持扩展正则匹配，需要通过-r来指定，例如查找每一行包含"青海省"或者"青"的记录:

sed -nr '/青海省|青/p' text.txt

sed正则匹配也支持按范围输出，格式为/xx/,/xx/p。例如查找包含"domain"的行到包含"addr"的行记录：

sed -n '/addr/,/site_no/p' text.txt

删除

# 删除第3行
sed 3d text.txt

# 删除包含青的行
sed '/青/d' text.txt

# 删除空行和注释行
sed -r '/^$|#/d' text.txt

增加

sed的增加动作有三种:

• i:在指定行的上方增加一行
• a: 在指定行的下方增加一行
• c: 在指定行的地方增加一行，原有行会被覆盖

上述三种增加行为示例为:

注意：示例的增加行为在mac上会报错，可能在mac上用法不一致。

# 在第3行上方增加一行
sed "3i insert oneline above 3rd line" text.txt

# 在第3行下方增加一行
sed "3a aabbccddeeff" text.txt

# 在第3行创建一行记录，原记录被替换
sed "3c abcdefg" text.txt

修改

上述所有的操作输出均没有改变文件自身的内容。想要使得操作改变文件自身的内容，需要指定选项-i。指定-i的操作需要格外小心。

例如，在文件中第一行插入一行记录:

sed -i "1i 11111111111111111" text.txt

sed的删除动作为d(delete),例如删除文件中的第一行:

sed -i 1d text.txt

当然，我们也有办法做安全的删除操作，即将-i换成-i.bak 可以在真实改动文件内容前，备份文件。但是这个操作一般不适合应用在大文件上，因为备份很慢。

sed -i.bak 1d text.txt

替换

sed可以对文件内容进行替换(substitute)，格式为使用任意三个相同的符号，如三个斜线s/xx/yy/g、三个#号s#xx#yy#g、三个@符号s@xx@yy@g等，效果是将xx替换为yy。

这里的符号选择是任意的，可以是三个1，三个2都行。常用的是上述三种，因为和文件内容重合度最小，具体使用哪种，需要根据文件内容选择。如果文件内容本身包含了/，则不方便使用三个斜线来操作。

# 将青替换为蜀
sed 's/青/蜀/g' text.txt

# 将第3行的青替换为蜀
sed '3s/青/蜀/g' text.txt

# 把所有数字替换为x
sed -r 's/[0-9]/x/g' text.txt

g是全局(gloabal)替换的意思，如果不要g，则只会替换匹配到的第一项:

# 把每一行的第一个数字替换为x
sed 's/[0-9]/x/' test.txt

方向引用

反向引用就是利用正则的组匹配来以组为单位进行替换。

sed -r 's/([a-z_.]+)/<\1>/g' test.txt

awk

取行

awk可以通过NR(Number of Record) 指定行号，输出特定的行:

 awk NR==3 test.txt

也可以按行号范围输出:

# 输出第3行到第6行
awk "NR==3, NR==6" test.txt
或者
awk NR==3,NR==6 test.txt

# 也可以通过比较指定输出范围
# 输出3到4行
awk "NR>=3 && NR<5" test.txt

第二个NR如果是个无效的行号值，则默认取出指定起始行之后所有的行记录：

# 输出第3行之后的所有行
awk "NR>=3, NR<xx" test.txt

取行操作依然支持正则匹配：

# 输出包含青的行
awk '/青/' test.txt

# 输出以号结尾的行
awk '/号$/' test.txt

# 输出包含domain到包含addr的行
awk '/domain/,/addr/' test.txt

取列

awk可以使用{print $列号} 取出列值：

# 例如取出第2列的值
awk '{print $2}' test.txt
 
# 取出第2列及最后一列NF(Number of Fields)的值
awk '{print $2,$NF}' test.txt

# 使用column -t 对齐输出
awk '{print $2,$NF}' test.txt | column -t

awk取列时，默认是空格为分隔符，可以通过-F指定分隔符，例如，第7-8行：

awk "NR==7,NR==8" test.txt

取出第7、8行后，按/进行划分，取出划分后的第二列:

awk 'NR>=7 && NR<9' test.txt |awk -F/ '{print $2}'

-F 可以通过[]正则指定多个分隔符：

# 按空格和/ 进行分隔, 取出1到4列
awk 'NR>=7 && NR<9' test.txt | awk -F'[ /]+' '{print $1,$2,$3,$4}'

精确取行列

awk可以精确取出某一行某一列的值。一些用例如：

# ~ 表示包含， !~ 表示不包含
# 取出第四列包含"青"的行
awk '$4 ~ /青/' test.txt

# 取出第四列以"号"结尾的行，并输出最后一列
awk '$4 ~ /号$/{print $NF}' test.txt

# 取出第2列以d开始，到第四列以号结尾的行记录
awk '$2 ~ /^d/, $4 ~ /号$/' test.txt

BEGIN

awk可以使用BEGIN在操作文件内容前执行一些命令：

# 列如输出表头
awk 'BEGIN{print "序号", "名称", "含义", "示例"} {print $1,$2,$3,$4}' test.txt |column -t

END

awk可以使用END在操作文件内容后执行一些命令：文章来源地址https://www.toymoban.com/news/detail-452227.html

# 通常用于做统计， 例如对第一列求和
awk '{sum+=$1}END{print sum}' test.txt

使用小结

• gep、sed、awk都可以过滤行记录，但过滤行记录时优先选择grep，其过滤行的效率最高
• sed主要用于对文件内容做出各种修改（如增加、替换等）
• awk主要用于对文件内容取行列操作

到了这里，关于linux命令三剑客grep、sed、awk的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！