shell之正则表达式及三剑客grep命令

这篇具有很好参考价值的文章主要介绍了shell之正则表达式及三剑客grep命令。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、正则表达式概述

什么是正则表达式?

正则表达式是一种描述字符串匹配规则的重要工具

1、正则表达式定义:

正则表达式,又称正规表达式、常规表达式

使用字符串描述、匹配一系列符合某个规则的字符串

正则表达式

普通字符:

大小写字母、数字、标点符号及一些其它符号


元字符:

在正则表达式中具有特殊意义的专用字符


正则表达式的层次分类

基础正则表达式
扩展正则表达式


Linux三剑客(grep、sed、awk)支持的正则表达式

shell是不支持正则表达式的(shell支持的是通配符)。shell中的正则表达式只有个别命令支持的,一般常用的是Linux三剑客

支持正则的shell命令 正则类型
grep 默认使用基本正则表达式(BRE)(要使用扩展正则需要加转义字符)
egrep 或grep -E 使用扩展的正则表达式(ERE)
sed 默认使用基本正则表达式(BRE)
awk 使用扩展正则表达式(ERE)

2 基础正则表达式的元字符

基础正则表达式是常用的正则表达式部分

2.1 匹配字符

\ : 表示转义字符,去掉特殊符号的特殊含义

\n : 匹配换行符

\t : 匹配制表符

\w : 匹配单词字符(单词字符:a-z,A-Z,0-9,_ )

\W : 匹配非单词字符

\S : 匹配非空白字符

\s : 匹配空白字符

\d : 匹配数字

\D : 匹配非数字

. : 表示匹配任意单个字符(默认情况下,. 无法匹配换行符)

2.2 中括号表达式
字符组: 普通中括号包围的字符组,表示某个单个字符匹配中括号内的任意字符即匹配成功

x[abc]z :

可以匹配包含“xaz”、“xbz”、“xcz”的字符串


取反表示法:

中括号内开头使用 ^ ,表示只要不是中括号内的字符就匹配


x[ ^abc]z :

可以匹配包含 “xdz”、“xez” 等字符串,但不能匹配包含“xaz”、“xbz”、“xcz”的字符串


范围表示法

[a-z]:

表示任意单个小写字母

[ ^a-z] :

匹配非小写字母的其它任意字符串


[A-Z] :

表示任意单个大写字符

[0-9] :

表示任意单个数字

注意:[0-59],表示匹配0、1、2、3、4、5、9,而不是0-59中间的数值


[a-z0-9A-Z] : 表示任意字母或数字

[a-z0-9A-Z_] : 表示任意字符、数字或下划线,也就是匹配单个字符

特殊的元字符在中括号中匹配

想要在中括号中匹配: ^ ,需要将其放在 中括号非开头的位置 ,如:[a^]
想要在中括号中匹配: - ,需要将其放在 开头位置或结尾位置 ,如:[abc-]、[-abc]
想要在中括号中匹配: ] ,需要将其放在 开头位置 ,如:[]abc]


2.3 位置匹配(锚定)

只匹配位置,不匹配字符,所以不会消耗字符数量,也称为零宽断言

^ : 匹配行首
$ : 匹配行尾


2.4 量词(重复匹配次数)


\{m\} : 表示匹配前一个字符或前一个子表达式m次

\{m,n\} : (m<n)表示匹配前一个字符或前一个字表达式最少m次,最多n次

\{m,\} : 表示匹配前一个字符或前一个子表达式至少m次

\{,n\} : 表示匹配前一个字符或前一个字表达式最多n次(匹配0次也算是成功)

*: 表示前一个字符或前一个子表达式匹配0次或多次,等价于:{0,}

.* : 匹配任意长度的任意字符
**注意:这些量词均为贪婪匹配模式,就是尽可能的去匹配符合条件的字符,例如:ab. *c 去匹配字符串:abbcdecfc,其中. * 部分匹配的将是bcdecf **

2 扩展正则表达式的元字符


2.1 扩展常用的量词


? : 表示匹配前一个字符或前一个子表达式0或1次,等价于:{0,1}或者{,1}

+: 表示匹配前一个字符或前一个子表达式1次或多次,就是最少一次,等价于:{1,}

2.2 二选一表达式


竖线 | 分隔左右两个正则子表达式,表示匹配任何一个即可,即a|b表示:a或者b,在结果上等价[ab];但是:[0-5] |\sa 表示0、1、2、3、4、5 或者 “ a”,这种转化不了为[]的形式。

使用二选一子表达式需要注意:

二选一元字符优先级很低,所以abc|def 表示的是abc或者def,等价于:(abc)|(def),而不是ab(c|d)ef。


2.3 分组捕获和反向引用


使用小括号()包围一部分正则表达式,这部分正则表达式即成为一个分组整体,也称为一个子表达式。

根据左括号的位置决定第几个分组

例如:(abc)def 、([a-d]){3}、 ([0-9]abc(def){2}(hgi))。
分组后可以使用\N 来反向引用对应的分组匹配结果,N是1-9的正整数,\1表示第一个分组表达式的匹配结果,\2表达第二个分组表达式的匹配结果。

注意:反向引用引用的是分组匹配后的结果,不是分组表达式

例如:正则表达式:(abc|def) and \1xyz 可以匹配字符串“abc and abcxyz ” 或“def and defxyz”,但是不能匹配“abc and defxyz” 或 “def and abcxyz”
 

二、grep命令的使用

1、grep命令简介

grep是一种强大的文本搜索工具,它能使用正则表达式,并把匹配的行打印出来。

格式

grep  [options]  pattern   [file]

options表示:选项; pattern 表示:匹配的的表达式 ; file 表示:文件名

例如:grep  -i  "root" /etc/passwd

2、常用选项

常用选项 功能
-n 列出所匹配的文本行,并显示行号
-i 匹配时忽略字符大小写
-v 反向匹配,匹配的字符串与搜索的不相符
-w 精确匹配。匹配整个单词
-o 只显示匹配的部分
-c 显示匹配内容的行数

3、grep 的选项使用案例

案例:过滤出/etc/passwd中的root,并添加行号(-n)

 shell之正则表达式及三剑客grep命令,正则表达式

案例:过滤出/etc/passwd 中的FTP,不区分大小写(-i)

shell之正则表达式及三剑客grep命令,正则表达式

案例:过滤/etc/passwd 中的不包含root的行,并且显示行号(-v)

shell之正则表达式及三剑客grep命令,正则表达式

shell之正则表达式及三剑客grep命令,正则表达式 

案例:精准搜索单词,只匹配到单词所在的行(-w) 

shell之正则表达式及三剑客grep命令,正则表达式

 案例:将匹配到的单词罗列出来(-o)

shell之正则表达式及三剑客grep命令,正则表达式

 案例:显示匹配的内容的行数(-c)

shell之正则表达式及三剑客grep命令,正则表达式

三、grep加上正则使用案例

1、中括号表达式案例

案例1:搜索既可以查找shirt也可以查找short的单词所在行

 shell之正则表达式及三剑客grep命令,正则表达式

 案例2:搜索oo前面不是大小写字母开头的行

shell之正则表达式及三剑客grep命令,正则表达式

案例3:查找包含数字的行 

shell之正则表达式及三剑客grep命令,正则表达式

2、位置锚定案例

案例1:搜索以.结尾的行

shell之正则表达式及三剑客grep命令,正则表达式

案例2:搜索以y开头的行 

shell之正则表达式及三剑客grep命令,正则表达式

3、量词案例

案例1:搜索2个oo的行 shell之正则表达式及三剑客grep命令,正则表达式

 文章来源地址https://www.toymoban.com/news/detail-650926.html

为了匹配了6个o,但是要求搜索的是2个o?

答:因为正则表达式是一行一行的检索的,表达式是2个o,搜索的内容时一个很长的字符串。
先拿表达式中的第一个字符与字符串匹配,匹配不到,进行下一个匹配,最后匹配到了mgoooooood中的o
匹配成功,然后匹配第二个o,也匹配成功,然后就会将匹配的两个字符消耗掉,再继续重新匹配到下一个字符
最后消耗掉三次,也就是6个o,第7个o虽然匹配成功,但是第8个字符不是o,所以不会匹配成功。

 案例2:查看o这个字符,最少出现3次,最大出现6次

shell之正则表达式及三剑客grep命令,正则表达式

案例3:查找o这个字符,最少出现5次的行 

shell之正则表达式及三剑客grep命令,正则表达式

案例:特殊的量词案例 

shell之正则表达式及三剑客grep命令,正则表达式

4、二选一表达式和分组案例

案例1:搜索以y开头或者以d结尾的行

shell之正则表达式及三剑客grep命令,正则表达式

案例2:搜索shirt和short所在的行 

shell之正则表达式及三剑客grep命令,正则表达式

 四、总结

正则元字符 描述 grep egrep sed awk
\ 转义符,将特殊字符进行转义,忽略其特殊意义 支持 支持 支持 支持
^ 匹配行首 支持 支持 支持 支持
$ 匹配行尾 支持 支持 支持 支持
. 匹配除换行符\n 之外的任意单个字符 支持 支持 支持 支持
[] 匹配包含在[字符]之中的任意一个字符 支持 支持 支持 支持
[^] 匹配[ ^z字符]之外的任意一个字符 支持 支持 支持 支持
[-] 匹配 []中指定范围的任意一个字符,要写成递增 支持 支持 支持 支持
* 匹配前导字符或子表达式0次或多次 支持 支持 支持 支持
匹配前导字符或子表达式0次或1次 不支持(加\) 支持 不支持(加\) 支持
+ 匹配前导字符或子表达式1次或多次 不支持(加\) 支持 不支持(加\) 支持
() 匹配表达式,创建一个用于匹配的字串 不支持(加\) 支持 不支持(加\) 支持
{n} 匹配前导字符或子表达式n次,可以为0 不支持(加\) 支持 不支持(加\) 支持
{n,} 匹配前导字符或子表达式至少n次 不支持(加\) 支持 不支持(加\) 支持
{n,m} 匹配前导字符或子表达式,最少匹配n次,最低匹配m次,n<=m 不支持(加\) 支持 不支持(加\) 支持
| 交替匹配| 两边的任意一项 不支持(加\) 支持 不支持(加\) 支持

 

 

到了这里,关于shell之正则表达式及三剑客grep命令的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Linux系统三剑客之grep和正则表达式的介绍(一)

    1.正则表达式 目录 1.正则表达式 1.什么是正则表达式 ? 2.正则表达式的使用场景 3.正则表达式字符表示 4.它们之间的区别 2.grep命令 作用: 语法: 说明: 选项:options 重点 实例 3.后面的下次再更新。  1.什么是正则表达式 ? 一个正则表达式就是描述了一个字符串集合的方式

    2024年01月18日
    浏览(64)
  • Shell脚本攻略:文本三剑客之grep

    目录 一、理论 1.grep 2.sort 3.uniq 4.tr 5.cut 6.split 7.paste 二、实验 1. grep ​编辑 ​编辑 2.sort 3.uniq ​编辑 4.tr 5.cut 6.split 7.统计当前主机的连接状态 8.统计当前连接主机数 9.获取信息 (1)概念 grep是Linux中最常用的”文本处理工具”之一,grep与sed、awk合称为Linux中的三剑客。 grep的

    2024年02月07日
    浏览(55)
  • Shell脚本攻略:文本三剑客之awk

    目录 一、理论 1.awk原理 2.awk打印  3.awk条件判断 4.awk数组与循环 5.awk函数 6.常用命令 二、实验 1.统计磁盘可用容量 2.统计/etc下文件总大小 3.CPU使用率 4.统计内存 5.监控硬盘 (1)概念 awk由 Aho,Weinberger 和 Kernighan 创建的文本模式扫描和处理语言。 awk非常复杂,所以这不是一

    2024年02月08日
    浏览(52)
  • Shell编程基础(十五)文本三剑客(sed)

    sed提供了一种免交互的方式修改文件内容。 它是一行一行处理,可以通过正则匹配要修改的部分 基本语法 sed [-opt] command files(多个文件 空格隔开) sed 使用扩展正则,不加r不能完全匹配扩展正则表达式 sed -r “正则匹配数据行/指定行号 sed命令” files sed 修改内容写回文件 默认

    2024年02月13日
    浏览(42)
  • shell脚本正则表达式

    声明: 以下内容为个人笔记,内容不完全正确,请谨慎参考。 含义: 正则表达式使用的每个单独字符串来描述、匹配一些列符合语法规则的字符串。在很多文本编辑器里,正则表达式通常被用来检索、替换那些符合某个模式的文本。在Linux中,grep,sed,awk等文本处理工具都支

    2024年04月22日
    浏览(45)
  • shell 正则表达式详解

    目录 正则表达式 一,什么是正则表达式 二,为什么使用正则表达式 三,如何使用正则表达式 示例: 四,基本正则表达式 基本正则表达式示例: 正则表达式字符集示例: 五,扩展正则表达式 扩展正则表达式示例: 扩展:        正则表达式是通过一些特殊字符的排列,

    2024年01月17日
    浏览(48)
  • Liunx shell编程及自动化运维实现--第五章三剑客

    正则表达式(RE)是一种字符模式,用于再查找过程中匹配指定的字符,在大多数程序中,正则表达式都被置于两个正斜杠之间:例如//就是由正斜杠界定的正则表达式,他将匹配被查找的行中任何位置出现的相同模式。在正则表达式中,元字符时最重要的概念。 定义:元字

    2024年02月21日
    浏览(39)
  • Shell编程之正则表达式

    Linux中的正则表达式(regular expression)和通配符(wildcard)都是用于匹配字符串的工具,但它们之间存在一些区别和应用场景的不同。 正则表达式是描述一种字符串匹配的模式,通过特殊的字符和语法,可以检查一个字符串是否匹配某种模式,匹配成功后可以进行子串替换、取出符

    2024年02月01日
    浏览(48)
  • 【shell编程入门】正则表达式

    特殊字符 描述 [] 方括号表达式,表示匹配的字符集合,例如  [0-9] 、 [abcde] () 标记子表达式起止位置 * 匹配前面的子表达式零或多次 + 匹配前面的子表达式一或多次 ? 匹配前面的子表达式零或一次 转义字符,除了常用转义外,还有: b  匹配单词边界; B  匹配非单词边

    2024年01月23日
    浏览(79)
  • Linux Shell :正则表达式

    先来看一句 Shell 代码: dpkg --list : dpkg 是 Debian 系列 Linux 发行版(如 Ubuntu)的包管理工具。 --list 选项用于列出所有已安装的软件包。 | :这是一个管道符号,用于将前一个命令的输出作为后一个命令的输入。在这里, dpkg --list 的输出被直接传递给 grep 命令。 grep -E -o \\\'cu

    2024年02月08日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包