Shell 正则表达式及综合案例及文本处理工具

这篇具有很好参考价值的文章主要介绍了Shell 正则表达式及综合案例及文本处理工具。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

 目录

一、常规匹配

二、常用特殊字符

三、匹配手机号

四、案例之归档文件

五、案例之定时归档文件

六、Shell文本处理工具

1. cut工具

2. awk工具


一、常规匹配

一串不包含特殊字符的正则表达式匹配它自己

例子,比如说想要查看密码包含root字符串的,可以这样写

cat /etc/passwd | grep root

shell if 匹配,Linux,shell,linux

二、常用特殊字符

特殊字符 作用
^ 匹配一行的开头
$ 匹配一行的结束

.

匹配任意一个字符
* *不单独使用,他和上一个字符连用,表示匹配上一个字符0次或者多次
[] []表示匹配某个范围内的一个字符
\ 表示转义字符,一般和特殊字符连用表示特殊字符本身

例1:匹配以a字符开头的:

cat /etc/passwd | grep ^a 

shell if 匹配,Linux,shell,linux

例子2:匹配以e字符结尾

cat /etc/passwd | grep e$

shell if 匹配,Linux,shell,linux

例子3:匹配任一个字符

cat /ect/passwd | grep r.t

cat /ect/passwd | grep r..t

shell if 匹配,Linux,shell,linux

例子4:查询包含以字符r开头,t结尾的字符串

cat /etc/passwd | grep r.*t

shell if 匹配,Linux,shell,linux

[6,8] ------匹配6或者8
[0-9] ------匹配一个0-9 的数字
[0-9]* ------匹配任意长度的数字字符串
[a-z] ------匹配一个 a-z 之间的字符
[a-z]* -----匹配任意长度的字母字符串
[a-c,e-f] ---匹配 a-c 或者 e-f之间的任意字符

用法例子看下图吧:

shell if 匹配,Linux,shell,linux

例子6:假如说我们想查找n_test.sh文件包含$符的那这就需要用到转义字符

cat /scripts/n_test.sh | grep '\$'

shell if 匹配,Linux,shell,linux

三、匹配手机号

我们都知道手机号是由第一位数字是1,第二位是3,4,5,7,8,9;其余数字随便。总共十一位数字,因此我们可以得出

"1569656955" | grep ^1[3,4,5,7,8,9][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]$

shell if 匹配,Linux,shell,linux

看上图可以得知,第一个数字符合手机号形式,而第二个明显不符合。但是这样【0-9】太多了,比较繁琐,我们就可以在后面用一个大括号表示出现次数来代替重复的0-9;但是要在正则表达式之前加入-E选项,如下:

grep -E ^1[3,4,5,7,8,9][0-9]{9}$

shell if 匹配,Linux,shell,linux大于小于11位数字都是不符合的 

四、案例之归档文件

实际生产应用中,往往需要对重要的数据进行归档备份

需求:实现一个目录归档备份的脚本,输入一个目录名称,将目录下所有文件按天归档保存,并将归档日期附加在文档文件名上,放在根目录下(/archive)
这里用到的归档命令: tar

后面可以加上 -c 选项表示归档,加上 -z 选项表示同时进行压缩得到的文件后缀名为 .tar.gz;不过要注意的是可能还是需要加上P选项代表允许我们使用绝对路径进行归档。

#!/bin/bash

# 首先判断输入的参数个数是否为1
if [ $# -ne 1 ]
then
    echo "参数个数错误!应该输入一个参数作为归档目录名"
    exit
fi

# 从参数中获取目录名称,查看目录名称是否存在
if [ -d $1 ]
then
    echo
else
    echo
    echo "目录不存在!"
    echo
    exit
fi

# 获取绝对路径
DIR_NAME=$(basename $1)
DIR_PATH=$(cd $(dirname $1);pwd)

# 获取当前日期,归档文件名拼接成日期
DATE=$(date +%y%m%d)

# 订阅生成归档文件名称
FILE=archive_${DIR_NAME}_$DATE.tar.gz

# 订阅生成归档文件的路径
DEST=/archive/$FILE

# 开始归档目录文件
echo "开始归档...."
echo

# -c 归档 z 压缩 f可视化
tar -czPf $DEST $DIR_PATH/$DIR_NAME

# 判断上面文件归档文件操作是否成功
if [ $? -eq 0 ]
then
    echo
    echo "归档成功"
    echo "归档的文件为:$DEST"
    echo
else
    echo "归档出现问题"
    echo
fi

exit

shell if 匹配,Linux,shell,linux

五、案例之定时归档文件

比如说我们想要1分钟归档文件一次;就可以设置定时器如下:

*/1 * * * * /archive/archive_test.sh /scripts

shell if 匹配,Linux,shell,linux

可以看得出确实添加了一个归档文件 

六、Shell文本处理工具

1. cut工具

cut 的工作就是“剪”,具体的说就是在文件中负责剪切数据用的。
cut 命令从文件的每行剪切字节、字符和字段并将这些字节、字符和字段输出

基本用法

cut [选项参数] filename

选项参数

选项参数 功能
-f 列号,提取第几列
-d 分隔符,按照指定分隔符分割列,默认是制表符"\t"
-c 按字符进行切割,后加n表示取第几列 比如-c 1

比如一个文本文件有以下诗歌:

shell if 匹配,Linux,shell,linux

比如说我们需要提取第一列,那应该这样写,按空格指定分割第一列;如下:

cut -d " " -f 1 cut_test.txt

shell if 匹配,Linux,shell,linux

假如我们想要提取第一和第四列,可以这样写: 

cut -d " " -f 1,4 cut_test.txt

shell if 匹配,Linux,shell,linux

比如说我们想知道ens33网卡的所有IP,那么首先应该是ifconfig ens33,然后管道符|,再然后正则表达式获取ip 最后利用管道符切割。

shell if 匹配,Linux,shell,linux

因为ip在第十列,因此-f后面跟10;整体写法如下:

ifconfig ens33 | grep netmask | cut -d " " -f 10

2. awk工具

一个强大的文本分析工具,把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行分析处理

基本用法

awk [选项参数] '/pattern1/{action1}/pattern2/{action2}...' filename

 pattern:表示awk 在数据中查找的内容,就是匹配模式
action:在找到匹配内容时所执行的一系列命令

选项参数 功能
-F 指定文件分割符
-v 分支一个用户定义变量

不过有些版本的系统是不支持awk工具的,那么如何查看自己系统是否支持awk只需要输入以下句子即可:

which awk

shell if 匹配,Linux,shell,linux

出现上面那段话说明你的系统是支持awk工具的

实例操作

1. 搜索passwd文件以root关键字开头的所有行,并输出该行的第7列

cat /etc/passwd | awk -F ":" '/^root/ {print $7}'

shell if 匹配,Linux,shell,linux

2. 搜索passwd文件以root关键字开头的所有行,并输入该行的第1列和第7列,中
间以","分割

cat /etc/passwd | awk -F ":" '/^root/ {print $1 "," $7}'

shell if 匹配,Linux,shell,linux

3. 只显示/etc/passwd 的第一列和第七列,以逗号分割,且在所有行前面添加列
名"start"在最后一行添加"over"

 cat /etc/passwd | awk -F ":" '/^root/ {print $1"," $7} END{print "over"}'

shell if 匹配,Linux,shell,linux

4. 将passwd文件中的用户id增加数值1并输出 

cat /etc/passwd | awk -F ":" '{print $3+1}'

shell if 匹配,Linux,shell,linux

内置变量

变量 说明
FILENAME 文件名
NR 已读记录数(行号)
NF 浏览记录的域的个数(切割后,列的个数)

示例操作

1. 统计passwd文件名,每行的行号,每列的列数

cat /etc/passwd | awk -F ":" '{print " 文件名:" FILENAME "\t行号:" NR "\t列数: " NR}' /etc/passwd

shell if 匹配,Linux,shell,linux

2. 查询ifconfig命令输出结果中的空行所在行号

ifconfig | awk '/^$/ {print"空行: " NR}'

shell if 匹配,Linux,shell,linux文章来源地址https://www.toymoban.com/news/detail-795870.html

到了这里,关于Shell 正则表达式及综合案例及文本处理工具的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 正则表达式与正则可视化工具:解密文本处理的利器

    在计算机科学和软件开发领域,正则表达式是一种强大而灵活的文本处理工具。然而,对于初学者来说,正则表达式的语法和规则可能会显得晦涩难懂。为了帮助初学者更好地理解和学习正则表达式,正则可视化工具应运而生。本文将介绍正则表达式的基本概念、语法和应用

    2024年02月19日
    浏览(53)
  • notepad++配合正则表达式分组模式处理文本转化为sql语句

    一、正则分组知识点补充 正则分组和捕获 ():用于分组和捕获子表达式。 大白话就是()匹配到的数据,通过美元符号加下标可以获取该数据,例如$1、$2, 下标从1开始。 下面的案例就采用该模式处理文本数据 二、使用正则的需求背景 有一份报表的数据,需要把数据入库到m

    2024年02月07日
    浏览(59)
  • 正则表达式 (用于灵活匹配文本的表达式)

    目录 . * 用于匹配任意单个字符,除了换行符。 例如使用正则表达式 a.b, 它可以匹配aab、acb、a#b 用于匹配前一个字符零次或多次。 例如,使用正则表达式 ab*c ,它可以匹配 \\\"ac\\\"、\\\"abc\\\"、\\\"abbc\\\",因为 b* 表示匹配零个或多个字符 \\\"b\\\"。所以,这个表达式可以匹配 \\\"ac\\\"(零个 \\\"b\\\"),

    2024年01月16日
    浏览(63)
  • shell 正则表达式详解

    目录 正则表达式 一,什么是正则表达式 二,为什么使用正则表达式 三,如何使用正则表达式 示例: 四,基本正则表达式 基本正则表达式示例: 正则表达式字符集示例: 五,扩展正则表达式 扩展正则表达式示例: 扩展:        正则表达式是通过一些特殊字符的排列,

    2024年01月17日
    浏览(48)
  • shell脚本正则表达式

    声明: 以下内容为个人笔记,内容不完全正确,请谨慎参考。 含义: 正则表达式使用的每个单独字符串来描述、匹配一些列符合语法规则的字符串。在很多文本编辑器里,正则表达式通常被用来检索、替换那些符合某个模式的文本。在Linux中,grep,sed,awk等文本处理工具都支

    2024年04月22日
    浏览(45)
  • Shell编程之正则表达式

    Linux中的正则表达式(regular expression)和通配符(wildcard)都是用于匹配字符串的工具,但它们之间存在一些区别和应用场景的不同。 正则表达式是描述一种字符串匹配的模式,通过特殊的字符和语法,可以检查一个字符串是否匹配某种模式,匹配成功后可以进行子串替换、取出符

    2024年02月01日
    浏览(48)
  • 【shell编程入门】正则表达式

    特殊字符 描述 [] 方括号表达式,表示匹配的字符集合,例如  [0-9] 、 [abcde] () 标记子表达式起止位置 * 匹配前面的子表达式零或多次 + 匹配前面的子表达式一或多次 ? 匹配前面的子表达式零或一次 转义字符,除了常用转义外,还有: b  匹配单词边界; B  匹配非单词边

    2024年01月23日
    浏览(79)
  • Linux Shell :正则表达式

    先来看一句 Shell 代码: dpkg --list : dpkg 是 Debian 系列 Linux 发行版(如 Ubuntu)的包管理工具。 --list 选项用于列出所有已安装的软件包。 | :这是一个管道符号,用于将前一个命令的输出作为后一个命令的输入。在这里, dpkg --list 的输出被直接传递给 grep 命令。 grep -E -o \\\'cu

    2024年02月08日
    浏览(43)
  • Shell编程基础(十三)正则表达式

    格式:^ 表达式 $ 在不同的场景下,定义是一样,但使用要按照具体的命令去调用,中间的表达式都是通用的 普通元字符 所谓元数据,就是描述数据的数据,在这里就是描述正则的数据 ^ 表示正则从字符串 整行 起始位置匹配 ^abc 匹配 以abc开始的字符串 $ 表示正则一直匹配到

    2024年02月14日
    浏览(40)
  • Shell通配符和正则表达式

    目录 ​​​​​​​grep 通配符 正则表达式 grep家族有三大成员分别为:         grep:支持使用基本正则表达式。         egrep:支持使用扩展正则表达式。         fgrep:不支持使用正则表达式,即所有的正则表达式中的元字符都将作为一般字符,仅仅 拥有其字

    2024年02月16日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包