【linux】linux去重的方法

这篇具有很好参考价值的文章主要介绍了【linux】linux去重的方法。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

多种linux文本去重方法

1.awk用法:

awk去重法【1】

# 查看两个文本的第一列,然后排序去重显示出现第一次的
awk '{print $0}' file1 file2 | sort | uniq -u > new_file  

awk去重法【2】

# 单个文件去重方法(去重后不会打乱顺序和排序)
awk '!x[$0]++'  file1 > new_file 

awk去重法【3】

# 查找文件行中唯一行(注:处理文本中只有一列的)
awk '{print $0}' ./filename.txt | sort | uniq -d  > new_filename.txt

2.sort 用法:

sort去重法【1】

 # 查找文件行中值重复的行(用于单个文件)
sort ./filename.txt  | uniq -d  new_filename.txt

sort去重法【2】(用于多个文件一次性去重)

# 使用cat 配合去重(用于多个文件一次性去重)
cat ./*_filename.txt | uniq -d  > new_filename.txt

sort去重法【3】(查找非重复行)

# 查找非重复行
sort filename.txt | uniq -u  > new_filename.txt

sort去重法【4】(统计字符出现次数)

# 统计字符出现次数
sort filename.txt | uniq -c

3.grep 用法

grep去重法【1】

# 对比两个文件去重后生成新文件
grep -vFf file1 file2 > new_filename.txt

grep去重法【2】文章来源地址https://www.toymoban.com/news/detail-507943.html

# 从b中剔除a中有的 去重
 grep -v -f  file1 file2 > new_filename.txt

到了这里,关于【linux】linux去重的方法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Python列表去重的几种方法和实例

    Python列表去重的几种方法和实例 在 Python 中,列表去重有多种方法,下面分别介绍这些方法的实现。 set() 函数可以将列表转换成集合,集合中不允许有重复的元素,因此可以实现列表去重。 可以使用列表推导式,将列表中不重复的元素生成一个新的列表。 通过字典的键唯一

    2024年02月06日
    浏览(45)
  • Java中List集合对象去重及按属性去重的8种方法

    是大家最容易想到的,先把List数据放入Set,因为Set数据结构本身具有去重的功能,所以再将SET转为List之后就是去重之后的结果。这种方法在去重之后会改变原有的List元素顺序,因为HashSet本身是无序的,而TreeSet排序也不是List种元素的原有顺序。 去重后的集合: [kobe, james,

    2024年04月15日
    浏览(144)
  • java8 列表通过 stream流 根据对象属性去重的三种实现方法

    0、User对象 1、使用filter进行去重 测试 ①、疑惑 既然 filter 里面调用的是 distinctPredicate 方法,而该方法每次都 new 一个新的 map 对象,那么 map 就是新的,怎么能做到可以过滤呢 ②、解惑 先看一下 filter 的部分实现逻辑,他使用了函数式接口 Predicate ,每次调用filter时,会使用

    2024年01月20日
    浏览(108)
  • linux awk文本

    目录 一、awk概念 二、awk的工作过程 三、awk字符 四、内置变量 五、getline  六、awk的精准筛选 七、例子演示 八、实验演示                           一、awk概念 1.概念:awk 是一个功能强大 的编辑工具,逐行读取输入文本,主要作用于文件内容,AWK信息的读入也是逐行指

    2024年02月08日
    浏览(45)
  • Linux文本三剑客---awk

    Linux文本三剑客之一(grep,sed,awk),功能最强大的文本工具。 逐行读取输入的文本内容,默认以空格和tab键作为分隔符。但是多个空格或者tab键的空格,会自动压缩成一个,然后按照指定的模式和条件执行编辑命令 可以在免交互的情况下,实现复杂的文本操作。完成自动化配

    2024年02月07日
    浏览(48)
  • List去重的5种方案

    假设有以下数据: 1.for 循环添加去重 这个是最基本的实现了,创建一个空的 List,添加前判断一下存在不存在,不存在才添加,这样就保证了元素不重复。 2.for 双循环去重 利用双循环,判断是否有相等的,再进行移除。 3.for 循环重复坐标去重 复制一个 list2,再循环 List2,

    2024年02月04日
    浏览(48)
  • Linux:文本三剑客之awk

    awk:是一种 处理文本文件的语言 ,是一个强大的 文本分析工具 。 awk: 逐行读取文本 ,默认以 空格 或 tab键 为分隔符 进行分隔 ,将分隔所得的 各个字段 保存到 内建变量 中,并按模式或者条件执行编辑命令。 1、sed命令常用于一整行的处理,而awk比较 倾向于将一行分成

    2024年02月05日
    浏览(57)
  • JavaScript数组去重的方式

    数组去重的意思就是去除数组中重复的元素,处理完后数组中所有的元素都是唯一的,本文介绍了在js中数组去重的5种方式,请往下看。 Set 对象 Set 对象允许你存储任何类型的唯一值,无论是原始值或者是对象引用。 Set 中的特殊值 Set 对象存储的值总是唯一的,所以需要判

    2024年02月07日
    浏览(41)
  • MySQL中去重 distinct 和 group by 是如何去重的

     测试1:对name 字段进行过滤  测试2:对所有的字段进行去重。   对比测试1和测试2 发现, distinct 可以对 单一字段进行去重 ,当对所有的字段去重时,只有 不同数据的每个字段完全一样的数据被 去掉,其他只有一个字段重复的数据并没有变化,因此得出结论: distinct主要

    2024年02月07日
    浏览(51)
  • linux 文本操作-数据过滤(grep,awk 使用)

      示例:查找行内容包含“6883”标识的的行,并且提取68开头的数据,如下图   原始数据日记文件,有些有6883,有些没有8383标识,如下: 第一步:使用 grep 过虑数据   使用 grep 过虑数据每行带有 “6883” 标识的数据:     执行后如下图,新的文本已过虑掉没有6883的数据

    2024年01月24日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包