Python数据处理实战(5)-上万行log数据提取并分类进阶版

这篇具有很好参考价值的文章主要介绍了Python数据处理实战(5)-上万行log数据提取并分类进阶版。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

系列文章:
0、基本常用功能及其操作
1,20G文件,分类,放入不同文件,每个单独处理
2,数据的归类并处理
3,txt文件指定的数据处理并可视化作图
4,上万行log数据提取并作图进阶版
5、上万行数据提取并分类进阶版(本文)

 一、需求

         如果同时测试的数据和器件非常多,比如像芯片测试,同侧数量非常多的情况下,1,2,8,16,等等,我们想单独分析每个器件的数据怎么办呢,这时需要先分开,或者你直接打印对应的文件数量,但是那样有点小问题,不太优雅,所以我们有了这个需求

Python数据处理实战(5)-上万行log数据提取并分类进阶版,python,开发语言,numpy,pandas,数据分析

二、思路

 1、文件操作,读取并每行识别

 2、特定的字符的识别(正则表达式)

 3、如何将对应的行,写出到新的数据

对相应操作不熟悉的同学,可以参考文章开头的系列文章:  0、基本常用功能及其操作

三、代码及其解释

 用了正则表达式来提取并识别对应的字符或者数字

文件操作

def site_select():
    import re
    # 定义一个函数,用于提取 Site[& 和 &]= 之间的数据
    def extract_data(line):
        match = re.search(r'Site\[&(.*?)&\]=(.*?)$', line)
        if match:
            site_name = match.group(1).strip()
            data = match.group(2).strip()
            return site_name, data
        return None, None
    
    # 读取输入文件
    input_file = "./log/SR0_00-P.txt"
    
    # 打开输入文件并逐行处理
    with open(input_file, 'r') as f:
        for line in f:
            site_name, data = extract_data(line)
            if site_name and data:
                output_file = f"./log/{site_name}_data.txt"
                with open(output_file, 'a') as site_file:
                    site_file.write(line)
    print("数据已成功写入到对应的文件中。")

 Python数据处理实战(5)-上万行log数据提取并分类进阶版,python,开发语言,numpy,pandas,数据分析

 于是呢,我们就自动把每个SITE或者器件的log文件分开了

当然有待提高,可接着前一篇文章的内容作图,链接如下或者文章开头文章来源地址https://www.toymoban.com/news/detail-837541.html

Python数据处理实战(5)-上万行log数据提取并作图进阶版

到了这里,关于Python数据处理实战(5)-上万行log数据提取并分类进阶版的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 5.Python数据分析项目之文本分类-自然语言处理

    预测类数据分析项目 流程 具体操作 基本查看 查看缺失值(可以用直接查看方式isnull、图像查看方式查看缺失值missingno)、查看数值类型特征与非数值类型特征、一次性绘制所有特征的分布图像 预处理 缺失值处理(填充)拆分数据(获取有需要的值) 、统一数据格式、特征

    2024年02月03日
    浏览(68)
  • Python-凯斯西储大学(CWRU)轴承数据解读与分类处理

    目录 1 数据集解读 1.1 振动信号数据通常以时域显示 1.2 凯斯西储大学轴承数据集 描述的是什么数据? 1.3 实验平台介绍 待测轴承: 1.4 以上三个不同位置的振动数据的区别解读 1.5 官网数据集介绍 2 数据集分类与制作 2.1 数据集分类解读 2.2 数据集处理与制作 3 基于Python的故

    2024年02月04日
    浏览(59)
  • Python深度学习实例--基于卷积神经网络的小型数据处理(猫狗分类)

    卷积神经网络,也叫 CNN ,它是计算机视觉应用几乎都在使用的一种深度学习模型。我们都知道,成功提取显著相关的特征是保障任何机器学习的算法成功的保障,传统的机器学习模型依赖领域专家的输入特征,或者基于计算特征的提取技术。神经网络能够自动地从原始数据

    2024年02月03日
    浏览(64)
  • 【Python实战】数据预处理(数据清理、集成、变换、归约)

    因疫情原因,距上次写博客已过许久 这次回看以前的书籍,发现数据预处理这块在业务中极其重要 业务中,数据的准确率对业务的影响至关重要 好的数据往往百利而无一害,相对的,不好的数据会带来无法预期的损失 管理好数据,就能管理好业务,环环相扣,生生不息 所

    2024年02月08日
    浏览(50)
  • Python中处理无效数据的详细教程(附案例实战)

    🤵‍♂️ 个人主页:@艾派森的个人主页 ✍🏻作者简介:Python学习者 🐋 希望大家多多支持,我们一起进步!😄 如果文章对你有帮助的话, 欢迎评论 💬点赞👍🏻 收藏 📂加关注+ 目录 1.无效数据的概念 2.无效数据的处理方法 2.1缺失值处理 2.2重复值处理 2.3异常值处理

    2024年02月06日
    浏览(49)
  • Python 实战之ChatGPT + Python 实现全自动数据处理/可视化详解

    一、引言 二、成果演示——口述式数据可视化 三、远原理述 四、实现过程   (一)环境配置   (二)申请OpenAI账号   (一)调用ChatGPT API   (二)设计AI身份,全自动处理数据 五、再谈此次探索 六、总结 OpenAI 公司开发的 ChatGPT 已经火了一年多了,这期间各种 AI 产品以

    2024年02月10日
    浏览(53)
  • 大数据分析的Python实战指南:数据处理、可视化与机器学习【上进小菜猪大数据】

    上进小菜猪,沈工大软件工程专业,爱好敲代码,持续输出干货。 引言: 大数据分析是当今互联网时代的核心技术之一。通过有效地处理和分析大量的数据,企业可以从中获得有价值的洞察,以做出更明智的决策。本文将介绍使用Python进行大数据分析的实战技术,包括数据

    2024年02月08日
    浏览(66)
  • 如何使用Scrapy提取和处理数据

    目录 一、安装和设置Scrapy 二、创建爬虫 三、提取数据 四、处理数据 五、存储数据 六、进阶操作 七、注意事项 总结 Scrapy是一个强大且灵活的Python库,用于创建网页爬虫,提取和处理数据。本文将为您深入讲解如何使用Scrapy进行数据处理,包含具体的代码示例和逻辑解释。

    2024年02月05日
    浏览(48)
  • 从多个数据源中提取数据进行ETL处理并导入数据仓库

    💂 个人网站:【海拥】【摸鱼游戏】【神级源码资源网】 🤟 前端学习课程:👉【28个案例趣学前端】【400个JS面试题】 💅 想寻找共同学习交流、摸鱼划水的小伙伴,请点击【摸鱼学习交流群】 ETL(Extract, Transform, Load)是一种广泛应用于数据处理和数据仓库建设的方法论,

    2023年04月22日
    浏览(82)
  • 多媒体数据处理实验3:图像特征提取与检索

    1. 算法描述 功能:   使用BOF(Bag of Features)算法提取图像特征,在corel数据集(10*100)张图片上实现以图搜图,即输入数据集中某一张图,在剩下的999张图里搜索最邻近的10张图。 2.算法流程: 用 SIFT算法 提取图像的特征。每幅图像提取出几百至几千个特征点,将所有图像的特

    2024年02月07日
    浏览(68)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包