Auto-DataProcessing:一组让制作数据集变轻松的脚本

这篇具有很好参考价值的文章主要介绍了Auto-DataProcessing:一组让制作数据集变轻松的脚本。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

最近跟同学参加了个比赛,我负责Object-Detection的技术实现,需要从网上扒大量的数据(主办方每种识别物就给了一张demo🤣),发现数据准备是一个真的是一个非常重要但又耗时耗力的过程。对我来说,给我一类待识别的标签,我一般会用以下的环节来获取数据:

  • 从Google等网站搜关键词,然后爬个几百张数据,或者直接用google的搜相似图的功能
  • 一些离线的数据增强处理
  • 数据重命名(个人习惯,用data_{index}的顺序让数据排列的整齐一点)

但是准备几千张数据来组成数据集实在是有点烦人…于是我写了一组脚本,能够自动化的实现从数据获取到数据增强,然后批量重命名的脚本,希望能给同样需要处理大量数据的小伙伴剩下一点时间。

Github仓库地址:
> https://github.com/zin-Fu/Automation-Data-Processing

p.s.如果觉得对你有帮助欢迎给我点个👀watch或者star⭐吖!

关于Auto-DataProcessing

这组脚本的主要功能如下:

  1. 🚀数据收集:

    • crawler_keyword.py: 根据指定的关键词从谷歌图像搜索下载图片。
    • crawler_similar.py: 从给定的 URL 获取图像(我是用来搜相似图的时候用的),可以从特定网站或来源收集数据。
  2. 🚀数据增强:

    • DataAugment.py: 通过应用翻转、旋转、添加噪声、高斯模糊、调整亮度对比度等多种数据增强技术,扩充和优化我们的数据集。创建多样化和鲁棒的训练数据。

3.🚀 数据管理:

  • rename.py: 重命名目录中所有图像文件,添加指定的前缀和连续编号,确保文件结构的一致。

此外,所有的参数(获取图片的数量,URL和数据增强的类型这些)都是执行之后在终端直接输入的,不用自己在代码里设定。以数据增强的脚本运行起来的终端为例:
Auto-DataProcessing:一组让制作数据集变轻松的脚本,AI,人工智能,自然语言处理,深度学习,语言模型,神经网络,大数据,图像处理
我们只需要输入要处理文件的路径和选择数据增强的序号就行啦~

一些关键部分的实现

crawler_keyword.py

def google_image_scraper(keyword, num_images, save_dir):
    # Create Chrome WebDriver instance
    driver = webdriver.Chrome()
    driver.implicitly_wait(5)

google_image_scraper函数接受关键词(keyword)、图像数量(num_images)和保存目录(save_dir)作为参数。这个函数用于爬取和下载Google图像搜索结果。在函数内部,我们创建了一个Chrome WebDriver实例,并使用implicitly_wait方法设置了一个隐式等待时间,以确保页面加载完成。

    # Open Google Image Search page
    driver.get("https://www.google.com/imghp")

driver.get方法用于打开指定的URL,这里我们打开了Google图像搜索页面。

    from selenium.webdriver.common.by import By

    # Locate the search box and enter the keyword
    search_box = driver.find_element(By.NAME, "q")
    search_box.send_keys(keyword)
    search_box.send_keys(Keys.RETURN)

使用driver.find_elements方法和CSS选择器定位到所有的图像元素。然后,我们使用os.makedirs方法创建保存图像的目录。exist_ok=True参数表示如果目录已经存在,不会引发异常。

    # Download images
    downloaded_images = set()
    for i, image in enumerate(images[:num_images]):
        try:
            image_url = image.get_attribute("src")
            image_hash = hashlib.sha256(image_url.encode('utf-8')).hexdigest()
            # Check if image has been downloaded
            if image_hash in downloaded_images:
                print(f"Image {i+1} already downloaded, skipping...")
                continue
            # Check if image link is https
            if not image_url.startswith('https://'):
                print(f"Image {i+1} is not from a secure source, skipping...")
                continue
            image_path = os.path.join(save_dir, f"{keyword}_{i}.jpg")
            # Check if file already exists, if so, change filename
            counter = 0
            while os.path.exists(image_path):
                counter += 1
                image_path = os.path.join(save_dir, f"{keyword}_{i}_{counter}.jpg")
            if image_url.startswith('data:image/jpeg;base64,') or image_url.startswith('data:image/gif;base64,'):
                base64_data = image_url.split(',', 1)[1]
                image_data = base64.b64decode(base64_data)
                with open(image_path, 'wb') as f:
                    f.write(image_data)
            else:
                response = requests.get(image_url```
                with open(image_path, "wb") as f:
                    f.write(response.content)

crawler_similar.py

def download_images_from_url(url, num_images, save_dir):
    # Create Chrome WebDriver instance
    driver = webdriver.Chrome()
    driver.implicitly_wait(5)

download_images_from_url函数接受URL(url)、图像数量(num_images)和保存目录(save_dir)作为参数。这个函数用于从给定的URL下载图像。在函数内部,我们创建了一个Chrome WebDriver实例,并使用implicitly_wait方法设置了一个隐式等待时间,以确保页面加载完成。

    try:
        driver.get(url)
        # Get all image elements
        images = driver.find_elements(By.CSS_SELECTOR, "img")
        # Create directory to save images
        os.makedirs(save_dir, exist_ok=True)

使用driver.get方法打开指定的URL。然后,使用driver.find_elements方法和CSS选择器定位到页面上的所有图像元素。我们还使用os.makedirs方法创建保存图像的目录。exist_ok=True参数表示如果目录已经存在,不会引发异常。

        # Download images
        downloaded_images = set()
        for i, image in enumerate(images[:num_images]):
            try:
                image_url = image.get_attribute("src")
                if not image_url:
                    continue
                image_hash = hashlib.sha256(image_url.encode('utf-8')).hexdigest()
                # Check if image has been downloaded
                if image_hash in downloaded_images:
                    print(f"Image {i+1} already downloaded, skipping...")
                    continue

                image_save_path = os.path.join(save_dir, f"image_{i}.jpg")
                
  '''剩下的实现就跟crawler_keyword.py差不多'''

遍历图像元素列表,并尝试下载每个图像。先获取图像的URL,并使用哈希函数计算URL的哈希值。如果图像的哈希值已经在downloaded_images集合中,表示该图像已经下载过,就跳过它。然后根据索引和计数器生成图像的保存路径。如果文件已经存在,则增加计数器以避免文件名冲突。

DataAugment.py

def data_augmentation(img, techniques):
    img_list = []
    
    if '1' in techniques:
        # Flip
        img_list.append(cv2.flip(img, 1))  # Horizontal flip
        img_list.append(cv2.flip(img, 0))  # Vertical flip
        img_list.append(cv2.flip(img, -1)) # Horizontal and vertical flip

data_augmentation函数接受输入的图像和要应用的数据增强技术列表。根据技术列表中的编号,函数将应用不同的数据增强技术。在这种情况下,技术编号1表示翻转操作。通过使用cv2.flip函数,图像将水平翻转、垂直翻转和水平垂直翻转,然后将增强后的图像添加到img_list列表中。

    if '2' in techniques:
        # Rotate
        scale = 1.0
        rows, cols = img.shape[:2]
        center = (cols / 2, rows / 2)  # Image center
        angle = [45, 315]
        for a in angle:
            M = cv2.getRotationMatrix2D(center, a, scale)
            rotated = cv2.warpAffine(img, M, (cols, rows), borderValue=(255, 255, 255))
            img_list.append(rotated)

技术编号2表示旋转操作。使用cv2.getRotationMatrix2D函数获取旋转矩阵,然后使用cv2.warpAffine函数将图像应用旋转变换,生成旋转后的图像。将增强后的图像添加到img_list列表中。

    if '3' in techniques:
        # Noise
        noise_img = img.copy()
        for _ in range(1500):
            noise_img[random.randint(0, noise_img.shape[0] - 1)][random.randint(0, noise_img.shape[1] - 1)][:] = 255
        img_list.append(noise_img)

技术编号3表示添加噪声操作。首先复制原始图像,然后通过随机选择像素位置并将其设置为白色(255)来添加噪声。这里的噪声是通过在图像上随机选择位置并将其像素值设置为白色来模拟的。将增强后的图像添加到img_list列表中。

    if '4' in techniques:
        # Gaussian blur
        blur1 = cv2.GaussianBlur(img, (9, 9), 1.5)
        blur2 = cv2.blur(img, (11, 11), (-1, -1))
        img_list.append(blur1)
        img_list.append(blur2)

技术编号4表示应用高斯模糊操作。通过cv2.GaussianBlur函数和cv2.blur函数应用不同的模糊核生成模糊后的图像。将增强后的图像添加到img_list列表中。

    if '5' in techniques:
        # Lighting
        contrast = 1       # Contrast
        brightness = 100   # Brightness
        light1 = cv2.addWeighted(img, contrast, img, 0, brightness)
        light2 = cv2.addWeighted(img, 1.5, img, 0, 50)
        img_list.append(light1)
        img_list.append(light2)

其他三个增强的方式实现的原理类似。

每个脚本详细的运行方式见:readme里的详细说明

使用方法

  • 根据需求先运行两个crawler文件,获取数据
  • 用数据增强的脚本进行需要的数据增强
  • 用Rename.py脚本批量重命名

然后就得到了一个(不错的)数据集,可以去LabelImg里标注啦(打标签…感觉又入了一个大坑😭)文章来源地址https://www.toymoban.com/news/detail-852520.html

到了这里,关于Auto-DataProcessing:一组让制作数据集变轻松的脚本的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • MySQL数据库——MySQL AUTO_INCREMENT:主键自增长

    在 MySQL 中,当主键定义为自增长后,这个主键的值就不再需要用户输入数据了,而由数据库系统根据定义自动赋值。每增加一条记录,主键会自动以相同的步长进行增长。 通过给字段添加  AUTO_INCREMENT  属性来实现主键自增长。语法格式如下: 默认情况下,AUTO_INCREMENT 的初

    2024年02月11日
    浏览(37)
  • 分享一组真实的按钮

    先看效果图: 再看代码:

    2024年02月07日
    浏览(31)
  • JPA连接达梦数据库导致auto-ddl失效问题解决

      现象:         项目使用了JPA,并且auto-ddl设置的为update,在连接达梦数据库的时候,第一次启动没有问题,但是后面重启就会报错,发现错误为重复建表,也就是说已经建好的表没有检测到,又重新走的建表流程。经过一天的排查,总结了2个解决方案。  问题的根源:

    2024年02月15日
    浏览(63)
  • 25. K 个一组翻转链表

    给你链表的头节点 head ,每 k 个节点一组进行翻转,请你返回修改后的链表。 k 是一个正整数,它的值小于或等于链表的长度。如果节点总数不是 k 的整数倍,那么请将最后剩余的节点保持原有顺序。 你不能只是单纯的改变节点内部的值,而是需要实际进行节点交换。 示例

    2024年02月13日
    浏览(31)
  • CH06_第一组重构(上)

    曾用名:提炼函数(Extract Function) 反向重构:内联函数(115) 示例代码 动机 浏览一段代码,理解其作用,然后将其提炼到一个独立的函数中,并以这段代码的用途为这个函数命名。 何时应该把代码放进独立的函数(参考): 一个函数应该能在一屏中显示 只要被用过不止

    2024年02月09日
    浏览(29)
  • 分享一组有意思的按钮设计

    先上效果图: 一共16个,每个都有自己不同的样式和效果,可以用在自己的项目中,提升客户体验~ 再上代码:

    2024年02月04日
    浏览(44)
  • 【AIGC】一组精美动物AI智能画法秘诀

    如何使用AI绘画,从以下角度,依据表格内容梳理,表格如下: 外貌特征 物种 姿势 特征描述 场景 风格 技术 描述 小巧可爱 幼小浣熊 倚在桌子上 具有人形特征 中世纪酒馆 电影风格照明 8k分辨率 细节精致 毛茸茸 手持咖啡杯 Jean-Baptiste Monge的风格 蓝色编织围巾 皮克斯风格

    2024年01月17日
    浏览(38)
  • 算法通关村第二关——K个一组反转

    前面有很多关于链表反转的知识,K个一组反转,就是让很多组节点进行翻转,本质也都是一样的。 现在的链表是 3-2-1-4-5-6-7-8 3-2-1已经进行了反转,现在要进行反转的是4-5-6 在这里首先计算出链表的长度,然后计算出要反转几组,现在定义pre为dummyNode,cur定义为head。 通过f

    2024年02月14日
    浏览(45)
  • E8-怎么实现控制一组CheckBox中至少选一个

    这算是前两篇关于CheckBox控制的后续吧,在 E8-控制一组CheckBox的单选_checkbox 实现单选_rarenmen的博客-CSDN博客 的评论里,有小哥也提到了这个问题,说当所控制的复选框,一个都不选的时候也可以提交。其实,我是有做控制的,但只是在只允许选一个CheckBox的时候控制了必填,

    2024年02月11日
    浏览(40)
  • 按键精灵、auto.js等一些移动端脚本 如何连接云服务器的数据库, 进行读写操作

    一、技术背景         按键手机版和auto.js,只支持连接本地数据库sqllite,该数据库只存在本地 其他设备无法读写,就像本地的txt一样。         而很多脚本作者的需求是:多个脚本,甚至在全国不同城市的脚本也能读取和写入同一批数据,比如云端统一配置、集中上传

    2024年02月16日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包