HDFS中的Trash垃圾桶回收机制

这篇具有很好参考价值的文章主要介绍了HDFS中的Trash垃圾桶回收机制。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

文件系统垃圾桶背景

  • 回收站(垃圾桶)是windows操作系统里的一个系统文件夹,主要用来存放用户历史删除的文档文件资料,存放在回收站的文件可以恢复
  • 回收站的功能给了我们一剂“后悔药”。回收站保存了删除的文件,文件夹,图片等。这些项目将一直保留在回收站中,直到清空回收站
  • HDFS本身也是一个文件系统,那么就会涉及到文件数据的删除操作
  • 默认情况下,HDFS中是没有回收站垃圾桶概念的,删除操作的数据将会被直接删除
    HDFS中的Trash垃圾桶回收机制,# hdfs,hdfs,hadoop,大数据

功能概述

  • HDFS Trash机制,目的防止无意中删除某些东西。默认情况下是不开启的
  • 启用Trash功能之后,从HDFS中删除某些内容时,文件或目录不会立即被清楚,他们将被移动到回收站Current目录中(/user/${username}.Trash/current)
  • .Trash中的文件在用户可配置的时间延迟后被永久删除
  • 也可以简单的讲回收站里的文件移动到.Trash目录之外的位置来恢复回收站中的文件和目录

Trash Checkpoint

  • 检查点仅仅是用户回收站下的一个目录,用于存储在创建检查点之前删除的所有文件或目录
  • 回收站目录在/user/${username}/.Trash/{timestamp_of_checkpoint_creation}
  • 最近删除的文件被移动到回收站Current目录,并且在可配置的时间间隔内,HDFS会为Current回收站目录下的文件创建检查点/user/${username}/.Trash/<日期>,并在过期时删除旧的检查点

HDFS中的Trash垃圾桶回收机制,# hdfs,hdfs,hadoop,大数据

Trash功能开启

关闭HDFS集群

  • 在node1节点上,执行一建关闭HDFS集群命令:stop-dfs.sh
    HDFS中的Trash垃圾桶回收机制,# hdfs,hdfs,hadoop,大数据

修改core-site.xml

  • 在node1节点上修改core-site.xml文件添加下面两个属性
  • fs.trash.interval:回收站中的文件多少分钟后会被系统永久的删除。如果为0,trash功能将被禁用
  • fs.trash.checkpoint.interval:前后两次检查点爱你的创建时间间隔(也是分钟),新的检查点被创建后,随之久的检查点就会被系统永久删除。如果为0,则将该值设置为fs.trash.interval的值

HDFS中的Trash垃圾桶回收机制,# hdfs,hdfs,hadoop,大数据

删除文件到trash

  • 开启trash功能后,正常执行删除操作,文件世纪并不会被直接删除,而是被移动到了垃圾回收站

HDFS中的Trash垃圾桶回收机制,# hdfs,hdfs,hadoop,大数据

删除文件跳过

  • 在执行删除操作的时候添加一个参数:-skipTrash,不需要经过回收站直接删除
    HDFS中的Trash垃圾桶回收机制,# hdfs,hdfs,hadoop,大数据

从trash中恢复文件

  • 回收站里面的文件,在到期被自动删除之前,都可以通过命令恢复出来
  • 使用mv,cp命令把数据文件从trash目录下复制移动出来就可以了

HDFS中的Trash垃圾桶回收机制,# hdfs,hdfs,hadoop,大数据文章来源地址https://www.toymoban.com/news/detail-635585.html

清空trash

  • 除了fs.trash.interval参数控制到期自动删除之外,用户还可以通过命令手动清空回收站,释放HDFS磁盘存储空间
  • HDFS提供了一个命令行工具来完成这个工作:Hadoop fs -expunge.该命令立即从文件系统中删除过期检查点

到了这里,关于HDFS中的Trash垃圾桶回收机制的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 智能垃圾分类垃圾桶(K210+stm32mp157)

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 有需要源码参考的可以点赞在评论区留邮箱 K210识别垃圾 k210识别2 文章目录 前言 一、垃圾分类识别+舵机控制(K210) 二、语音控制(K210+ld3320)(UART通信) 三、满溢度距离传感器数据获取(STM32MP157)

    2024年02月03日
    浏览(53)
  • Arduino智能语音识别分类垃圾桶

        该功能主要是通过ASRpro语音识别模块来实现,结合舵机部分,通过天问block编程,以达到用户输入语音指令, 通过 正确 识别后 控制舵机打开相应垃圾桶盖子, 以 实现垃圾分类(可回收垃圾、其他垃圾、厨余垃圾、有害垃圾)。 该功能是 利用Arduino Uno开发板 结合 红外

    2024年02月05日
    浏览(47)
  • C语言:void*概述(垃圾桶)

      目录 1. void*概述 2. 限制与注意事项 2.1 不能进行解引用 2.2 不能进行加减整数操作 3. 示例程序 4. 总结  void* 类型时,我们通常是在处理一种特殊的指针类型,它可以存储任何数据类型的地址。在本文中,我们将深入探讨 void* 的特性以及在实际编程中如何使用它。 void* 是

    2024年02月03日
    浏览(37)
  • 智能垃圾桶项目【课程设计】【全套开源】

    1.1 功能描述 当物体接近垃圾桶时,垃圾桶自动打开,并有\\\" 嘀\\\"的一声;当远离垃圾桶后,自动关闭; 当按下按键时,垃圾桶也可以自动打开,并有\\\" 嘀\\\"的一声; 当感受到震动时,也自动打开,(同上) 垃圾桶开时,led1 灯开,led2 灯关;当垃圾桶关时,led1 灯关,led2 灯开

    2024年01月16日
    浏览(48)
  • 机器人制作开源方案 | 智能垃圾桶

           智能垃圾桶是一种利用物联网技术和智能感知能力的智能设备,旨在提高垃圾分类和处理的效率。通常具备以下特点和功能: ① 智能感知:智能垃圾桶配备各种传感器,如压力传感器、红外线传感器等,可以实时感知垃圾桶内垃圾的填充情况和类型。 ② 垃圾分类:

    2024年02月16日
    浏览(57)
  • 智能垃圾桶丨悦享便捷生活

           垃圾桶是人们日常生活所必不可少的必需品,它让生活中所产生的垃圾有了一个正确的存放地方。随着生产技术的迅速发展,垃圾桶也得以更新换代。由最初的简单式的圆筒式垃圾桶,到现在出现的感应式垃圾桶、智能语音控制垃圾桶,垃圾桶也变得越来越智能,让

    2024年02月07日
    浏览(56)
  • 基于单片机的语音识别智能垃圾桶垃圾分类的设计与实现

           功能介绍 以51单片机作为主控系统; 液晶显示当前信息和状态; 通过语音识别模块对当前垃圾种类进行语音识别;  通过蜂鸣器进行声光报警提醒垃圾桶已满; 采用舵机控制垃圾桶打开关闭; 超声波检测当前垃圾桶满溢程度; 整个电路以5v供电;  电路图   源代

    2024年02月13日
    浏览(40)
  • 基于STM32的智能语音垃圾桶设计

    一. 系统设计及框图: 本设计整体功能如下: 1. 超声波感应到有人靠近时语音提示“垃圾放置请分类”。 2. 检测垃圾筒时是否满,当满时语音提示“垃圾桶已满”。 3. 光传感器检测,指示灯指示。 4. 语音识别不同的垃圾类型。 二. 离线语音模块的设计: 离线语音模块SU-0

    2024年02月01日
    浏览(40)
  • 32、基于51单片机红外智能垃圾桶系统设计

    随着现代化进程的日益推进,科技越来越发达,人们的生活水平也提高了,城市化程度越来越高,与此同时也带了许多问题,生活垃圾越来越多垃圾设施却不够完善。无论是在公共场合还是家庭厨房的垃圾大都是没有盖或者有盖但需要人用手打开的,比如夏天的家庭厨房没有

    2023年04月14日
    浏览(60)
  • 基于STM32+华为云IOT设计的智能垃圾桶

    在商业街、小吃街和景区等人流密集的场所,垃圾桶的及时清理对于提供良好的游客体验至关重要。然而,传统的垃圾桶清理方式通常是定时或定期进行,无法根据实际情况进行及时响应,导致垃圾桶溢满,影响环境卫生,给游客带来不便和不满。 为了解决这一问题,本项目

    2024年02月08日
    浏览(107)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包