差分升级在物联网水表上的实现与应用(学习)

这篇具有很好参考价值的文章主要介绍了差分升级在物联网水表上的实现与应用(学习)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

摘要

当越来越多的物联网水表加入抄表系统后,实现了水表数据的信息化,并且当水表终端需要技术更新时,通过网络方式来升级产品可以高效修复设备面临的问题,减少用户损失,降低维护成本,但同时也对有限的网络资源形成负担。

当前终端的无线远程升级技术多采用单一的整包升级策略,存储空间占用率高,网络资源占用量大,升级成功率不高。

针对上述问题,引入了应用于Android端的开源差分算法HdiffPatch,介绍了差分升级在物联网抄表系统中的实现架构和方法,并通过重编译实现算法在Windows服务器端及嵌入式水表终端的应用。

引言

物联网水表指的是在计量基表的基础上,加入无线远传模块(GPRS、NB-IoT等),组成的新型智能水表,它实现了集流量计量、流量采集、数据存储及无线传输于一体的强大功能。

当越来越多的物联网水表加入抄表系统后,对用水片区的水量管理及数据分析提供了可靠的依据,为用户用水行为管控提供了及时有效的操作机制,也为水表设备运行的远程监测提供了方便的平台,但同时也对抄表系统的网络带宽提出了一定的要求。

当设备投入市场之后,由于相关技术的迭代,设备运行可能会暴露其软件代码中的某些致命弊端;由于客户需求更新,设备软件需要升级以增加或者修改原来的功能。

当物联网设备投入市场后,厂家开发安全有效的空中升级方案,只需要在网络平台上把升级软件通过无线方式下发给设备,实现设备中的可执行代码更新。

无线升级面临着几个考验:

  1. 网络平台资源紧张,尤其对物联网水表等这类小设备,有些运营商限制了其网络端口并发量,因此空中升级庞大的数据流量会引起网络拥塞,造成升级失败;
  2. 物联网设备多采用电池供电,尽量保持低功耗是保证其寿命的重要手段,空中升级的有限速率导致电池供电设备对耗电极为敏感。
  3. 受网络信号的影响,当无线升级失败时,想要设备继续进入运行状态,必须对接收到的新代码另行存储,以避免对原代码的覆盖,并且要具备重传机制,待网络稳定时,从断开处开始传输,避免重新传输,造成资源浪费。
  4. 当更新数据量大时,对设备 CPU 的 FLASH 空间及 RAM 提出了更高的要求[3]。

目前国内外固件设备的无线升级方案按照实现策略可分为整包升级和差分升级。

整包升级需要将新版本的完整软件包进行打包,设备接收完所有升级包,经过校验算法验证包的有效性和完整性后,替换旧版本的应用代码。

整包升级的方式接近于整个固件的镜像,操作简单,易于实现,对网络平台及设备端的设计实现要求不高。

差分升级算法

差分升级又叫增量升级,是将固件的新旧版本的程序数据文件做差异,形成升级需要增量包,而对于两个版本中相同部分则不需要做升级处理,以此通过传输更少的数据实现同样的升级效果。

在实现架构上,差分升级系统需要在升级服务器侧和终端设备上分别部署差分算法,服务器比较新版本文件对旧版本文件所作的修改,并通过差分算法对这些数据以特定的格式打包、优化压缩,形成差分文件(patch文件);然后通过指定的协议,设备端接收完该差分文件,校验完成后,利用差分算法还原差分文件,并通过组合旧版本程序文件,得到目标数据文件,实现升级。

差分升级在物联网水表上的实现与应用(学习),论文学习,物联网
显然,经过服务器侧后生成的patch文件,远远小于新版本程序文件,而对于固件资源受限的设备终端来说,如何寻找一种高效的差分算法,实现以最小数据量来描述差分信息,并且以有效稳定的方法进行信息传递和文件还原,是差分升级的重要研究内容。

在构造差分增量包中,常见的算法有Bsdiff算法、Xdelta算法、Hdiffpatch算法等。

Bsdiff算法

在匹配新旧文件过程中,有部分源代码内容完全相同,有部分源代码相似度很高,只有部分字节作了稀疏改动,另有一些源代码内容相同,但是存储地址存在一个固定的偏移量,对于这一特性的源代码数据,具有高度的可压缩性。Bsdiff算法引入了diff string的概念,在新旧文件中找到这样的两部分内容,求出字节的差异,作为diff string进行压缩。而对于不符合要求的新文件源码中新增部分,作为extra string进行保存。

Bsdiff算法在匹配时,先对旧文件的所有字符进行后缀排序形成一个字典,然后使用二分查找算法找到最优的匹配长度,依次得到整个文档所有的diff string和extra string,把这些文件信息以bzib2的方式压缩成升级增量文件。

Bsdiff算法的增量文件中的数据由四部分组成:Header,ctrl block,diff block,extra block。

  • Header 头文件包含了目标文件的起始地址,新文件大小,控制长度等。
  • ctrl block提供控制部分信息,指示旧文件中保留的长度,以 及 需 要 从 diff block 和 extra block 中提取的信息,在旧文件中信息的地址偏移量等。
  • diff block,extra block 分别包含所有的 diff string和 extra string。

设备端在接收到patch文件后,解压文件,并根据差分文件的组成格式,通过bspatch算法,还原生成新文件。

由Bsdiff算法原理可知,它所生成的patch文件并不会比源文件小,但是文件结构压缩性强,导致传输的升级数据量比完整升级要小很多,有效减少了冗余数据传输量。Bsdiff 算法高度依赖压缩算法,当升级文件修改的内容小概率地满足稀疏变化时,差分文件的压缩效率降低,相比整包升级的优势不明显。

Xdelta算法

Xdelta 和其他的差分升级算法一样,也需要对新文件和旧文件进行比较匹配作差分。在产生 patch 包时,Xdelta 可采用 hash 或者 suffix trees 等算法来寻找最大的匹配长度的字符串。

Xdelta 差分算法的 patch文件中用到了 add、run 及 copy 三种命令。其中 add 用于将匹配到的指定长度的字符串从源文件拷到目标文
件,run 用于在目标文件中加入新文件的增加部分,copy 将匹配到的文件成块的移动到目标文件中的目标地址上。

Xdelta 对增量文件采用 Vcdiff 格式的编码方式,用 128 进制的数据表示形式,经过重编码的字符,相较于原数据节省了存储空间,达到了高效压缩的目的[9]。

Xdelta 算法的 patch 生成过程可通过其他算法来优化,考虑到设备端的内存消耗,patch 过程引入了Windows 块技术,随着 Windows 块变大,可达到的最长字符串的匹配结果越精确,产生的 patch 文件越小,但同时也会消耗更多的内存资源。因此,采用高效的匹配优化算法和适合的 Windows 块大小,是 Xdelta 算法的关键。

Hdiffpatch

Hdiffpatch是一种高效的增量算法,在运行时间复杂度及内存空间占用率上相较于前两种算法存在很大的优势。

Hdiffpatch在差异文件生成阶段引入了覆盖线C的概念,用于标志新旧版本文件的匹配度。

算法将两版本程序文件看成两个具有不同长度的数组,分别表示newData[m]和oldData[n]。

覆盖线C是点Ei.jj的集合,其中newData[i] = oldDta[j]。
如果C = {Ei,j,Ei+1,j+1,…,eI+K,J+K},表示该覆盖线的长度为k。
由此可知,经过匹配之后存在许多长度不等的覆盖线,根据差分包制作经验,当覆盖线长度大于7时,增量算法优势明显。
patch文件就是所有满足要求的覆盖线和newData[m]中没有被匹配上的数据组成的文档。

其中覆盖线表示信息结构包括:newPos,表示在新文档中的起始位置i;oldPos,表示在旧文件中的起始位置j;length,表示覆盖线长度k。

Hdiffpatch算法对匹配的覆盖线采取优化措施。其中包括:

  1. 覆盖线包含。如果覆盖线a被另外一条完全包含,则在C中删除a信息,以减小重复信息来简化差分文件。
  2. 覆盖线合并。对于在一条直线上的两段覆盖线,如果它们之间的间隔长度小于某一值,则把这两条覆盖线合并成一条,其中的延长部分数据作为patch文件的一部分。
  3. 覆盖线删除。对于某些单独的覆盖线,做扩展成本比较大,无法进一步优化,在patch文件生成时,对此进行直接删除,以减小存储及升级的控制代价。

差分升级的实现

Hdiffpatch算法产生了较小的升级包,当水表终端接收到升级包并且还原成最新文件后,需要对控制CPU中的执行代码进行更新升级。

本方案中采用的智能水表终端使用 STM32L071,其具有 192KB 的 FLASH,6KB 的片内 EEPROM,20KB的 RAM,能够实现多种低功耗运行模式,完全满足智能水表终端在实现流量数据计量、存储及与无线服务器通信功能的基础上,加入差分升级的功能。

而在加入差分升级之后,bootloader 中还将包含 Hdiffpatch 算法及与服务器进行patch 差分包传输通信所有流程。

由于在 Hdiffpatch 算法中需要在旧文件的基础上作新程序文件还原,因此会存在两个版本的文件同时存在于 FLASH 的情况,这对于升级失败时,设备还能继续正常运行起到保障作用。对于 CPU 的存储区,水表终端作了如下划分[14]:
差分升级在物联网水表上的实现与应用(学习),论文学习,物联网
终端升级流程实现
终端升级实现是差分升级系统中的关键部分,它负责增量升级文件的接收、差分算法的还原及固件的更新。

基于终端控制器CPU的RAM区容量的限制,水表设备不能一次性接收升级文件,而是采用分帧多包的模式。
当所有帧都接收完全后,CPU按照Hdiffpatch算法的patch文件格式解析文档,进行算法还原。

差分升级在物联网水表上的实现与应用(学习),论文学习,物联网
本方案的协议采用的关键技术包括:

  1. 升级协议起始帧包含了本次升级的新软件版本号、升级的总包数及升级文件的总校验码。终端通过接收下发的版本号与当前的版本号对比,选择是否停止接收、完全接收或断点续传。文件总校验码用于在终端接收完升级文件后,判断文件的有效性。
  2. 水表终端根据总升级包数,向服务器逐条申请升级包,并对接收到相应的升级包进行包序号和校验码的判断。当出现接收超时或者存储空间无法容纳接收的数据时,终端会向服务器发出警告或者请求重传数据。
  3. 水表终端在请求升级数据包时,对每一步的操作进行记录,以实现断点续传的可操作性。
  4. 终端接收完升级文档后,通过Hdiffpatch还原算法,在FLASH的新程序存储区形成新版本代码后,通知服务器,并实行升级操作。服务器监控整个空中升级流程,对水表终端的升级状态也能实时反馈,提高了升级的可控性。

终端升级的低功耗设计

物联网智能水表使用一次性锂电池供电,保证安装及使用的便捷可靠。

在应用程序中,终端控制器合理使用 NB-IoT 的工作模式,并根据使用场景对表计量的频度和方法进行控制,既满足了客户的使用要求,又相对延长了产品电池使用寿命。

空中升级的使用频率相对较低,但是它一次使用的耗电量在所有应用功能中是最大的。
因此,如何采用合理的手段规避不必要的电耗也是空中升级系统要考虑的一个问题。

本方案采用Hdiffpatch算法来产生差分升级文件patch,在很大程度上缩小了空中升级的数据传输量,拉低了升级操作的总耗电量,成为降低升级功耗的关键技术。

升级一开始,服务器查询设备端当前软件版本号,如果与要下发的版本号一致,则认为没有升级的必要,退出升级操作。
这种架构,仅用一个交互信息就实现了升级流程走向,避免了不必要的传输步骤。

当空中传输过程出现网络故障时,终端收不到正确的服务器数据后,在连续申请三次升级包后,设备为了节省电耗,进入休眠模式。
待下一周期,网络恢复后,设备不需要重复传输已经接收完的数据包,而是进入断点续传,减少了冗余的操作,简化了升级步骤文章来源地址https://www.toymoban.com/news/detail-648871.html

到了这里,关于差分升级在物联网水表上的实现与应用(学习)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【 Java在物联网中的应用】

    【 点我-这里送书 】 本人详解 作者:王文峰,参加过 CSDN 2020年度博客之星,《Java王大师王天师》 公众号:JAVA开发王大师,专注于天道酬勤的 Java 开发问题 中国国学、传统文化和代码爱好者的程序人生,期待你的关注和支持!本人外号:神秘小峯 山峯 转载说明:务必注明

    2024年02月21日
    浏览(52)
  • 蓝牙网关在物联网领域三大应用

    蓝牙网关在物联网的应用主要包括物联网室内定位、物联网数据采集、物联网连接控制三大应用领域,以下对三大应用领域做详细解释。 一、物联网蓝牙室内定位 蓝牙网关在室内定位的应用包括人员定位和资产设备定位两大方向。 1、人员定位 蓝牙网关安装于室内的特定地

    2024年01月23日
    浏览(47)
  • ClickHouse在物联网场景中的应用

    物联网(Internet of Things,IoT)是指通过互联网将物体和设备连接起来,使得物体和设备可以相互通信,实现智能化管理和控制。随着物联网技术的发展,大量的设备数据被产生,需要有效地存储、处理和分析。ClickHouse是一个高性能的列式数据库,具有快速的查询速度和高吞吐量

    2024年02月19日
    浏览(58)
  • 开源在物联网(IoT)中的应用

    🌷🍁 博主猫头虎 带您 Go to New World.✨🍁 🦄 博客首页——猫头虎的博客🎐 🐳《面试题大全专栏》 文章图文并茂🦕生动形象🦖简单易学!欢迎大家来踩踩~🌺 🌊 《IDEA开发秘籍专栏》学会IDEA常用操作,工作效率翻倍~💐 🌊 《100天精通Golang(基础入门篇)》学会Golang语言

    2024年02月08日
    浏览(67)
  • 手机蓝牙在物联网超市中的应用

    超市一站式购物已进入城市的千家万户。然而人们在选购时却采用直接翻阅商品的方式,既不方便又不卫生甚至大大缩短食品类商品保质期,也给超市商品管理造成很大难度。物联网(The Internet of things)基于射频识别(RFID)、红外感应等技术,把物品与互联网连接起来进行通讯,

    2024年01月16日
    浏览(58)
  • 区块链技术在物联网中的应用概述

     摘要: 物联网正在将传统工业重塑为以数据驱动决策为特征的智能工业。然而,物联网本身的特性带来了一系列挑战,如去中心化、互操作性差、存在隐私和安全漏洞等。区块链技术的出现为物联网应对挑战提供了新的解决途径。研究了区块链技术与物联网的融合,并把这种

    2023年04月09日
    浏览(56)
  • 边缘计算在物联网中的应用与挑战

    边缘计算在物联网中的应用与挑战 摘要:随着物联网技术的快速发展,数据量呈爆炸性增长,传统的数据处理方式面临巨大挑战。边缘计算作为一种新型计算范式,将数据处理的任务从中心服务器转移到了设备边缘,为物联网的发展提供了新的可能。本文首先介绍了边缘计算

    2024年02月22日
    浏览(62)
  • Docker在物联网和边缘计算中的应用

    物联网(IoT)和边缘计算(Edge Computing)是当今科技领域中备受关注的两个领域。它们的兴起为连接设备、传感器和数据提供了新的机会,而Docker容器技术则在这一领域中发挥着重要作用。本文将探讨Docker在物联网和边缘计算中的应用,提供丰富的示例代码和综合的内容,以

    2024年02月04日
    浏览(152)
  • NFC三大工作模式及其在物联网应用实例

    NFC支持三种通信模式:读写模式、点对点模式和卡模拟模式。在此三种模式下,都仅需简单点击便可启动传输。   在读写模式下,系统执行非接触式读写功能。该系统的NFC芯片与内置NFC的设备-诸如非接触式智能卡、NFC标签或具有NFC功能的智能手机(在卡模拟模式下运行)进

    2024年02月22日
    浏览(37)
  • 人工智能在物联网设备中的传感器应用

    作者:禅与计算机程序设计艺术 随着智能化、自动化、数字化等新型产业革命的到来,物联网(IoT)已经成为一种新的经济增长点,引起了业内对其整合应用的关注。由于物联网的广泛部署,使得传感器、终端设备和云计算成为核心组成。物联网时代带来的巨大变化带来了新

    2024年02月11日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包