Transactional Indexes on (RDMA or CXL-based) Disaggregated Memory with Repairable Transaction——论文泛读

这篇具有很好参考价值的文章主要介绍了Transactional Indexes on (RDMA or CXL-based) Disaggregated Memory with Repairable Transaction——论文泛读。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

arXiv Paper CXL论文阅读汇总

问题

在为多个松散耦合的客户端提供服务的系统中,客户端操作的失败原子性和隔离执行是一个默认要求。然而,分离的内存在远程索引中破坏了这一要求,因为客户端操作被分解为多个远程读/写。当前的索引侧重于性能改进,很大程度上忽视了对客户端故障的容忍。我们认为,实际的DM索引应该是事务性的:每个索引操作应该具有故障原子性和隔离性,除了并发隔离。

挑战

在传统的分布式系统(如KVS)中,服务器可以同时为许多松散耦合的客户端提供服务,例如微服务[2]或无状态函数[29]。一个基本的要求是,在故障情况下,每个客户端操作都应该是“全有”或“全无”的原子操作[49],并且要具有故障隔离性,一个失败的客户端不应该影响其他客户端。传统系统可以轻松实现这一点,因为它们使用远程过程调用(RPC):客户端操作通过单个RPC发送到服务器执行。只要服务器存活,每个操作就在服务器上以原子方式执行,而服务器与失败的客户端隔离。然而,分离的内存将每个客户端操作从单个网络请求解耦为多个网络化的分离式内存(DM)读/写。如果在完成所有这些写操作之前客户端发生故障,服务器上的索引数据可能变得非原子(由于部分更新),并且对其他客户端不可用(由于未释放的锁),尽管服务器是正常的。

现有方法局限性

现有的DM索引[7,40,61,70]专注于通过优化索引结构布局,以更好地适应DM或在有限的DM原语(例如内存读/写和原子操作)下支持快速并发控制来改善索引性能。尽管它们取得了性能改进,但它们没有考虑容忍客户端故障,这是由于索引的复杂性和DM索引操作的非原子性质。即使对于单个索引,要推导出一个能够容忍客户端端非原子性更新的正确算法也很困难。以B+Tree为例,一个失败的客户端插入可能导致索引数据处于许多中间状态。为了实现故障原子性和隔离性,其他客户端必须即时修复所有这些情况,因为对于分布式系统来说,停止所有客户端进行恢复是不可接受的。更糟糕的是,无法区分失败的操作和未完成的操作。盲目地修复一个(未失败的)未完成的操作会导致数据损坏。

一个简单的解决方案是使用分布式事务为DM构建索引[15,21,50,63,65,68]。但来自事务的技术对于DM索引来说太重了,因为它们没有考虑客户端松散耦合的设置。在检测到客户端故障时,需要在客户端之间进行明确的协调,这不仅打破了客户端故障隔离,还消耗了额外的系统资源,并增加了DM索引的部署负担。

本文工作

我们提出了可修复事务(rTX),一种轻量级事务原语,用于构建事务性的DM索引。一个rTX可以在其对DM索引的读/写过程中检测其他失败的rTX,一旦检测到,它将立即帮助失败的rTX提交或中止来修复任何失败状态。我们通过不破坏DM索引应用程序的松散耦合模型来实现这一点:每个rTX都是完全使用DM原语实现的,不与其他客户端通信。

rTX借助预写式日志(write-ahead logging),这是实现故障原子性的技术,实现了在线索引修复。它可以自动修复失败的索引数据,无论索引有多复杂。然而,我们仍然需要处理DM索引的独特约束,即内存节点的计算能力不足[5,24,38,39,70]和松散耦合的客户端。

为了高效且有效地检测故障的rTX,我们的方法是并发控制的故障执行将在索引元数据上留下提示,例如,在一段时间内未释放的锁。我们提出了一种新的锁原语LLLock,它支持在现有DM锁上的正常锁获取操作中携带故障检测。为了正确协调正在修复和修复过的rTX的并发提交,我们进一步设计了新的幂等提交协议。只要提交是幂等的,不同的客户端就可以在没有协调的情况下正确地提交相同的rTX。

rTX依赖并发控制协议进行故障检测和索引修复,我们默认采用了乐观并发控制(OCC)[36]来隔离并发的索引操作。我们通过两个方法减少开销:(1)设计优化的协议,为仅修改一个对象的索引操作去除日志记录,这在DM索引中很常见;(2)将部分并发控制委托给现有的冲突检测算法,可以最小化开销。我们在YCSB基准测试[17]上的结果表明,与现有的非原子索引相比,rTX的成本最高可达42%。

rTX可以用于从头开始构建复杂的DM索引,例如,在B+Tree中,要导出事务性索引算法是具有挑战性的。还可以增强现有索引,要求其中大多数操作都是事务性的,例如,RaceHashing支持事务性操作,只要不进行重新哈希。我们使用rTX对其进行扩展,以支持事务性的重新哈希,同时对其正常操作带来最小的开销。

我们已经创建了一个实现rTX的运行时REPTX原型。我们使用REPTX对两种最先进的DM索引进行了重构:RaceHashing [70](哈希表)和Sherman [61](B+Tree)。使用行业标准的YCSB基准测试[17]进行的广泛评估表明,REPTX在构建DM索引方面比现有的替代方案快1.2-2倍,例如在DM上使用分布式事务(即DrTM+H [63])。此外,REPTX可以在1毫秒的时间间隔内修复崩溃的客户端,而没有可观察到的性能下降。

实验

实验环境:12-core Intel Xeon E5-2650 v4 x 2,128 GB DRAM, 100Gbps ConnectX-4 IB NIC,5个节点做计算节点,1个节点做内存节点。

总结

在分离式内存场景下,如何保证客户端操作的事务性,即故障原子性和隔离性,避免客户端崩溃导致索引数据的损坏。作者提出在事务进行前先记录redo log,如果发生故障则通过redo log来恢复;通过租约锁识别客户端故障,后续客户端如果发现租约锁过期则认为发生故障,并主动通过redo log恢复;保证修复操作时幂等的,实现协调修复操作。文章来源地址https://www.toymoban.com/news/detail-818300.html

到了这里,关于Transactional Indexes on (RDMA or CXL-based) Disaggregated Memory with Repairable Transaction——论文泛读的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • A Framework for Accelerating Transformer-Based Language Model on ReRAM-Based Architecture(论文笔记)

    (发现问题): 在基于RRAM的加速器中,自注意力层在收集输入序列信息的过程中,需要所有输入序列词的前一层结果,由于输入实例在不同的时间步上被串行处理。 因此,自注意层一直保持停滞,直到上一层计算的结束。这就是数据危险,增加了在基于RRAM加速器上处理基于

    2024年03月25日
    浏览(57)
  • 论文笔记:Continuous Trajectory Generation Based on Two-Stage GAN

    2023 AAAI 建模人类个体移动模式并生成接近真实的轨迹在许多应用中至关重要 1)生成轨迹方法能够为城市规划、流行病传播分析和交通管控等城市假设分析场景提供仿仿真数据支撑 2)生成轨迹方法也是目前促进轨迹数据开源共享与解决轨迹数据隐私问题的可行解决方案 在不

    2024年02月12日
    浏览(60)
  • 【论文笔记】Gemma: Open Models Based on Gemini Research and Technology

    日期: March 5, 2024 平台: CSDN, 知乎 状态: Writing Gemma: Open Models Based on Gemini Research and Technology 谷歌最近放出的Gemma模型【模型名字来源于拉丁文 gemma ,意为宝石】采用的是与先前Gemini相同的架构。这次谷歌开源了两个规模的模型,分别是2B和7B的版本。【对于个人电脑来说,2B真的

    2024年03月12日
    浏览(46)
  • 【图像修复】论文阅读笔记 ----- 《Image inpainting based on deep learning: A review》

    原文下载链接1:https://www.sciencedirect.com/science/article/abs/pii/S0141938221000391 原文下载链接2:http://s.dic.cool/S/KSS4D4LC 本篇论文综述发表于2021年。文章总结了基于深度学习的不同类型神经网络结构的修复方法,然后分析和研究了重要的技术改进机制;从模型网络结构和恢复方法等方

    2024年02月01日
    浏览(60)
  • 基于人体姿势估计的舞蹈检测(AI Dance based on Human Pose Estimation)

    人体姿势骨架以图形格式表示人的方向。本质上,它是一组坐标,可以连接起来描述人的姿势。骨架中的每个坐标都被称为一个部分(或一个关节,或一个关键点)。两个部分之间的有效连接称为一对(或分支)。下面是一个人体姿势骨架样本。 因此,在本文中,我们将研究如何

    2024年02月11日
    浏览(41)
  • On the Robustness of Backdoor-based Watermarkingin Deep Neural Networks

    关于深度神经网络中基于后门的数字水印的鲁棒性 ABSTRACT 在过去的几年中,数字水印算法已被引入,用于保护深度学习模型免受未经授权的重新分发。我们调查了最新深度神经网络水印方案的鲁棒性和可靠性。我们专注于基于后门的水印技术,并提出了两种简单而有效的攻击

    2024年02月01日
    浏览(44)
  • Nonnegative Matrix Factorization Based on Node Centrality for Community Detection 论文笔记

    导语:自用的论文笔记 Su S, Guan J, Chen B, et al. Nonnegative Matrix Factorization Based on Node Centrality for Community Detection[J]. ACM Transactions on Knowledge Discovery from Data, 2023, 17(6): 1-21. 文章目录 一、摘要 二、文章创新点 三、本文模型 1.准备工作 1、符号(Notations) 2、相似度量(Similarity Measur

    2024年01月21日
    浏览(40)
  • 【论文笔记】Multi-modal Facial Affective Analysis based on Masked Autoencoder

    论文链接:https://arxiv.org/abs/2303.10849 代码:https://github.com/FuxiVirtualHuman/ABAW5 基本自译,没有使用翻译软件进行大段翻译。包含很多意译的部分。 不确定的地方有问号标注。 “问题:\\\"部分是一些前置知识的补充,不是论文内容。 介绍ABAW这个比赛:识别情感表现(高质量、大

    2024年04月26日
    浏览(37)
  • 【图像拼接】论文精读:Image Stitching Based on Semantic Planar Region Consensus(PRCS)

    第一次来请先看这篇文章:【图像拼接(Image Stitching)】关于【图像拼接论文精读】专栏的相关说明,包含专栏使用说明、创新思路分享等(不定期更新) Seam Carving for Content-Aware Image Resizing As-Rigid-As-Possible Shape Manipulation Adaptive As-Natural-As-Possible Image Stitching Shape-Preserving Half

    2024年02月03日
    浏览(48)
  • ZKP7.1 Polynomial Commitments Based on Error-correcting Codes (Background)

    ZK-Learning MOOC课程笔记 Recall: common paradigm for efficient SNARK A polynomial commitment scheme + A polynomial interactive oracle proof (IOP) = SNARK for general circuits Poly-commit based on error-correcting codes Motivations: Plausibly post-quantum secure No group exponentiations (prover only uses hashes, additions and multiplications) Small global

    2024年02月08日
    浏览(31)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包