区块链的特有属性使数据可追溯、不可篡改的同时弊端也很明显，采用的分布式存储技术需要每一个节点保存一份数据库，存储成本高；网络中发生的每笔交易都需要其它节点认证和记录，处理速度慢；这让区块链的系统的存储效率相较集中式存储受到诟病。作为数字经济新型信息基础设施，区块链需面对全国乃至全球的用户带来的海量数据上链存储需求。
长安链从超大规模数据存储场景出发，推出 PB 级区块链开源存储引擎“泓”，英文名定为“Huge”，预计将在 2022 年底正式开源。泓在保证区块链系统中数据一致性和唯一性外还将具备：大规模、低成本、高性能、强隐私的特点。
效率成本兼容
泓采用混合式存储架构、数据分片、冷热分离等技术，具备海量数据存储能力，兼顾效率和成本。
1.混合式存储架构
区块链上存储的数据有多种不同读写特性，比如：区块和交易这类数据一旦写入就不再修改，且数据量大，适合采用文件存储，同时对文件中的数据项创建索引以方便查询；而状态数据需要频繁修改与查询，适合采用KV数据库或OLTP类（联机事务处理 Online Transaction Processing）的数据库；对于合约事件这类需要进行数据分析的场景，也可以采用OLAP类（联机分析处理 Online Analytical Processing）的存储系统；对于区块链以区块为单位的批量处理流程，我们采用预写式日志(WAL)加内存缓存的方式来优化存储效率。因此泓基于混合式的存储架构来实现。混合式存储需要解决多个不同存储系统之间的数据一致性问题，我们采用区块作为检查点，来实现不同存储系统之间的异常校验与数据自动恢复。
2.数据分片
要面向海量数据，区块链存储系统必须具备水平扩展能力，基于我们混合存储架构中的数据一致性管理能力，可以将区块数据拆分成更细粒度的数据项进行存储，使得系统中的不同存储组件都可以实现分片能力，可以兼容市面上常用的分布式存储服务，包括：分布式文件存储，分布式数据库等。
3.冷热分离
区块链要求数据可追溯，需要保存全量的历史数据，通过对数据进行冷热分级，可以兼顾性能和成本。对于近期写入的区块、交易、热点状态数据可以定义为热点数据，通过对热点缓存到内存中，来提升效率。对于某个区块高度之前（某个时间戳之前）的历史数据称为冷数据，冷数据可以归档转移到成本更低，容量更大的网络存储中。同时对冷数据可以通过去中心化文件存储(如IPFS InterPlanetary File System 星际文件系统 )进行共享，使得多个节点共用一套存储服务。如果热数据与冷数据比例为1:9，并且块存储和文件存储成本为3:1，那么用了归档，可以把90%的旧区块，归档到成本只有33%的文件存储中。从而节省60%的存储成本。在PB级场景中，一年节省600万以上的成本。
性能安全并进
泓面向大数据量采用多种方式提升数据处理性能及安全性，持续释放大数据价值。
1.两阶段提交，并行处理提升性能
存储模块不是一个独立运行的系统，需要和长安链共识模块、核心模块、虚拟机模块等配合，以组成一个完整的区块链系统。泓与长安链共识模块、核心模块、虚拟机模块等充分适配，在长安链共识产生新区块的过程中，存储模块采用“两阶段提交”，并行处理提升性能。
2.先写缓存后异步写入分布式数据库
为了提升写入区块的性能，同时保证读到已提交数据的事务隔离级别，长安链采用先写缓存后异步写入分布式数据库的模式。当一个新区块对应的数据需要写入数据库时，系统将数据写入内存中的缓存区域，并开启一个后台线程，按顺序将缓存区域数据写入数据库，此时系统便可正常返回，从而达到快速写和支持读已提交数据的要求。
3.交易ID过滤器，加速交易防重检查
提升交易查重性能方面，泓提供了3个过滤系统来实现交易查重，用户可以基于自己的场景自定义选配是否开启，配合使用会极大的提高交易防重检查的效率。
4.透明数据加密，保障存储安全
为了增强区块链落盘后的数据安全，应对硬盘被盗、黑客入侵系统或内部IT人员违规操作等情形，长安链提供了透明数据加密特性。该特性可以基于硬件密码机也可以基于软件加解密，区块链数据在落盘时自动加密，在读取数据时自动解密，增强了数据安全。
结 语文章来源：https://www.toymoban.com/news/detail-798404.html
泓将在AIot、工业互联网、金融的大数据量的场景下发挥作用，也可以对元宇宙、web3等新技术场景提供支撑。泓包含10余个主要模块，预计将于2022年底正式开源，后续将对主要模块进行介绍。文章来源地址https://www.toymoban.com/news/detail-798404.html
到了这里，关于PB级区块链开源存储引擎“泓”Huge的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
