【案例】--非结构化数据中台案例

10月前作者：DreamBoy_W.W.Y 分类：Toy博客阅读(59) 违法举报

这篇具有很好参考价值的文章主要介绍了【案例】--非结构化数据中台案例。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、前言

最近接触一个平台架构的讨论，公司需要一个非结构化数据中台，理念是能够满足存储随时变换的非结构化数据，另外引入低代码思想。由于非结构化数据是未知的，不同业务的数据是不同，为了更好的使用，低代码就需要一种方案，在尽量不开发代码下满足相关需求变化，快速迭代上线。

1、思考

由于项目场景接触的都是非结构化数据，为了更好/更智能的管理，非结构化数据中台应该如何设计？
首先，非结构化数据信息的存储可以利用mongodb。
最基本的文件业务要满足增删改查。
“增”：一个文件add，首先怎么的数据结构去映射得到相应的字段信息，非结构化数据的特点是不确定性，不同文件需要解析映射的字段是变化的，很难一套具体的字段满足条件。
“查”：搜索引擎方式查询是最常见的，由于非结构化数据字段不确定性，搜索的查询方式条件去定位具体字段查询，往往代码实现难度大。基于低代码理念和非结构化数据，要有更灵活的方案来优化提升“查”功能。
文件如何便捷化管理。
所谓的便捷化管理，能够更快更多的知道一个文件(如pdf、office等)的相关信息，且方便一些业务操作等等。【“(非结构化)文件管文章来源地址https://www.toymoban.com/news/detail-498621.html

到了这里，关于【案例】--非结构化数据中台案例的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

一种使得大模型输出结构化数据的简易方法

最近在用大模型跑一些数据，于是就不可避免的遇到了如何让大模型输出的格式便于处理这个问题。经过一些研究发现了一套比较有用的方法，在这里总结一下。任务是这样的，我需要用大模型（比如ChatGPT，ChatGLM等等）对文本进行名词提取。输入一段文本，我需要大模型理

2024年02月16日
浏览(41)
13.JavaWeb & XML：构建结构化数据的重要工具

目录导语：一、XML概念（1）可拓展（2）功能-存储数据（3）xml与html的区别二、XML内容三、XML用途四、案例：使用XML构建在线书店的书籍数据库结语：在当今的信息时代，数据结构化和管理成为了一个重要课题。XML（eXtensible Markup Language，可扩展标记语言）作为一

2024年04月09日
浏览(50)
StarRocks 生成列：百倍提速半结构化数据分析

半结构化分析主要是指对 MAP，STRUCT，JSON，ARRAY 等复杂数据类型的查询分析。这些数据类型表达能力强，因此被广泛应用到 OLAP 分析的各种场景中，但由于其实现的复杂性，对这些复杂类型分析将会比一般简单类型要更困难和耗时，例如：需要对 MAP，STRUCT，JSON 等数据类型中

2024年01月22日
浏览(61)
用ChatGPT解读非结构化数据【ChatGPT + SQL】

许多现代数据系统都依赖于结构化数据，例如 Postgres DB 或 Snowflake 数据仓库。 LlamaIndex 提供了许多由 LLM 提供支持的高级功能，既可以从非结构化数据创建结构化数据，也可以通过增强的文本到 SQL 功能分析这些结构化数据。本指南有助于逐步了解这些功能中的每一项。具体

2023年04月21日
浏览(37)
Verilog的三种描述方式（结构化描述、数据流描述、行为级描述对电路功能的描述有三种方式：结构化描述、数据流描述、行为级描述

Verilog的三种描述方式（结构化描述、数据流描述、行为级描述对电路功能的描述有三种方式：结构化描述、数据流描述、行为级描述。三种描述方式抽象级别不同，各有优缺点，相辅相成，需要配合使用。目录一、结构化描述 1、概念 2、特点 3、示例真值表：电路抽象：

2024年02月04日
浏览(67)
ModaHub魔搭社区：非结构化数据范式转变和示例

目录范式转变——非结构化数据非结构化数据示例既然我们对结构化数据和半结构化数据有了清晰的理解，现在让我们开始谈谈非结构化数据。与结构化数据和半结构化数据不同，非结构化数据可以采取任何形式，可以有任意大小或尺寸，并需要大量的运行时间来转换和索

2024年02月13日
浏览(40)
通过Siri打造智能爬虫助手：捕获与解析结构化数据

在信息时代，我们经常需要从互联网上获取大量的结构化数据。然而，传统的网络爬虫往往需要编写复杂代码和规则来实现数据采集和解析。如今，在苹果公司提供的语音助手Siri中有一个强大功能可以帮助我们轻松完成这项任务——通过使用自定义指令、意图扩展以及快捷方

2024年02月09日
浏览(52)
系统架构设计专业技能 ·结构化需求分析 - 数据流图

现在的一切都是为将来的梦想编织翅膀，让梦想在现实中展翅高飞。 Now everything is for the future of dream weaving wings, let the dream fly in reality. 点击进入系列文章目录实体实体可能是： (1)人物角色：如客户、管理员、主管、经理、老师、学生 (2)组织机构：如银行、供应商、募捐机

2024年02月09日
浏览(53)
自然语言处理 Paddle NLP - 结构化数据问答-理论

基础自然语言处理（NLP）自然语言处理PaddleNLP-词向量应用展示自然语言处理（NLP）-前预训练时代的自监督学习自然语言处理PaddleNLP-预训练语言模型及应用自然语言处理PaddleNLP-文本语义相似度计算（ERNIE-Gram）自然语言处理PaddleNLP-词法分析技术及其应用自然语言处理Pa

2024年02月11日
浏览(62)
三、计算机理论-关系数据库-结构化查询语言SQL

SQL 概述是一种介于关系代数与关系演算之间的语言，现成为关系数据库的标准语言特点：综合统一、高度非过程化、面向集合的操作方式、以同一种语法结构提供两种使用方式（直接使用或者嵌入高级语言使用）、语言简洁，易学易用。四大功能如下： SQL功能动词数据查

2024年01月24日
浏览(59)