引言
在当前人工智能革命的推动下,图形比以往任何时候都更加重要和有用。工程师们正在思考与Gen-AI相关的机遇,利用开放的Gen-AI解决方案,如动态提示、数据基础和掩码,从而进一步思考知识图谱等有效解决方案。
例如工程师张三正在解决一个数据基础问题,并考虑为工作中的个性化产品推荐AI解决方案构建它们的知识图谱,并开始思考以下问题:
如何构建这些图谱?
在哪里存储它们?
如何与来自不同数据库、数据仓库和数据湖的大量数据集成?
张三的关切似乎非常合理。如果他现在必须编写应用程序逻辑来生成图形,并连接到新的图数据库以存储它们,这将带来一系列挑战,如集成、安全性、成本、可靠性和技术学习等。
然而,张三可以通过简单而强大的原生图分析引擎应用来克服这些麻烦的问题。
是的,今天可以在现有数据上实现图查询,而无需物化图形或使用图数据库。
你是否想知道如何在现有的数据库、数据仓库和数据湖中原生地实现图分析和图查询呢?让我们偷窥一下。
图与图分析
在软件工程中,图是用于建模和表示实体之间关系的数据结构。它们由节点(vertices)和关系(edges)组成,这些节点和关系相互连接,可以是有向或无向的、加权或非加权的。
图分析是一种强大的新兴数据分析形式,用于分析基于图的数据,帮助企业理解各种数据实体之间的复杂关系。它有助于理解、可视化并从复杂关系中获得有意义的见解。
图分析与传统SQL分析的比较
图分析 | 传统SQL分析 | |
---|---|---|
性能 | 更高的性能 | 较低的性能 |
灵活性 | 更加灵活和可扩展 | 相对较少的灵活性和可扩展性 |
可扩展性 | 更容易处理大型图数据集 | 处理大型数据集相对困难 |
关系导向性 | 通过关系导向的查询更好地理解数据实体之间的复杂关系 | 通过表查询来理解数据实体之间的关系 |
智能分析 | 对于智能和AI分析更具相关性 | 不太适用于智能和AI分析 |
从上表可以看出,图分析在智能和AI分析方面的效果更好,具有更高的性能、灵活性、可扩展性和关系导向性。
如何实现图分析
目前,大多数企业为了利用图分析而生成图形并将其存储在图数据库中。Neo4j、TigerGraph、Amazon Neptune和OrientDB是业界广泛采用的图数据库。
然而,原生图分析引擎是一种新的范式,可以直接在现有的关系型/SQL数据上实现图查询和可视化,无需使用图数据库,并且仍然可以利用图分析和传统分析方法带来的所有优势。
这似乎是一个非常强大的工具,具有许多与图分析相关的机会,可以完全抛弃冗余的图数据库,并转向这种新的原生图分析范式。
从流程中删除图形数据库
最终用户流程图
通过移除流程中的图数据库,我们可以同时实现以下三个目标:
零ETL:无需复制、迁移或ETL数据,即可构建和存储图形。也不需要从一个数据湖复制基本关系数据到另一个数据湖。你可以在运行时进行实时查询的虚拟层。
不需要新的图数据库:无需物化和存储图格式的数据,可以在运行时实时执行。无需引入新的图数据库,也无需担心集成、成本和安全限制。
高性能:同时实现图查询对关系型数据的所有性能优势。
业界正在迅速跟进这种新方法,已经有一些相关的参与者。
开源开发库
Apache Spark GraphX:GraphX是Spark的一个新组件,用于图形和图并行计算,包含了越来越多的图算法和构建器,以简化图分析任务。
Apache Flink Gelly:Gelly是Apache Flink的图处理API和库。Flink对迭代的本地支持使其成为大规模图分析的适当平台。
提供原生支持的现成产品/引擎
PuppyGraph:使用PuppyGraph,你可以在仓库、数据湖和数据湖屋中以无缝的无ETL集成的方式进行图查询。支持以下开放表格式:
还支持以下数据库的关系型数据:
MySQL
PostgreSQL
Apache Iceberg
Apache Hudi
Apache Hive
Delta Lake
Timbr.ai:Timbr的语义图平台是一个SQL原生知识图,可以将你的数据库转换为推理机,因此我们可以在数据上应用优化的图形,如SQL查询。它支持与符合SQL / ANSI SQL标准或可通过SQL查询的任何关系型数据库的完全后端集成。连接可以通过JDBC或ODBC连接器建立,无需ETL。
支持的关系型数据库:MySQL、MariaDb、SqlServer、PostgreSQL、SAP Hana、Aurora Oracle
支持的NoSQL数据库:MongoDB
支持的数据湖:S3、GCS、Microsoft ADLS
支持的数据仓库:RedShift、BigQuery、Snowflake、Databricks、Synapse、Athena
支持的引擎:Apache Spark、Presto、Trino文章来源:https://www.toymoban.com/diary/system/651.html
支持的数据格式:Parquet/JSON/CSV文章来源地址https://www.toymoban.com/diary/system/651.html
到此这篇关于无需图数据库的知识图谱和分析,为Gen-AI提供解决方案的文章就介绍到这了,更多相关内容可以在右上角搜索或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!