Vanna是麻省理工学院授权的开源Python RAG(检索增强生成)框架,用于SQL生成和相关功能。
Vanna的工作原理
Vanna只需两个简单的步骤——在数据上训练RAG“模型”,然后提出问题,这些问题将返回SQL查询,这些查询可以设置为在数据库上自动运行。
- 根据您的数据训练RAG“模型”。
- 提出问题。
如果你不知道什么是RAG,不要担心——你不需要知道它是如何在引擎盖下使用的。你只需要知道你“训练”了一个模型,它存储了一些元数据,然后用它来“提问”问题。
有关如何在引擎盖下工作的更多详细信息,请参见基类。
用户接口
这些是我们使用Vanna构建的一些用户界面。您可以按原样使用这些,也可以将其作为自己自定义界面的起点。
Jupyter Notebook
vanna-ai/vanna-streamlit
vanna-ai/vanna-flask
vanna-ai/vanna-slack
开始
有关所需数据库、LLM等的详细信息,请参阅文档。
如果您想在训练后感受一下它的工作原理,可以尝试这款 Colab 笔记本。
安装
pip install vanna
import
import vanna as vn
训练
您可能需要也可能不需要运行这些 vn.train 命令,具体取决于您的用例。请参阅文档了解更多详细信息。这些陈述可以让您了解它是如何工作的。
使用DDL语句进行训练
DDL 语句包含有关数据库中的表名、列、数据类型和关系的信息。
vn.train(ddl="""
CREATE TABLE IF NOT EXISTS my-table (
id INT PRIMARY KEY,
name VARCHAR(100),
age INT
)
""")
使用文档进行训练
有时您可能想要添加有关业务术语或定义的文档。vn.train(documentation="Our business defines XYZ as ...")
使用 SQL 进行训练
您还可以将SQL查询添加到训练数据中。如果您已经有一些查询,这将非常有用。您只需从编辑器中复制并粘贴这些内容即可开始生成新的SQL。vn.train(sql="SELECT name, age FROM my-table WHERE name = 'John Doe'")
你会得到 SQL
SELECT c.c_name as customer_name,
sum(l.l_extendedprice * (1 - l.l_discount)) as total_sales
FROM snowflake_sample_data.tpch_sf1.lineitem l join snowflake_sample_data.tpch_sf1.orders o
ON l.l_orderkey = o.o_orderkey join snowflake_sample_data.tpch_sf1.customer c
ON o.o_custkey = c.c_custkey
GROUP BY customer_name
ORDER BY total_sales desc limit 10;
如果您已连接到数据库,您将获得该表:
顾客姓名 | 总销售额 |
---|---|
Customer#000143500 | 6757566.0218 |
Customer#000095257 | 6294115.3340 |
Customer#000087115 | 6184649.5176 |
Customer#000131113 | 6080943.8305 |
Customer#000134380 | 6075141.9635 |
Customer#000103834 | 6059770.3232 |
Customer#000069682 | 6057779.0348 |
Customer#000102022 | 6039653.6335 |
Customer#000098587 | 6027021.5855 |
Customer#000064660 | 5905659.6159 |
您还将获得一个自动绘图:
RAG 与微调
RAG 检索增强生成技术
· 可跨LLM移植
· 如果培训数据中的任何一个已过时,则可以轻松删除这些数据
· 运行起来比微调便宜得多
· 更经得起未来考验——如果有更好的LLM问世,你可以把它换掉
FT 微调
· 如果您需要在提示中最小化令牌,这很好
· 起步缓慢
· 训练和运行费用高昂(通常)
为什么是Vanna?
- 在复杂数据集上具有高精度。
· Vanna的能力与您提供的训练数据息息相关
· 更多的训练数据意味着大型复杂数据集的准确性更高 - 安全且私密。
· 您的数据库内容永远不会发送到LLM或矢量数据库
· SQL执行发生在您的本地环境中 - 自学。
· 如果通过Jupyter使用,您可以选择在成功执行的查询上“自动训练”它
· 如果通过其他界面使用,则可以让界面提示用户提供对结果的反馈
· 存储正确的问题到SQL对以供将来参考,并使将来的结果更加准确 - 支持任何SQL数据库。
· 该包允许您连接到任何SQL数据库,否则您可以使用Python连接到这些数据库 - 选择你的前端。
· 大多数人从Jupyter笔记本开始。
· 通过Slackbot、web应用程序、Streamlight应用程序或自定义前端向您的最终用户展示。
扩展Vanna
Vanna设计用于连接任何数据库、LLM和矢量数据库。有一个VannaBase抽象基类定义了一些基本功能。该包提供了与OpenAI和ChromaDB一起使用的实现。您可以很容易地扩展Vanna以使用您自己的LLM或矢量数据库。有关更多详细信息,请参阅文档。文章来源:https://www.toymoban.com/news/detail-794191.html
参考文献
https://vanna.ai/docs/ vanna.ai
https://vanna.ai/ Let Vanna.AI write your SQL for you
https://github.com/vanna-ai/vanna 代码仓库文章来源地址https://www.toymoban.com/news/detail-794191.html
到了这里,关于#RAG##AIGC#开源 VannaSQL生成框架,与您的数据库聊天的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!