使用PAI-DSW搭建基于LangChain的检索知识库问答机器人

这篇具有很好参考价值的文章主要介绍了使用PAI-DSW搭建基于LangChain的检索知识库问答机器人。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

教程简述
在本教程中,您将学习如何在阿里云交互式建模(PAI-DSW)中,基于LangChain的检索知识库实现知识问答。旨在建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。
LangChain是一个开源的框架,可以让AI开发人员将像GPT-4这样的大语言模型(LLM)和外部数据结合起来,从而在尽可能少消耗计算资源的情况下,获得更好的性能和效果。本教程启动LangChain WebUI页面,进行春节相关传统文化习俗的知识问答的示例效果如图所示。
 

使用PAI-DSW搭建基于LangChain的检索知识库问答机器人,ai


基于本教程可以体验:
👍新用户可免费领取价值万元的人工智能平台PAI试用资源
👍学会如何快速在阿里云上创建一个交互式训练开发环境。
👍学会如何在DSW中安装LangChain应用以及启动WebUI。
👍学会如何在WebUI中进行知识问答。
答疑交流群
如需技术支持,请在钉钉搜索群号「 52485000325」,加入群聊
使用PAI-DSW搭建基于LangChain的检索知识库问答机器人
1准备环境和资源
1.1 领取交互式建模PAI-DSW免费试用权益
前往活动页面,领取交互式建模PAI-DSW产品免费试用资源包
 

使用PAI-DSW搭建基于LangChain的检索知识库问答机器人,ai


○对于交互式建模 PAI-DSW 的新用户,阿里云提供了5000CU*H 的免费试用资源,可以在活动页面中直接领取(试用规则请参照阿里云免费试用:https://free.aliyun.com/);或可以购买交互式建模 PAI-DSW 资源包参与活动,购买链接:PAI-DSW 100CU*H资源包,价格 59 元起;如不购买资源包,PAI-DSW 会按量进行计费,计费标准详见阿里云产品定价。
1.2 创建PAI-DSW实例(需要补充)
1前往人工智能平台PAI控制台,链接:阿里云登录 - 欢迎登录阿里云,安全稳定的云计算服务平台
2开通人工智能PAI并创建默认工作空间。请参见开通并创建默认工作空间。
3在人工智能平台PAI控制台内,选择交互式建模PAI-DSW,或点击链接
 

使用PAI-DSW搭建基于LangChain的检索知识库问答机器人,ai


4 点击创建实例(如上图)
5自定义输入实例名称
 

使用PAI-DSW搭建基于LangChain的检索知识库问答机器人,ai


6选择机型: 已领取免费试用权益:选择GPU规格分类下的ecs.gn6v-c8g1.2xlarge或ecs.gn7i-c8g1.2xlarge,支持资源包抵扣;此外其他机型需付费;若无库存可选择其他region尝试,或选择付费机型。未领取免费试用:可选择任意A10或V100机型,需自费。
 

使用PAI-DSW搭建基于LangChain的检索知识库问答机器人,ai


7选择镜像:modelscope:1.9.1-pytorch2.0.1tensorflow2.13.0-gpu-py38-cu118-ubuntu20.04
 

使用PAI-DSW搭建基于LangChain的检索知识库问答机器人,ai


8创建实例
实例状态:启动中-资源准备中-环境准备中-运行中。约需3-5分钟,当状态为“运行中”时,实例创建成功。
1.3 在DSW中打开教程文件
1打开最佳实践教程 >> 基于LangChain的检索知识库问答WebUI
2在教程右上角 点击 “在DSW中打开”
 

使用PAI-DSW搭建基于LangChain的检索知识库问答机器人,ai


3选择刚刚创建好的实例
 

使用PAI-DSW搭建基于LangChain的检索知识库问答机器人,ai


1.4运行教程文件
1在打开的教程文件langchain_retrieval_question_answering_webui.ipynb文件中,您可以直接看到教程文本,您可以在教程文件中直接运行对应的步骤的命令,当成功运行结束一个步骤命令后,再顺次运行下个步骤的命令。

使用PAI-DSW搭建基于LangChain的检索知识库问答机器人,ai


2当第3步启动服务运行完成后,在返回的运行详情结果中单击URL链接(http://127.0.0.1:7860),进入WebUI页面。后续,您可以在该页面中进行知识问答。【说明】如果因为网络原因导致打开的WebUI页面显示空白,您可以尝试切换到其他地域或重新运行步骤1中的命令,重新打开WebUI页面。
 

使用PAI-DSW搭建基于LangChain的检索知识库问答机器人,ai


2完成部署开始体验
完成以上操作后,您已经成功完成了LangChain应用的WebUI部署。您可以在WebUI页面进行知识问答。
在LangChain WebUI页面左侧请上传知识库文件区域中,已预先为您配置了知识库文件。您也可以单击请上传知识库文件上传自定义的知识库文件,支持的文件格式为.txt、.md、.docx。在WebUI页面底部请输入问题文本框中,输入业务数据相关的问题,然后单击发送按钮,就可以进行知识问答。
1.删除现有文档,上传春节相关知识库文档

使用PAI-DSW搭建基于LangChain的检索知识库问答机器人,ai


2.知识库文件向量化
 

使用PAI-DSW搭建基于LangChain的检索知识库问答机器人,ai


3.输入问题并发送
 

使用PAI-DSW搭建基于LangChain的检索知识库问答机器人,ai


 

使用PAI-DSW搭建基于LangChain的检索知识库问答机器人,ai


4在「和PAI一起,每周玩转AI」第三期:使用PAI-DSW搭建基于LangChain的检索知识库问答机器人 活动页面,上传您的对话截图,赢取精美好礼!

3资源清理及后续
3.1清理
●在实验完成后,可前往对应产品控制台,停止或删除实例(两个操作均可),避免实例持续处于运行中,在超出免费试用额度后,带来额外的扣费
 

使用PAI-DSW搭建基于LangChain的检索知识库问答机器人,ai


●后续仍考虑使用该实例>>停止;后续不再使用该实例>>删除,成功停止后即停止资源消耗。
3.2后续
在试用有效期期间,您还可以继续使用DSW实例进行模型训练和推理验证。
 文章来源地址https://www.toymoban.com/news/detail-790029.html

到了这里,关于使用PAI-DSW搭建基于LangChain的检索知识库问答机器人的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于 InternLM 和 LangChain 搭建你的知识库

    如何打造垂域大模型是一个重要落地方向。 如何打造个人专属的大模型应用也是重要的问题。 RAG 外挂一个知识库 优势:成本低,实时更新 劣势:能力受基座模型影响大,RAG每次需要将检索文档和问题提交给大模型,极大占用上下文限制。 Finetune 轻量级的微调 优势:可以充

    2024年01月19日
    浏览(44)
  • 【基于 InternLM 和 LangChain 搭建你的知识库】学习笔记

    学习参考文档【基于 InternLM 和 LangChain 搭建你的知识库】 学习参考链接【书生・浦语大模型实战营第三课作业(基础+进阶)】 收集2018年-2020年几年间的优秀数学建模论文 LangChain 相关环境配置 下载 NLTK 相关资源 下载相关仓库 脚本文件 Web Demo部署

    2024年02月01日
    浏览(36)
  • 使用langchain+chatGPT搭建自有知识库问答机器人

            自去年年底OpenAI发布ChatGPT以来,大型语言模型在人工智能领域掀起了一股热潮。随后,各家公司纷纷推出自己的大型语言模型,如百度的文心一言、讯飞的星火大模型等。在这个过程中,文本转图片和文本转视频等相关领域也备受关注。然而,很显然,这只是一时的

    2024年02月13日
    浏览(40)
  • 书生·浦语大模型--第三节课笔记--基于 InternLM 和 LangChain 搭建你的知识库

    LLM的局限性:时效性(最新知识)、专业能力有限(垂直领域)、定制化成本高(个人专属) 两种开发范式: RAG(检索增强生成):外挂知识库,首先匹配知识库文档,交给大模型。优势:成本低,实时更新,不需要训练。但受限于基座模型,知识有限,总结性回答不佳。

    2024年01月18日
    浏览(41)
  • 基于Langchain的txt文本向量库搭建与检索

    这里的源码主要来自于Langchain-ChatGLM中的向量库部分,做了一些代码上的修改和封装,以适用于基于 问题 和 包含数据库表描述的txt文件 (文件名为库表名,文件内容为库表中的字段及描述)对数据库表进行快速检索。 splitter.py myfaiss.py embedder.py Config是用来传参的类,这里略

    2024年02月04日
    浏览(28)
  • 【AI】使用阿里云免费服务器搭建Langchain-Chatchat本地知识库

    书接上文,由于家境贫寒的原因,导致我本地的GPU资源无法满足搭建Langchain-Chatchat本地知识库的需求,具体可以看一下这篇文章,于是我只能另辟蹊径,考虑一下能不能白嫖一下云服务器资源,于是去找网上找,您还别说,还真有,具体的领取方法可以查看我的这篇文章:【

    2024年02月03日
    浏览(68)
  • Langchain使用介绍之 - 基于向量存储进行检索

    Text Embedding Models   如何将一段Document转换成向量存储到向量数据库中,首先需要了解Langchain提供了哪些将文本转换成向量的model,langchian提供了很多将自然语言转换成向量的的模型,如下图所示,除了下图列举的model,更多支持的model可参考官网信息。    这里将以Langchain提供

    2024年02月09日
    浏览(36)
  • Stable Diffusion在阿里云PAI DSW平台实践,送浩浩妈妈二次元

    内容 说明 镜像 stable-diffusion-webui-develop:1.0-pytorch2.0-gpu-py310-cu117-ubuntu22.04 镜像区域 杭州、上海、北京、深圳 环境安装 在DSW Gallery中找到“AI扩图神器,放飞你的想象力”,点击“在DSW中打开”按钮,进入后已提供了额库下载、基础模型下载、webui运行等基础 在WebUI中进入扩展

    2024年04月26日
    浏览(35)
  • LangChain + ChatGLM2-6B 搭建个人专属知识库

    之前教过大家利用 langchain + ChatGLM-6B 实现个人专属知识库,非常简单易上手。最近,智谱 AI 研发团队又推出了 ChatGLM 系列的新模型 ChatGLM2-6B,是开源中英双语对话模型 ChatGLM-6B 的第二代版本,性能更强悍。 树先生之所以现在才更新 ChatGLM2-6B 知识库教程,是想等模型本身再多

    2024年02月16日
    浏览(47)
  • GPT实战系列-简单聊聊LangChain搭建本地知识库准备

    LangChain 是一个开发由语言模型驱动的应用程序的框架,除了和应用程序通过 API 调用, 还会: 数据感知 : 将语言模型连接到其他数据源 具有代理性质 : 允许语言模型与其环境交互 LLM大模型相关文章: GPT实战系列-简单聊聊LangChain GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡

    2024年02月01日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包