【大模型应用开发教程】04_大模型开发整体流程 & 基于个人知识库的问答助手 项目流程架构解析

这篇具有很好参考价值的文章主要介绍了【大模型应用开发教程】04_大模型开发整体流程 & 基于个人知识库的问答助手 项目流程架构解析。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

项目仓库地址
项目学习地址

一、大模型开发整体流程

1. 何为大模型开发

定义

开发以LLM为功能核心,通过LLM的强大理解能力和生成能力,结合特殊的数据或业务逻辑来提供独特功能的应用。

核心点

  • 通过调用 API 或开源模型来实现核心的理解与生成
  • 通过 Prompt Enginnering 来实现大语言模型的控制

在大模型开发中,我们一般不会去大幅度改动模型,而是将大模型作为一个调用工具。通过 Prompt Engineering、数据工程、业务逻辑分解等手段来充分发挥大模型能力,适配应用任务,而不会将精力聚焦在优化模型本身上。这因此,作为大模型开发的初学者,我们并不需要深研大模型内部原理,而更需要掌握使用大模型的实践技巧

【大模型应用开发教程】04_大模型开发整体流程 & 基于个人知识库的问答助手 项目流程架构解析,大模型应用开发教程,奇想星球,AIGC共创社区平台,大模型应用开发教程,奇想星球,AIGC共创社区平台,架构,项目解析

核心能力

指令理解与文本生成,提供了复杂业务逻辑的简单平替方案。

传统 AI 大模型开发
开发 将复杂业务逻辑拆解,对于每一个子业务构造训练数据与验证数据,训练优化模型,形成完整的模型链路来解决整个业务逻辑。 用 Prompt Engineering 来替代子模型的训练调优。通过 Prompt 链路组合来实现业务逻辑,用一个通用大模型 + 若干业务 Prompt 来解决任务
评估思路 训练集上训练、测试集调优、验证集验证 初始化验证集Prompt、收集BadCase、迭代优化Prompt

2. 大模型开发的整体流程

【大模型应用开发教程】04_大模型开发整体流程 & 基于个人知识库的问答助手 项目流程架构解析,大模型应用开发教程,奇想星球,AIGC共创社区平台,大模型应用开发教程,奇想星球,AIGC共创社区平台,架构,项目解析

1. 设计

  • 确定目标:在进行开发前,我们首先需要确定开发的目标,即要开发的应用的应用场景、目标人群、核心价值。对于个体开发者或小型开发团队而言,一般应先设定最小化目标,从构建一个 mvp(最小可行性产品)开始,逐步进行完善和优化。

  • 设计功能:在确定开发目标后,需要设计本应用所要提供的功能,以及每一个功能的大体实现逻辑。虽然我们通过使用大模型来简化了业务逻辑的拆解,但是越清晰、深入的业务逻辑理解往往也能带来更好的 Prompt 效果。同样,对于个体开发者或小型开发团队来说,首先要确定应用的核心功能,然后延展设计核心功能的上下游功能;例如,我们想打造一款个人知识库助手,那么核心功能就是结合个人知识库内容进行问题的回答,那么其上游功能的用户上传知识库、下游功能的用户手动纠正模型回答就是我们也必须要设计实现的子功能。

2. 架构搭建

  • 搭建整体架构:目前,绝大部分大模型应用都是采用的特定数据库+ Prompt + 通用大模型的架构。我们需要针对我们所设计的功能,搭建项目的整体架构,实现从用户输入到应用输出的全流程贯通。一般来说,我们推荐基于 LangChain 框架进行开发。LangChain 提供了 Chain、Tool 等架构的实现,我们可以基于 LangChain 进行个性化定制,实现从用户输入到数据库再到大模型最后输出的整体架构连接。

  • 搭建数据库:个性化大模型应用需要有个性化数据库进行支撑。由于大模型应用需要进行向量语义检索,一般使用诸如 chroma 的向量数据库。在该步骤中,我们需要收集数据并进行预处理,再向量化存储到数据库中。数据预处理一般包括从多种格式向纯文本的转化,例如 pdf、markdown、html、音视频等,以及对错误数据、异常数据、脏数据进行清洗。完成预处理后,需要进行切片、向量化构建出个性化数据库。

3. Prompt Engineering

  • Prompt Engineering:优质的 Prompt 对大模型能力具有极大影响,我们需要逐步迭代构建优质的 Prompt Engineering 来提升应用性能。在该步中,我们首先应该明确 Prompt 设计的一般原则及技巧,构建出一个来源于实际业务的小型验证集,基于小型验证集设计满足基本要求、具备基本能力的 Prompt。

4. 验证迭代

  • 验证迭代:验证迭代在大模型开发中是极其重要的一步,一般指通过不断发现 Bad Case 并针对性改进 Prompt Engineering 来提升系统效果、应对边界情况。在完成上一步的初始化 Prompt 设计后,我们应该进行实际业务测试,探讨边界情况,找到 Bad Case,并针对性分析 Prompt 存在的问题,从而不断迭代优化,直到达到一个较为稳定、可以基本实现目标的 Prompt 版本。

  • 体验优化:在完成前后端搭建之后,应用就可以上线体验了。接下来就需要进行长期的用户体验跟踪,记录 Bad Case 与用户负反馈,再针对性进行优化即可。

5. 前后端搭建

  • 前后端搭建:完成 Prompt Engineering 及其迭代优化之后,我们就完成了应用的核心功能,可以充分发挥大语言模型的强大能力。接下来我们需要搭建前后端,设计产品页面,让我们的应用能够上线成为产品。前后端开发是非常经典且成熟的领域,此处就不再赘述,我们将主要介绍两种快速开发 Demo 的框架:Gradio 和 Streamlit,可以帮助个体开发者迅速搭建可视化页面实现 Demo 上线。

二、项目流程简析

以下我们将结合本实践项目与上文的整体流程介绍,简要分析本项目开发流程如下:

步骤一:项目规划与需求分析

1.项目目标

基于个人知识库的问答助手

2.核心功能
  1. 上传文档、创建知识库;
  2. 选择知识库,检索用户提问的知识片段;
  3. 提供知识片段与提问,获取大模型回答;
  4. 流式回复;
  5. 历史对话记录
3.确定技术架构和工具
  1. LangChain框架
  2. Chroma知识库
  3. 大模型使用 GPT、Claude、科大讯飞的星火大模型、文心一言、Chat-GLM2等
  4. 前后端使用 Gradio 和 Streamlit。

步骤二:数据准备与向量知识库构建

本项目实现原理如下图所示(图片来源),过程包括:

  1. 加载本地文档
  2. 读取文本
  3. 文本分割
  4. 文本向量化
  5. Query 向量化
  6. 向量匹配,最相似的 top k个
  7. 匹配出的文本作为上下文和问题一起添加到 prompt中
  8. 提交给 LLM做生成回答

【大模型应用开发教程】04_大模型开发整体流程 & 基于个人知识库的问答助手 项目流程架构解析,大模型应用开发教程,奇想星球,AIGC共创社区平台,大模型应用开发教程,奇想星球,AIGC共创社区平台,架构,项目解析

1. 收集和整理用户提供的文档。

用户常用文档格式有 pdf、txt、doc 等,首先使用工具读取文本,通常使用 langchain 的文档加载器模块可以方便的将用户提供的文档加载进来,也可以使用一些 python 比较成熟的包进行读取。

由于目前大模型使用 token 限制,我们需要对读取的文本进行切分,将较长的文本切分为较小的文本,这时一段文本就是一个单位的知识。

2. 将文档词向量化

使用文本嵌入(Embeddings)对分割后的文档进行向量化,使语义相似的文本片段具有接近的向量表示。然后,存入向量数据库,这个流程正是创建索引(index)的过程。

向量数据库对各文档片段进行索引,支持快速检索。这样,当用户提出问题时,可以先将问题转换为向量,在数据库中快速找到语义最相关的文档片段。然后将这些文档片段与问题一起传递给语言模型,生成回答。

3. 将向量化后的文档导入Chroma知识库,建立知识库索引。

Langchain集成了超过30个不同的向量存储库。我们选择 Chroma 向量库是因为它轻量级且数据存储在内存中,这使得它非常容易启动和开始使用。

将用户知识库内容经过 embedding 存入向量知识库,然后用户每一次提问也会经过 embedding,利用向量相关性算法(例如余弦算法)找到最匹配的几个知识库片段,将这些知识库片段作为上下文,与用户问题一起作为 prompt 提交给 LLM 回答。

步骤三:大模型集成与API连接

  1. 集成GPT、Claude、星火、文心、GLM等大模型,配置API连接。
  2. 编写代码,实现与大模型API的交互,以便获取问题答案。

步骤四:核心功能实现

  1. 构建 Prompt Engineering,实现大模型回答功能,根据用户提问和知识库内容生成回答。
  2. 实现流式回复,允许用户进行多轮对话。
  3. 添加历史对话记录功能,保存用户与助手的交互历史。

步骤五:核心功能迭代优化

  1. 进行验证评估,收集 Bad Case。
  2. 根据 Bad Case 迭代优化核心功能实现。

步骤六:前端与用户交互界面开发

  1. 使用 Gradio 和 Streamlit 搭建前端界面。
  2. 实现用户上传文档、创建知识库的功能。
  3. 设计用户界面,包括问题输入、知识库选择、历史记录展示等。

步骤七:部署测试与上线

  1. 部署问答助手到服务器或云平台,确保可在互联网上访问。
  2. 进行生产环境测试,确保系统稳定。
  3. 上线并向用户发布。

步骤八:维护与持续改进

  1. 监测系统性能和用户反馈,及时处理问题。
  2. 定期更新知识库,添加新的文档和信息。
  3. 收集用户需求,进行系统改进和功能扩展。

整个流程将确保项目从规划、开发、测试到上线和维护都能够顺利进行,为用户提供高质量的基于个人知识库的问答助手。

三、项目架构简析

1. 整体架构

经过上文分析,本项目为搭建一个基于大模型的个人知识库助手,基于 LangChain 框架搭建,核心技术包括 LLM API 调用、向量数据库、检索问答链等。项目整体架构如下:

【大模型应用开发教程】04_大模型开发整体流程 & 基于个人知识库的问答助手 项目流程架构解析,大模型应用开发教程,奇想星球,AIGC共创社区平台,大模型应用开发教程,奇想星球,AIGC共创社区平台,架构,项目解析

如上,本项目从底向上依次分为 LLM 层、数据层、数据库层、应用层与服务层

  • LLM 层:主要基于四种流行 LLM API 进行了 LLM 调用封装,支持用户以统一的入口、方式来访问不同的模型,支持随时进行模型的切换;
  • 数据层:主要包括个人知识库的源数据以及 Embedding API,源数据经过 Embedding 处理可以被向量数据库使用;
  • 数据库层:主要为基于个人知识库源数据搭建的向量数据库,在本项目中我们选择了 Chroma;
  • 应用层:为核心功能的最顶层封装,我们基于 LangChain 提供的检索问答链基类进行了进一步封装,从而支持不同模型切换以及便捷实现基于数据库的检索问答;
  • 服务层:分别实现了 Gradio 搭建 Demo 与 FastAPI 组建 API 两种方式来支持本项目的服务访问。

2. 代码结构

本项目的完整代码存放于 project 目录下,实现了项目的全部功能及封装,代码结构如下:

​ -project
​ -readme.md 项目说明
​ -llm LLM调用封装
​ -self_llm.py 自定义 LLM 基类
​ -wenxin_llm.py 自定义百度文心 LLM
​ -spark_llm.py 自定义讯飞星火 LLM
​ -zhipu_llm.py 自定义智谱 LLM
​ -call_llm.py 将各个 LLM 的原生接口封装在一起
​ -embedding embedding调用封装
​ -zhipu_embedding.py 自定义智谱embedding
​ -data 源数据路径
​ -database 数据库层封装
​ -create_db.py 处理源数据及初始化数据库封装
​ -chain 应用层封装
​ -qa_chain.py 封装检索问答链,返回一个检索问答链对象
​ -chat_qa_chian.py:封装对话检索链,返回一个对话检索链对象
​ -prompt_template.py 存放多个版本的 Template
​ -serve 服务层封装
​ -run_gradio.py 启动 Gradio 界面
​ -api.py 封装 FastAPI
​ -run_api.sh 启动 API

3. 项目逻辑

  1. 用户:可以通过run_gradio或者run_api启动整个服务;
  2. 服务层调用qa_chain.pychat_qa_chain实例化对话检索链对象,实现全部核心功能;
  3. 服务层和应用层都可以调用、切换prompt_template.py中的 prompt 模板来实现 prompt 的迭代;
  4. 也可以直接调用call_llm中的get_completion函数来实现不使用数据库的 LLM;
  5. 应用层调用已存在的数据库和 llm 中的自定义 LLM 来构建检索链;
  6. 如果数据库不存在,应用层调用create_db.py创建数据库,该脚本可以使用 openai embedding 也可以使用embedding.py中的自定义 embedding。

4. 各层简析

4.1 LLM 层

LLM 层主要功能为:将国内外四种知名 LLM API(OpenAI-ChatGPT、百度文心、讯飞星火、智谱GLM)进行封装,隐藏不同 API 的调用差异,实现在同一个对象或函数中通过不同的 model 参数来使用不同来源的 LLM。

在 LLM 层,我们首先构建了一个 Self_LLM 基类,基类定义了所有 API 的一些共同参数(如 API_Key,temperature 等);然后我们在该基类基础上继承实现了上述四种 LLM API 的自定义 LLM。同时,我们也将四种 LLM 的原生 API 封装在了统一的 get_completion 函数中。

在上一章,我们已详细介绍了每一种 LLM 的调用方式、封装方式,项目代码中的 LLM 层封装就是上一章讲解的代码实践。

4.2 数据层

数据层主要包括:个人知识库的源数据(包括 pdf、txt、md 等)和 Embedding 对象。源数据需要经过 Embedding 处理才能进入向量数据库,我们在数据层自定义了智谱提供的 Embedding API 的封装,支持上层以统一方式调用智谱 Embedding 或 OpenAI Embedding。

在上一章,我们也已详细介绍了 Embdding API 的调用及封装方式。

4.3 数据库层

数据库层主要:存放了向量数据库文件。同时,我们在该层实现了源数据处理、创建向量数据库的方法。

我们将在第四章详细介绍向量数据库、源数据处理方法以及构建向量数据库的具体实现。

4.4 应用层

应用层:封装了整个项目的全部核心功能。我们基于 LangChain 提供的检索问答链,在 LLM 层、数据库层的基础上,实现了本项目检索问答链的封装。自定义的检索问答链除具备基本的检索问答功能外,也支持通过 model 参数来灵活切换使用的 LLM。我们实现了两个检索问答链,分别是有历史记录的 Chat_QA_Chain 和没有历史记录的 QA_Chain。

我们将在第五章讲解 Prompt 的构造与检索问答链的构建细节。

4.5 服务层

服务层主要是:基于应用层的核心功能封装,实现了 Demo 的搭建或 API 的封装。在本项目中,我们分别实现了通过 Gradio 搭建前端界面与 FastAPI 进行封装,支持多样化的项目调用。

我们将在第六章详细介绍如何使用 Gradio 以及 FastAPI 来实现服务层的设计。文章来源地址https://www.toymoban.com/news/detail-745521.html

到了这里,关于【大模型应用开发教程】04_大模型开发整体流程 & 基于个人知识库的问答助手 项目流程架构解析的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • HoloLens 2 应用开发流程笔记

    本文链接:微信推文阅读效果更佳 笔者在 2020 年首次接触到 HoloLens 2 应用的开发,直到 2021 年开发出一个简单的 AR 程序,并作为一个会议论文的演示部分,着实为论文的成功接收立下了汗马功劳。若干年后的今天需要对会议论文进行扩刊,然而再次想要设计一个新的 HoloLe

    2024年02月03日
    浏览(45)
  • 详细教程 - 从零开发 Vue 鸿蒙harmonyOS应用 第五节 (基于uni-app封装鸿蒙接口请求库)

      随着鸿蒙系统的兴起,越来越多的app会采用鸿蒙开发。而鸿蒙开发必不可少的就是调用各种接口服务。为了简化接口的调用流程,我们通常会做一层封装。今天就来讲解一下,如何用uni-app封装鸿蒙的接口请求库。   首先我们要新建一个鸿蒙项目啦!当然选择第一个空白项

    2024年02月02日
    浏览(63)
  • 开发GPT的应用程序流程

    开发一个基于GPT的应用程序(GPT APP)涉及到与GPT模型的集成,用户界面设计,以及应用程序的功能实现。以下是一个一般的开发流程,希望对大家有所帮助。北京木奇移动技术有限公司,专业的软件外包开发公司,欢迎交流合作。 明确目标和用例: 定义您的GPT应用的目标和

    2024年01月19日
    浏览(44)
  • 开发一款APP应用的详细流程

    APP开发的流程并不复杂,接下来就带大家一起看一下一套完整的APP开发流程包含哪些步骤。 一、基本功能需求阶段 01、前期功能需求讨论 在开发前,需要产品经理跟客户充分沟通,首先要了解客户开发的 APP类型、平台、功能以及产品设计的需求、时长、预算等等。 可以先做

    2024年02月09日
    浏览(39)
  • Rabbitmq入门与应用(三)-RabbitMQ开发流程

    引入依赖 配置MQ 最简配置 创建队列 在配置类中创建队列对象。 生产者 private RabbitTemplate rabbitTemplate; //rabbitmq操作对象 convertAndSend : 发送方法 消费者 @RabbitListener(queues = “要监听的队列名称”) @RabbitHandler //要使用RabbitMQ处理的方法

    2024年02月21日
    浏览(39)
  • Electron桌面应用开发:从入门到发布全流程解析

    Electron是一个开源的桌面应用程序开发框架,它允许开发者使用Web技术(HTML、CSS和JavaScript)来创建跨平台的桌面应用程序。在本文中,我们将深入探讨Electron桌面应用程序开发的全流程,从入门到发布。 安装和配置Electron 首先,我们需要安装Node.js和npm(Node Package Manager)。安

    2024年04月29日
    浏览(41)
  • 鸿蒙HarmonyOS应用开发之使用Node-API实现跨语言交互开发流程

    使用Node-API实现跨语言交互,首先需要按照Node-API的机制实现模块的注册和加载等相关动作。 ArkTS/JS侧 :实现C++方法的调用。代码比较简单,import一个对应的so库后,即可调用C++方法。 Native侧 :.cpp文件,实现模块的注册。需要提供注册lib库的名称,并在注册回调方法中定义接

    2024年04月26日
    浏览(47)
  • 安卓移动应用开发课程设计(图书借阅系统)代码+使用流程介绍文档

    目录 第1章 概述 1 1.1 开发背景 1 1.2 开发目标 1 1.3 设计原则 1 第2章 需求分析 1 2.1 项目定义 2 2.2 需求陈述 2 2.3 不同角色用例 2 第3章 可行性分析 3 3.1 经济可行性分析 3 3.2 技术可行性分析 3 3.3 法律可行性分析 4 3.4 操作可行性分析 4 第4章 总体设计 4 4.1 设计思路 4 4.2 设计意义

    2024年02月06日
    浏览(71)
  • NFT交易系统平台开发流程解析 探索元宇宙应用场景

    元宇宙是近年来爆火的词语,也是互联网从web2.0时代向web3.0时代跨越的体现。 怎么理解元宇宙? 元宇宙是指虚拟世界,包括虚拟人物、虚拟IP、虚拟场景、虚拟消费......是伴随区块链、人工智能、虚拟现实技术发展下,区别于现实世界的产物。 当下,元宇宙深受品牌营销和

    2023年04月08日
    浏览(51)
  • TiDB Serverless Branching:通过数据库分支简化应用开发流程

    2023 年 7 月 10 日,TiDB Serverless 正式商用。这是一个完全托管的数据库服务平台(DBaaS),提供灵活的集群配置和基于用量的付费模式。紧随其后,TiDB Serverless Branching 的测试版也发布了。 TiDB Serverless Branching 功能使用户能够为其 TiDB Serverless 集群创建分支。这些分支可以实现并

    2024年02月10日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包