2M大小的PDF文档上传到LangChain-ChatGLM知识图谱中,大致需要的时间

9月前作者：小草cys 分类：Toy博客阅读(39) 违法举报

这篇具有很好参考价值的文章主要介绍了2M大小的PDF文档上传到LangChain-ChatGLM知识图谱中,大致需要的时间。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

对于将2M大小的PDF文档上传到LangChain-ChatGLM知识图谱中,大致需要的时间如下:

PDF到文本的提取转换:若PDF内容主要为文本,此步骤约需要1-2分钟。
提取的文本经过预处理与分析:此步骤需要对文本进行分词、命名实体识别等处理,约需要2-5分钟。
抽取文本中的结构化知识(实体、关系等)保存在图数据库中:对于2M文字,此步骤约需要5-10分钟。
知识图与模型串联,使模型能利用新知识进行响应:这一步通常无需手动操作,模型在后台学习新知识,大约需要10-30分钟。

所以对一个普通2M PDF文档来说,整个上传并使LangChain-ChatGLM模型学习吸收新知识的过程,大致需要10-30分钟。

需要注意的时:

文本复杂程度影响预处理时间
服务器性能会影响各个步骤的执行时间
更大文档需要相对更长时间完成解析和学习
模型学习新知识是异步进行的,只是大致时间

总体而言,对一个2M PDF来说,LangChain-ChatGLM可以在半小时内完成知识吸收,这与实际应用需求相匹配。更大文件相应需要更长时间。文章来源地址https://www.toymoban.com/news/detail-719809.html

到了这里，关于2M大小的PDF文档上传到LangChain-ChatGLM知识图谱中,大致需要的时间的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

langchain-ChatGLM源码阅读：模型加载

loader.py shared.py loader.py 在加载模型前先清空显存 loader.py loader.py 的 _load_model 方法 auto_factory.py 的 from_pretrained 方法包路径：site-packages/transformers/models/auto/auto_factory.py 作用：将配置对象的类与模型类或对象建立关联，以便根据配置来获取相应的模型类或对象。这通常用于管理不

2024年02月12日
浏览(38)
langchain-ChatGLM源码阅读：webui.py

使用gradio设置页面的视觉组件和交互逻辑，位于 webui.py 监听到前端的事件后调用的回调函数，负责实现前后端交互。需要注意的一点是，chatbot中显示新的聊天内容并不是在原来的基础上添加，而是从头到尾的重新打印，所以基本上每个函数都要传旧的history和返回新的histor

2024年02月14日
浏览(33)
LangChain-ChatGLM在WIndows10下的部署

1、LangChain + ChatGLM2-6B 搭建个人专属知识库中的LangChain + ChatGLM2-6B 构建知识库这一节：基本的逻辑和步骤是对的，但要根据Windows和现状做很多调整。 2、没有动过model_config.py中的“LORA_MODEL_PATH_BAICHUAN”这一项内容，却报错：对报错“LORA_MODEL_PATH_BAICHUAN”提供了重要解决思路，虽

2024年02月13日
浏览(36)
windows环境下的langchain-ChatGLM的本地部署

首先是项目开源地址 https://github.com/imClumsyPanda/langchain-ChatGLM 下载这个项目的源码非常简单，但运行起来十分麻烦，各种环境的搭配简直是折磨人，尤其是电脑上缺少各种安装环境的，我首先先列举几个，例如conda安装python的虚拟环境，用这个比较方便，还有Anoconda的安装，

2024年02月13日
浏览(45)
CentOS7上部署langchain-chatglm或stable-diffusion可能遇到的Bug的解决方案

进入你的代码目录下下载依赖这里可能有的朋友会有问题会出现某些包下载不了，这里建议直接使用阿里源即可，在确定你的cuda版本之后(使用nvidia-smi确定cuda版本) 命令行执行卸载掉刚才pip安装的版本!!!!因为此处安装的版本还缺少cuda的支持，确定卸载掉之后执行此处X为

2024年02月16日
浏览(38)
开源大模型ChatGLM2-6B 2. 跟着LangChain参考文档搭建LLM+知识库问答系统

租用了1台GPU服务器，系统 ubuntu20，Tesla V100-16GB （GPU服务器已经关机结束租赁了） SSH地址：* 端口：17520 SSH账户：root 密码：Jaere7pa 内网： 3389 ，外网：17518 VNC地址：* 端口：17519 VNC用户名：root 密码：Jaere7pa 硬件需求，ChatGLM-6B和ChatGLM2-6B相当。量化等级最低 GPU 显存 F

2024年02月03日
浏览(51)
【LangChain学习】基于PDF文档构建问答知识库（三）实战整合 LangChain、OpenAI、FAISS等

接下来，我们开始在web框架上整合 LangChain、OpenAI、FAISS等。因为项目是基于PDF文档的，所以需要一些操作PDF的库，我们这边使用的是PyPDF2 传入 pdf 文件路径，返回 pdf 文档的文本内容。首先我们需要将第一步拿到的本文内容拆分，我们使用的是 RecursiveCharacterTextSplitter ，默认

2024年02月13日
浏览(67)
【LangChain学习】基于PDF文档构建问答知识库（一）前期准备

这系列主要介绍如何使用LangChain大模型，结合ChatGPT3.5，基于PDF文档构建专属的问答知识库。 LangChain 和 OpenAI 本身可支持 Nodejs 和 Python 两个版本，笔者后续的介绍主要用到Python版本，如果有需要Nodejs版本的同学，也可以给我留言，因为Nodejs版本我也实现了。 Python 版本为 ≥

2024年02月13日
浏览(63)
【LangChain学习】基于PDF文档构建问答知识库（二）创建项目

这里我们使用到 fastapi 作为项目的web框架，它是一个快速（高性能）的 web 框架，上手简单。我们在IDE中，左侧选择 FastAPI ，右侧选择创建一个新的虚拟环境。创建成功，会有一个main.py，这是项目的入口文件。我们运行一下看看有没有报错，没问题的话，那么我们整合

2024年02月13日
浏览(58)
如何在电脑上免费更改 PDF 格式文档的字体大小？

对于需要编辑或修改的 PDF 文件来说，更改其字体大小是一个非常常见且必要的工作。虽然 Adobe Acrobat Pro DC 等专业的 PDF 编辑软件可以帮助您完成此任务，但他们通常都需要昂贵的恢复。幸运的是，有许多免费的 PDF 编辑工具可供选择。在本文中，我们将介绍如何在电脑上免费

2024年01月18日
浏览(73)