pdfgpt安装使用

这篇具有很好参考价值的文章主要介绍了pdfgpt安装使用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

LlamaIndex在https://github.com/jerryjliu/llama_index

文档在https://gpt-index.readthedocs.io/en/latest/guides/primer/usage_pattern.html

第一个坑,python3.7安装不了库
后来使用的是python3.8.7

关于LlamaIndex读取的原理

在python版的pdfchat中,可以看到调用了LlamaIndex的接口,通过llamahub的库里的PDR读取器来读取PDF文件

PDFReader = download_loader("PDFReader")
loader = PDFReader()
documents = loader.load_data(file=Path(file))

我一开始很疑惑,在https://llamahub.ai/上面我也没看到有PDFReader这个名字,怎么这里就能成功导入,后来通过跟踪代码,发现

pdfgpt安装使用

代码会先检查文件夹里面有没有library.json,这个library.json我觉着相当于是llamahub上的读取器的列表,如果没有的话,会进行get请求获取,这里就是容易出现proxy代理问题的地方

pdfgpt安装使用

https://raw.githubusercontent.com/emptycrown/loader-hub/main/loader_hub/library.json打开是这样

pdfgpt安装使用

这里可以理解为什么是download_loader(“PDFReader”)了

PS:如果在download_loader()时候出现问题,那么断点一步步跟进去请求然后加上代理就好,这里加上代理就完事了其实,能成功用了

# 用clash的话
proxies = {
     "http": "http://127.0.0.1:7890",
     "https": "http://127.0.0.1:7890",
 }

pdfgpt安装使用

具体位置(如果要深究一下,llamahub下载的每个加载模块放在D:\Python387\Lib\site-packages\llama_index\readers\llamahub_modules或者D:\Python387\Lib\site-packages\llama_index\readers\llamahub_modules\file里,然而每个模块对应的文件夹里面,需要成功下载requirements.txt和base.py,缺一不可,下面就是代码里进行检查并下载的位置)

pdfgpt安装使用
pdfgpt安装使用

pdfgpt安装使用

跟了几步PDFReader会发现,这个加载器的缺陷或许在于,他并没有分章节,而是一口气把PDF里的所有内容读了出来,这样一来章节之间的内容,可能会被分割成几块建索引,这样的效果可想而知并不理想

https://juejin.cn/post/7206950454097690680这样的操作才是更正确的

pdfgpt安装使用



项目来源https://juejin.cn/post/7206950454097690680
先把项目clone下来了,在项目当前目录运行npm installpdfgpt安装使用
出报错,查了一下资料问了一下chatgpt觉得应该是nodejieba的安装问题,会涉及系统内使用的编译器等等一些问题,比较不好解决,于是采取使用另一个jieba分词的库来替代参考https://zhuanlan.zhihu.com/p/453803476
于是先把package.json中的"nodejieba": “^2.6.0”,去掉再运行npm install,然后再运行
都安装好之后把项目里的jieba库换成新安装的库,全局搜索

pdfgpt安装使用文章来源地址https://www.toymoban.com/news/detail-405146.html

到了这里,关于pdfgpt安装使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • pip install git+https://github.com/...下载问题

    遇到如下的直接结合github的下载安装情况: pip install git+https://github.com/votchallenge/vot-toolkit-python 在没有其他 合理 情况下可以采用如下操作进行正常的安装: 将上述代码换成: pip install git+git://github.com/votchallenge/vot-toolkit-python 即将 https 换成 git 代码更换后可能会出现如下问题:

    2023年04月24日
    浏览(45)
  • fatal: 无法访问 https://github.com/ :Failed to connect to github.com port 443: 拒绝连接的解决办法

    最近在ubuntu20.04安装PCL1.9.1的过程中,在从github 下载pcl时遇到了 fatal: 无法访问 https://github.com/PointCloudLibrary/pcl.git/ :Failed to connect to github.com port 443: 拒绝连接 这个问题。 解决办法:在终端输入 sudo gedit /etc/hosts ,打开/etc/hosts文件,然后注释掉所有只涉及到github.com的行(注意是

    2024年02月12日
    浏览(60)
  • 【解决问题 fatal: unable to access ‘https://github.com/.../.git‘: Could not resolve host: github.com】

    1.发现vulhub靶场不全,重新下载发现下这个问题,记录一下。 2.出现以下报错,如下图 fatal: unable to access ‘https://github.com/…/.git’: Could not resolve host: github.com 3.只需要在命令行中执行 git config --global --unset http.proxy git config --global --unset https.proxy 4.既可解决以上问题。

    2024年02月05日
    浏览(57)
  • clone报错fatal: unable to access ‘https://github.com/...‘: Failed to connect to github.com port

    原因是本机代理端口和git端口不一致。 第一步、找到本机代理端口号(红框部分) 第二步、修改git端口号 在git-bash执行如下两条指令 问题解决! [1][报错解决] Failed to connect to github.com port 443 after ***** ms: Couldn‘t connect to server [2]GitHub 新手详细教程

    2024年02月06日
    浏览(65)
  • 【已解决】fatal: Authentication failed for ‘https://github.com/.../‘

    在 Linux 服务器上使用 git push 命令,输入用户名和密码之后,总会显示一个报错: 起初我认为可能是密码输错了,但重新试过很多次后依然不行 到网上查阅,才知道原来是 github 的问题… 长话短说:大概就是 github 现在不让使用 用户名+密码 的方式进行验证 ,解决起来也不难

    2024年01月18日
    浏览(47)
  • lkx语言的总体设计已经发布到github上 (https://github.com/lichuan/lkx)

    Lkx is a new strongly typed scripting language, simpler and faster than lua. It can easily interact with c/c++ , the name Lkx comes from my daughter’s name ( Li Kaixin ), so this language is also a gift for my daughter. simple and clear variable typed hot reloading garbage collection user defined structure shared function shared variable faster than Lua c-

    2024年02月10日
    浏览(43)
  • fatal: unable to access ‘https://github.com/xxx/123.git/‘: Failed connect to github.com:443 解决方案

    在linux上git clone时遇到 fatal: unable to access \\\'https://github.com/xx/xx.git/\\\': Failed connect to github.com:443; Connection timed out时如图 解决方法:把https:改成git 如果没有成功,遇上以下报错 配置用户名,邮箱 给该邮箱设置公钥 回车三次后 得到如图  设置成功后进入~/.ssh,    复制公钥(ssh-r

    2024年02月05日
    浏览(74)
  • fatal: unable to access ‘https://github.com/.../.git‘: Could not resolve host: github.com解决方法【亲测有效】

    今天在使用Github的时候突然出现了这样的报错,云里雾里,看了网上的解决办法,说是代理服务器的问题,尝试了无数遍无果 然后Ping了一下github网站,发现Ping不通: 这里考虑应该是hosts文件解析的问题☘️ 在hosts文件中加入如下三行: 140.82.112.3 是github网站服务器的真实I

    2024年02月12日
    浏览(52)
  • Git clone报错:fatal: unable to access ‘https://github.com/.....‘: Failed to connect to github.com port

    使用Git克隆项目是,有时候会报错:Failed to connect to github.com port 443 after 21096 ms: Couldn’t connect to server 原因是本机代理端口和git端口不一致。 我的解决方法: 然后开启手动代理模式: 随便在哪个地方,右键选择Git Bash Here(得安装了Git),然后在弹出的命令行窗口中分别输入一

    2024年04月13日
    浏览(82)
  • 解决 fatal: Authentication failed for ‘https://github.com/*/*.git/‘

    原因:github 的认证策略发生了改变,在  2021年8月13日  的时候, 用户名加密码 的认证方式被去掉了,换成了 个人令牌(Personal Access Token) 的校验方式。 官网解决方案:管理个人访问令牌 - GitHub 文档  填写生成令牌的目的,然后选择令牌的有效期,最后勾选令牌的作用范

    2024年02月07日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包