【AI】本地部署可以与文件沟通的GPT：Llama 2 + GPT4All + Chroma

7月前作者：每日出拳老爷子分类：Toy博客阅读(33) 违法举报

这篇具有很好参考价值的文章主要介绍了【AI】本地部署可以与文件沟通的GPT：Llama 2 + GPT4All + Chroma。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

【背景】

还是继续致力于实践可以保护数据隐私的本地化LLM部署。
这次用的是Llama 2 + GPT4All + Chroma实现RAG。

【概念】

基于LangChain模板的各个部分的作用：文章来源地址https://www.toymoban.com/news/detail-853517.html

Llama2-》语言模型管理
GPT4ALL-》embedding
Chroma-》文件内容的向量存储，作为内部知识库，不需要网络就可以存储。

【环境构建】

安装Ollama
在Linux或Windows的WSL下，使用命令：

curl https://ollama.ai/install.sh | sh

利用Ollama下载一款LLM模型
比如，下载一个llama2 7b chat模型：

ollama pull llama2:7b-chat

安装LangChain命令行工具CLI：

pip install -U langchain-cli

到了这里，关于【AI】本地部署可以与文件沟通的GPT：Llama 2 + GPT4All + Chroma的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

GPT4ALL私有化部署 01 | Python环境

进入以下链接： https://www.python.org/downloads/release/python-3100/ 滑动到底部选择你系统对应的版本，如果你是win，那么大概率是win-64bit 有可能你会因为网络的问题导致下载不了，我提供了链接接着只需要打开等待完成打开你的控制台（win+r - cmd）输入python 好了，安装成功

2024年02月15日
浏览(35)
GPT4All 一个开源 ChatGPT

ChatGPT 正在迅速发展与传播，新的大型语言模型 (LLM) 正在以越来越快的速度开发。就在过去几个月，有了颠覆性的 ChatGPT 和现在的 GPT-4。明确定义，GPT 代表（Generative Pre-trained Transformer），是底层语言模型，而 ChatGPT是为会话设计的具体实现。比尔·盖茨 (Bill Gates) 回顾 OpenAI

2023年04月17日
浏览(48)
GPT4All:免费使用本地运行无需GPU的基于C++的GPT模型和UI: A free-to-use, locally running, privacy-aware chatbot. No GPU

目录 GPT4All: https://github.co :m/nomic-ai/gpt4all GPT4All Chat UI GPT4All 聊天用户界面效果测试问题：How to write a multiple Thread code In Java ?

2024年02月12日
浏览(50)
【玩转AI】高效在本地部署Auto-GPT服务，轻松玩转AI创作（也可以先体验一下，不用token也可以用）

在使用Auto-GPT之前，可以先体验下 AgentGPT https://agentgpt.reworkd.ai/ 此项目基于Auto-GPT构建，输入目的即可看到系统自动运行，并展示结果。 Auto-GPT是Github上的一个免费开源项目，结合了GPT-4和GPT-3.5技术，通过API创建完整的项目。与ChatGPT不同的是，用户不需要不断对AI提问以获得对

2024年02月08日
浏览(50)
跑在笔记本里的大语言模型 - GPT4All

GPT4All 官网给自己的定义是：一款免费使用、本地运行、隐私感知的聊天机器人，无需GPU或互联网。从官网可以得知其主要特点是：本地运行（可包装成自主知识产权🐶）无需GPU（穷人适配）无需联网（某国也可运行）同时支持Windows、MacOS、Ubuntu Linux（环境要求低）是一

2024年02月03日
浏览(38)
本地电脑轻松部署GPT4（无需账号）！

最近有个超级好玩的Github开源代码分享给大家，可以实现直接在本地电脑上运行GPT4，实现给机器人对话，获得想要的内容，亲测好用！废话不多说，直接上干货！目录一、Github项目地址二、操作步骤 2.1 下载代码 2.2 操作方法 2.3 详细步骤三、实现效果 3.1 问题一：中国最好

2023年04月08日
浏览(49)
本地部署 gpt4free

GPT4Free 是一个由 xtekky 创建的基于 OpenAI GPT-4 和 GPT-3.5 的 API。它可以向用户提供类似于 OpenAI GPT-3 的功能，如文本生成、问答、翻译等。 GPT4Free 与 OpenAI API 相比，更加容易获得并且免费使用，但可用的请求次数更少，以及响应时间可能会更长。使用浏览器打开本地启动的 gp

2024年02月05日
浏览(69)
[最新搭建教程]0基础Linux CentOS7系统服务器本地安装部署ChatGPT模型服务搭建/免费域名绑定网页Https访问/调用open AI的API/GPT3/GPT3.5/GPT4模型接口

一、关于此文本文介绍了如何克隆一个开源的项目，通过请求调用OpenAI ChatGPT模型接口，以使用ChatGPT的强大功能。相比于直接登录ChatGPT官网对话，此方法对话过程更为流畅，不会频频出现限流导致对话中断或网络异常；此外，部署完成后无需魔法即可访问，可分享给亲朋好

2024年02月10日
浏览(57)
智能AI写作系统+ChatGPT程序源码搭建部署教程+支持GPT4.0/AI绘画

SparkAi创作系统是基于国外很火的ChatGPT进行开发的Ai智能问答系统。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作ChatGPT？小编这里写一个详细图文教程吧！SparkAi程序使用Nestjs和Vue3框架技术，持续集

2024年02月09日
浏览(57)
如何拥有自己的专属GPT-本地部署目前最强大模型llama3

你是不是苦于没法使用ChatGPT？或者访问了ChatGPT却没法使用GPT4？现在一切问题都可以解决了！ 4月18日，Meta发布两款开源Llama 3 8B与Llama 3 70B模型，供外部开发者免费使用。这个消息轰动了全球开发者。按照Meta的说法，Llama 3 8B和Llama 3 70B是目前同体量下，性能最好的开源模型。

2024年04月26日
浏览(51)