Windows11下私有化部署大语言模型实战 langchain+llama2

这篇具有很好参考价值的文章主要介绍了Windows11下私有化部署大语言模型实战 langchain+llama2。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、本机环境

1.硬件环境:

CPU:锐龙5600X

显卡:GTX3070

内存:32G

注:硬件配置仅为博主的配置,不是最低要求配置,也不是推荐配置。该配置下计算速度约为40tokens/s。实测核显笔记本(i7-1165g7)也能跑,速度3tokens/s。

2.软件环境:

Windows系统版本:Win11专业版23H2

Python版本:3.11

Cuda版本:12.3.2

VS版本:VS2022 17.8.3

langchain版本:0.0.352

llama-cpp-python版本:0.2.27

二、安装准备工作

1.模型下载

大模型有很多种格式,比如Meta官网下载的pth格式,Huggingface下载的ggml格式、gguf格式等。(博主最开始下的Meta官网的版本,结果发现langchain框架用不了,走了不少弯路)

langchain框架使用的是gguf格式(老版本则是ggml格式 llama.cpp <= 0.1.48),所以我们在Huggingface上下载gguf格式的模型,下载链接为TheBloke/Llama-2-7B-Chat-GGUF at main (huggingface.co),本文选择的模型为llama-2-7b-chat.Q4_K_M.gguf。

不同模型的大小、硬件需求、计算速度、精度不同,具体区别详见网站的README.md文档。

模型名称 量化方式 模型精度 大小 最小内存要求 备注
llama-2-7b-chat.Q2_K.gguf Q2_K 2 2.83 GB 5.33 GB 模型最小, 质量最差 - 不推荐
llama-2-7b-chat.Q3_K_S.gguf Q3_K_S 3 2.95 GB 5.45 GB 模型很小, 质量较差
llama-2-7b-chat.Q3_K_M.gguf Q3_K_M 3 3.30 GB 5.80 GB 模型很小, 质量较差
llama-2-7b-chat.Q3_K_L.gguf Q3_K_L 3 3.60 GB 6.10 GB 模型小, 质量略差
llama-2-7b-chat.Q4_0.gguf Q4_0 4 3.83 GB 6.33 GB 常规;模型小, 质量很差 - 相比更推荐 Q3_K_M
llama-2-7b-chat.Q4_K_S.gguf Q4_K_S 4 3.86 GB 6.36 GB 模型小, 质量稍好
llama-2-7b-chat.Q4_K_M.gguf Q4_K_M 4 4.08 GB 6.58 GB 模型中等, 质量中等 - 推荐
llama-2-7b-chat.Q5_0.gguf Q5_0 5 4.65 GB 7.15 GB 常规; 模型中等, 质量中等 - 相比更推荐 Q4_K_M
llama-2-7b-chat.Q5_K_S.gguf Q5_K_S 5 4.65 GB 7.15 GB 模型大, 质量稍好 - 推荐
llama-2-7b-chat.Q5_K_M.gguf Q5_K_M 5 4.78 GB 7.28 GB 模型大, 质量较好 - 推荐
llama-2-7b-chat.Q6_K.gguf Q6_K 6 5.53 GB 8.03 GB 模型很大, 质量很好
llama-2-7b-chat.Q8_0.gguf Q8_0 8 7.16 GB 9.66 GB 模型很大, 质量最好 - 不推荐

 2.VS2022安装

下载Microsoft C++ 生成工具 - Visual Studio,在安装页面勾选使用C++的桌面开发,完成安装。

Windows11下私有化部署大语言模型实战 langchain+llama2

3.Cuda安装

注:Cuda用于N卡加速模型计算,langchain+llama2支持只用cpu加速,如不用gpu加速可不安装。

下载Cuda完成安装,下载链接CUDA Toolkit 12.3 Update 2 Downloads | NVIDIA Developer

注:后续安装python包llama-cpp-python时可能会遇到No Cuda toolset found问题,需要将Cuda安装包当作压缩包打开,在cuda_12.3.2_546.12_windows.exe\visual_studio_integration\CUDAVisualStudioIntegration\extras\visual_studio_integration\MSBuildExtensions\文件夹中找到以下4个文件,将这4个文件放入VS2022的目录中,博主的路径为C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\MSBuild\Microsoft\VC\v170

Windows11下私有化部署大语言模型实战 langchain+llama2

4.Python及其余pip包安装

python安装

Python安装方式请查阅其余教程:安装 python at windows - PanPan003 - 博客园 (cnblogs.com)

langchain安装

打开powershell,输入以下命令安装langchain框架

pip install langchain

llama-cpp-python安装

由于我们要用cuda加速模型计算,安装llama-cpp-python前需要配置powelshell环境,使llama-cpp-python启用cuda。如果仅用cpu跑模型,可不输入此行代码,不同配置的详细说明参照abetlen/llama-cpp-python:llama.cpp 的 Python 绑定 (github.com)

$env=CMAKE_ARGS="-DLLAMA_CUBLAS=on"

输入以下命令安装llama-cpp-python包

pip install llama-cpp-python

如果之前已经安装过llama-cpp-python,想用不同的配置方式重新安装,需要在配置好环境变量后输入

pip install --upgrade --force-reinstall llama-cpp-python

 文章来源地址https://www.toymoban.com/news/detail-777130.html

 

三、运行代码

请将模型与python代码文件放在同一目录下,或自行修改目录。

from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate
from langchain_community.llms import LlamaCpp
template = """Question: {question}
Answer: Let's work this out in a step by step way to be sure we have the right answer."""

prompt = PromptTemplate(template=template, input_variables=["question"])

# Callbacks support token-wise streaming
callback_manager = CallbackManager([StreamingStdOutCallbackHandler()])

n_gpu_layers = 40  # Change this value based on your model and your GPU VRAM pool.
n_batch = 512  # Should be between 1 and n_ctx, consider the amount of VRAM in your GPU.

# Make sure the model path is correct for your system!
llm = LlamaCpp(
    model_path="llama-2-7b.Q4_K_M.gguf",
    n_gpu_layers=n_gpu_layers,
    n_batch=n_batch,
    callback_manager=callback_manager,
    verbose=True,  # Verbose is required to pass to the callback manager
)

llm_chain = LLMChain(prompt=prompt, llm=llm)
question = "What NFL team won the Super Bowl in the year Justin Bieber was born?"
llm_chain.run(question)

 

 

 

 

参考链接:

1.llama2介绍

Llama 2 来袭 - 在 Hugging Face 上玩转它

关于 Llama 2 的一切资源,我们都帮你整理好了 - HuggingFace - 博客园 (cnblogs.com)

2.langchain介绍

LangChain 中文文档 v0.0.291 | 🦜️🔗 Langchain

3.llama-cpp-python编译相关问题

Windows CMake编译错误:No CUDA toolset found解决方法

Error while installing python package: llama-cpp-python - Stack Overflow

c++ - CUDA compile problems on Windows, Cmake error: No CUDA toolset found - Stack Overflow

 4.带GUI的实战

本地部署开源大模型的完整教程:LangChain + Streamlit+ Llama - 知乎 (zhihu.com)

 

到了这里,关于Windows11下私有化部署大语言模型实战 langchain+llama2的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【码银送书第六期】《ChatGPT原理与实战:大型语言模型的算法、技术和私有化》

    2022年11月30日,ChatGPT模型问世后,立刻在全球范围内掀起了轩然大波。无论AI从业者还是非从业者,都在热议ChatGPT极具冲击力的交互体验和惊人的生成内容。这使得广大群众重新认识到人工智能的潜力和价值。对于AI从业者来说,ChatGPT模型成为一种思路的扩充,大模型不再是

    2024年02月09日
    浏览(76)
  • 私有化部署大模型:5个.Net开源项目

    从零构建.Net前后端分离项目 今天一起盘点下,10月份推荐的5个.Net开源项目(点击标题查看详情)。 1、BootstrapBlazor企业级组件库:前端开发的革新之路 BootstrapBlazor是一个用于构建现代Web应用程序的开源框架,它基于Blazor框架,采用Bootstrap的UI样式。Blazor框架允许使用C#代替

    2024年02月05日
    浏览(63)
  • C#开源项目:私有化部署LLama推理大模型

    推荐一个C#大模型推理开源项目,让你轻松驾驭私有化部署! 01 项目简介 LLama是Meta发布的一个免费开源的大模型,是一个有着上百亿数量级参数的大语言模型,支持CPU和GPU两种方式。 而LLamaSharp就是针对llama.cpp封装的C#版本,让方便我们基于C#开发应用,让我们不需要自己编译

    2024年02月03日
    浏览(66)
  • 开源支持私有化部署一分钟构建大模型机器人

    Dify 是一款 中国开源 的大语言模型(LLM) 应用开发平台。使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。Dify 提供了更接近生产需要的完整方案, Dify 好比是一套脚手架 ,并且经过了精良的工程设计和软件测

    2024年04月16日
    浏览(55)
  • aiXcoder私有化部署与大模型个性化训练:如何将AIGC应用到您的企业中?

    现代企业的成功转型离不开创新,而创新离不开人工智能等前沿技术的推动。随着全球经济的发展和竞争的日益激烈,企业需要更快、更高效地交付新产品、服务和解决方案,以更好地满足客户需求并保持市场竞争力,应用研发效率提升企业竞争力已成为趋势。AIGC时代来临,

    2024年02月09日
    浏览(72)
  • 支撑开源LLM大模型的私有化部署,需要单机多个不同型号GPU混合使用的同学看过来

    有2台深度学习的工作站,分别有2张3090和2张4090,Qwen-14B-Chat轻松跑起,知识库检索等应用效果还可以,想提升到Qwen-72B-int4(官方要求最低48G显存),于是把4张卡集中到同一台机器(多级多卡也是可以的,但不是每个框架都支持分布式GPU),过程中遇到一些坑,度娘无混卡的

    2024年02月01日
    浏览(56)
  • Chatgpt私有化部署(全流程)

      当下使用chatgpt来帮助完成工作已然成为主流,但想访问必须先面对地区的封锁,所以使用openai官方提供的API来部署至本地服务器从而更加便利的使用chatgpt。本文章主要介绍如何部署私有聊天机器人。 公网服务器一台(可选阿里云、腾讯云等) openai账号,用于获取私人的

    2023年04月20日
    浏览(119)
  • Sealos 云操作系统私有化部署教程

    Sealos 私有云已经正式发布了,它为企业用云提供了一种革命性的新方案。Sealos 的核心优势在于,它允许企业 在自己的机房中一键构建一个功能与 Sealos 公有云完全相同的私有云 。这意味着企业可以在自己的控制和安全范围内,享受到公有云所提供的灵活性和扩展性。这对于

    2024年02月05日
    浏览(71)
  • 可私有化部署的车牌识别API接口

    车牌OCR识别 的出现为企业提供了一种高效、准确的车牌识别和信息提取解决方案。通过图像预处理、区域定位、字符分割和字符识别等步骤,将获取的车牌图片或视频中的车牌信息瞬时输出,可提供车牌识别API接口做二次开发,该 API 能够自动识别车牌中的段信息,并

    2024年02月11日
    浏览(60)
  • 安装Joplin Server私有化部署(docker)

    前言: 老规矩官方文档链接 1. 首先拥有一个自己的云服务器(如果没有外网访问需求的话就随意吧) 安装docker安装方式 这里Joplin是使用PostgreSQL数据库的形式, 如果没有PostgreSQL库的话, Joplin默认使用的是SQLLite数据库 我这里使用的是docker-compose部署用的是官网的demo.yml所以就直接也

    2024年02月21日
    浏览(63)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包