1. Toy模板网首页
  2. >Toy博客

中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）

1年前作者：-=小华=-分类：Toy博客阅读(10)违法举报

这篇具有很好参考价值的文章主要介绍了中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC

        本文目的是让大家先熟悉模型的部署，简单入门；所以只需要很小的算力，单台服务器 单GPU显卡（显存不低于12GB），操作系统需要安装 Ubuntu 18.04。

1 服务器&操作系统 

        1.1服务器的准备

        准备一台服务器 单张英伟达GPU显卡（显存不低于12GB），操作系统需要安装 Ubuntu 18.04 （具体安装过程忽略）。 重装系统前注意备份现有存储上的相关重要数据。 GPU显卡驱动先不安装； 后续介绍驱动和CUDA的安装步骤。

        如果手上没有相应的服务器硬件设备、可以购买带GPU的云服务器， 以下可供选择参考。

 上云精选_云服务器秒杀_开发者上云推荐-腾讯云腾讯云推出云产品限时特惠抢购活动：2C2G云服务器9元/月起；还有短信、CDN、COS等热门云产品限时特惠...https://cloud.tencent.com/act/pro/seckill_season?from=20210

中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC

地域选择国内适合的城市；   预装镜像为 Ubuntu 18.04中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC

        购买后一般云厂商会自动安装显卡的驱动和CUDA ， 因为目前大部分的项目对 cuda 11.7 和 11.8 版本兼容的比较好，后续我们要指定安装特定的版本； 所以如果云主机已经预装了GPU驱动，我们需要卸载。 如果不了解卸载的指令，可以在控制台 点击“重装系统”； 

中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC        然后 注意 不要勾选后台自动安装 GPU 驱动； 这样重置后就是一台干净的 Ubuntu18.04的系统，且没有安装GPU的驱动。

中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC

1.2系统工具和环境 

   安装一些基础的相关软件工具

sudo apt update
sudo apt install -y vim git wget curl net-tools language-pack-zh-hans language-pack-en

中文环境

echo '
LANG="en_US.utf8"; export LANG
LANGUAGE="en_US.utf8"; export LANGUAGE
LC_ALL="en_US.utf8"; export LC_ALL
LC_CTYPE="en_US.utf8"; export LC_CTYPE
SUPPORTED=en_US.UTF8:en_US:en; export SUPPORTED

TZ="Asia/Shanghai"; export TZ
' >> ~/.profile
source ~/.profile
locale
#确认当前是UTF8

2 安装  显卡驱动  和  CUDA

2.1 确认操作系统当前没有安装驱动 

        确认当前系统没有安装GPU显卡驱动， 且没有加载nvidia相关模块

lsmod | grep nvidia
sudo lsof /dev/nvidia*

#以上命令 应该没有输出 nvidia 等字样的信息

                 

 2.2 如何安装指定版本的显卡驱动（可选）

        后续 2.3 中 cuda 安装包中含有配合的显卡驱动，可以一步安装； 如果需要指定安装和 cuda 包中不同版本的驱动，可参考本节， 否则建议直接跳至 2.3 节。 

根据显卡型号下载适合的驱动

Official Drivers | NVIDIADownload latest drivers for NVIDIA products including GeForce, TITAN, NVIDIA RTX, Data Center, GRID and more.https://www.nvidia.com/download/index.aspxUnix Drivers | NVIDIA
Linux AMD64 Display Driver Archive | NVIDIA

 中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC

 下载并安装显卡驱动 （需要 root 权限）

wget https://us.download.nvidia.com/XFree86/Linux-x86_64/535.98/NVIDIA-Linux-x86_64-535.98.run
sudo sh ./NVIDIA-Linux-x86_64-535.98.run
tail /var/log/nvidia-installer.log

2.3 安装 cuda （可一并安装显卡驱动） 

CUDA Toolkit Archive | NVIDIA DeveloperPrevious releases of the CUDA Toolkit, GPU Computing SDK, documentation and developer drivers can be found using the links below. Please select the release you want from the list below, and be sure to check www.nvidia.com/drivers for more recent production drivers appropriate for your hardware configuration.https://developer.nvidia.com/cuda-toolkit-archive下载 cuda 11.8 版本安装包 （内含 显卡驱动）

wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run

CUDA Toolkit 11.8 Downloads | NVIDIA DeveloperResources CUDA Documentation/Release NotesMacOS Tools Training Sample Code Forums Archive of Previous CUDA Releases FAQ Open Source PackagesSubmit a BugTarball and Zip Archive Deliverableshttps://developer.nvidia.com/cuda-11-8-0-download-archive

中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC

安装 cuda 需要 root 权限; 

如跳过上节没有安装显卡驱动则：要勾选安装驱动项； 否则 ， 要去掉安装驱动的勾选项

sudo sh cuda_11.8.0_520.61.05_linux.run

最后运行 nvidia-smi 确认 驱动 和 cuda 安装成功

tail /var/log/cuda-installer.log
nvidia-smi

注意 ： 使用 nvidia-smi  查看  CUDA 版本必须是 11.8

中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC

3 准备  Python 环境  （安装conda & 配置国内镜像源）

        3.1安装 conda

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py39_4.12.0-Linux-x86_64.sh
sh Miniconda3-py39_4.12.0-Linux-x86_64.sh
#都回答  yes
source ~/.bashrc

        3.2 为 pip 配置国内镜像源

pip config set global.index-url https://mirrors.tuna.tsinghua.edu.cn/simple
pip config set install.trusted-host mirrors.tuna.tsinghua.edu.cn

        3.3 为 conda 配置国内镜像源

        编辑当前用户下的 .condarc 文件   

conda config --set show_channel_urls yes
vim ~/.condarc

        替换成如下内容：

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

         清除索引缓存

conda clean --all --yes
conda clean -i

        3.4 以下国内常用的 pip 镜像源 仅供参考

清华：https://mirrors.tuna.tsinghua.edu.cn/simple

阿里云：http://mirrors.aliyun.com/pypi/simple/

中国科技大学: https://pypi.mirrors.ustc.edu.cn/simple/

豆瓣：http://pypi.douban.com/simple/

        3.5 常用conda命令 仅供参考

创建虚拟环境：conda create -n 环境名称 python=版本号
查看已有虚拟环境：conda env list
激活虚拟环境：conda activate 环境名称
删除虚拟环境：conda remove -n 环境名称 --all
查看当前环境下已安装的包：conda list
导出当前环境下的包：conda env export > environment.yml
根据导出的包安装环境：conda env create -f environment.yml
安装包：conda install 包名
安装下载到本地的包：conda install --use-local  包路径
卸载当前环境下包：conda uninstall 包名
卸载指定虚拟环境中的包：conda remove --name 环境名称 包名


 

4 创建环境 安装相关包

        4.1 Conda创建一个新的环境

 conda create -n llm python=3.10.9
 conda activate llm

中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC

         4.2安装 Web 交互 UI 工程 text-generation-webui

GitHub - oobabooga/text-generation-webui: A Gradio web UI for Large Language Models. Supports transformers, GPTQ, llama.cpp (ggml), Llama models.A Gradio web UI for Large Language Models. Supports transformers, GPTQ, llama.cpp (ggml), Llama models. - GitHub - oobabooga/text-generation-webui: A Gradio web UI for Large Language Models. Supports transformers, GPTQ, llama.cpp (ggml), Llama models.https://github.com/oobabooga/text-generation-webui

中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC

wget https://github.com/oobabooga/text-generation-webui/releases/download/installers/oobabooga_linux.zip
unzip oobabooga_linux.zip
cd oobabooga_linux/
conda activate llm
bash ./start_linux.sh

 bash ./start_linux.sh 首次运行会下载大量数据， 时间较长。

中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC

成功后会 默认监听 7860 端口 开启web服务，如下所示：

中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC

              

 5 语言 交互 UI 

        5.1进入 web 交互页面

conda activate llm

HF_TOKEN="hf_XXXXXXXXXXXXXXXXXXXXXX" # HuggingFace  的 Access Tokens
export HF_TOKEN

./start_linux.sh

./start_linux.sh 开启web服务，成功后会显示：

中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC

使用 SSH Tunnel 建立隧道 将 服务器的 7860 端口 映射到本地， 然后使用浏览器打开 。

         5.2 使用交互页面自动下载模型

        首先需要在 Model 模型页签中下载一个Llama2模型 。

        输入模型名称路径：“FlagAlpha/Llama2-Chinese-7b-Chat”

        然后点击下载按钮

中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC

注意：如果下载某些模型 出现 Http 401 错误，则需要设置  HuggingFace  的 Access Tokens

需要登录 Hugging Face – The AI community building the future.

在设置页面的  Access Tokens 中创建  Tokens 并复制。然后在 ./start_linux.sh 启动前 设置“HF_TOKEN” 环境变量 。

中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC

        另外，可以在 HuggingFace 上寻找其它开放的大预言模型， 如果使用 13B 或者 更大的模型推理，依据参数规模可能需要更高的GPU显存，甚至多张GPU来加载运行。 Hugging Face – The AI community building the future.We’re on a journey to advance and democratize artificial intelligence through open source and open science.https://huggingface.co/  

          5.3手动下载 Llama2 模型 （可选）

模型文件建议去官网下载，  国内Llama2 下载地址 仅供参考

  • Llama2-7B官网版本：迅雷云盘

  • Llama2-7B-Chat官网版本：迅雷云盘

  • Llama2-13B官网版本：迅雷云盘

  • Llama2-13B-Chat官网版本：迅雷云盘

  • Llama2-7B Hugging Face版本：迅雷云盘

  • Llama2-7B-Chat Hugging Face版本：迅雷云盘

  • Llama2-13B Hugging Face版本：迅雷云盘

  • Llama2-13B-Chat Hugging Face版本：迅雷云盘

  • Llama2-70B-Chat Hugging Face版本：迅雷云盘

另外 Llama2 中文模型 供参考选择  ， 通过访问Llama2中文社区链接 仅供参考：

GitHub - FlagAlpha/Llama2-Chinese: Llama中文社区，最好的中文Llama大模型，完全开源可商用Llama中文社区，最好的中文Llama大模型，完全开源可商用. Contribute to FlagAlpha/Llama2-Chinese development by creating an account on GitHub.https://github.com/FlagAlpha/Llama2-Chinese  将下载好的模型文件目录放到 /data/ai/oobabooga_linux/text-generation-webui/models中

中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC

        5.4加载模型

        在 Model 模型页签中 加载模型 。 

        如下图： 刷新现有模型、 下拉菜单选中模型，点击 Load 加载 模型 ， 成功加载后会显示：  “Successfully loaded FlagAlpha_Llama2-Chinese-7b-Chat.”

中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC

中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC

        5.3使用 Chat 页签 Web 交互 UI

中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）,llama,AIGC文章来源地址https://www.toymoban.com/news/detail-712890.html

到了这里，关于中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包赞助服务器费用

相关文章

  • 本地化部署大语言模型 ChatGLM

    本地化部署大语言模型 ChatGLM

    ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优

    2023年04月20日
    浏览(10)
  • 超越边界：Mistral 7B挑战AI新标准，全面超越Llama 2 13B

    超越边界：Mistral 7B挑战AI新标准，全面超越Llama 2 13B

    引言 在人工智能领域，模型的性能一直是衡量其价值和应用潜力的关键指标。近日，一个新的里程碑被设立：Mistral AI发布了其最新模型Mistral 7B，它在众多基准测试中全面超越了Llama 2 13B模型，标志着AI技术的一个重大进步。 Mistral 7B vs Llama 2 13B Mistral 7B的发布，不仅是一次技

    2024年02月04日
    浏览(5)

  • GPT大语言模型Alpaca-lora本地化部署实践【大语言模型实践一】

    Alpaca模型是斯坦福大学研发的LLM（Large Language Model，大语言）开源模型，是一个在52K指令上从LLaMA 7B（Meta公司开源的7B）模型微调而来，具有 70亿 的模型参数（模型参数越大，模型的推理能力越强，当然随之训练模型的成本也就越高）。 LoRA，英文全称Low-Rank Adaptation of Large

    2024年02月05日
    浏览(10)
  • 本地化部署AI语言模型RWKV指南，ChatGPT顿时感觉不香了。

    本地化部署AI语言模型RWKV指南，ChatGPT顿时感觉不香了。

    之前由于ChatGpt处处受限，又没法注册的同学们有福了，我们可以在自己电脑上本地化部署一套AI语言模型，且对于电脑配置要求也不是非常高，对它就是 RWKV 。 RWKV是一个开源且允许商用的大语言模型，灵活性很高且极具发展潜力，它是一种纯 RNN 的架构，能够进行语言建模，

    2024年02月08日
    浏览(9)
  • GPT大语言模型Alpaca-lora本地化部署实践【大语言模型实践一】 | 京东云技术团队

    GPT大语言模型Alpaca-lora本地化部署实践【大语言模型实践一】 | 京东云技术团队

    Alpaca模型是斯坦福大学研发的LLM（Large Language Model，大语言）开源模型，是一个在52K指令上从LLaMA 7B（Meta公司开源的7B）模型微调而来，具有 70亿 的模型参数（模型参数越大，模型的推理能力越强，当然随之训练模型的成本也就越高）。 LoRA，英文全称Low-Rank Adaptation of Large

    2024年02月05日
    浏览(7)
  • google最新大语言模型gemma本地化部署_gemma对服务器要求

    google最新大语言模型gemma本地化部署_gemma对服务器要求

    与同类大语言模型对比，它不仅对硬件的依赖更小，性能却更高。关键是完全开源，使得对模型在具有行业特性的场景中，有了高度定制的能力。 Gemma模型当下有四个版本，Gemma 7b, 2b, 2b-it, 7b-it 。通俗来说，2b及精简小巧，覆盖了现代流行的语言，对硬件依赖小。7b是常规型的

    2024年04月25日
    浏览(7)
  • LangChain 本地化方案 - 使用 ChatYuan-large-v2 作为 LLM 大语言模型

    LangChain 本地化方案 - 使用 ChatYuan-large-v2 作为 LLM 大语言模型

    ChatYuan-large-v2 是一个开源的支持中英双语的功能型对话语言大模型，与其他 LLM 不同的是模型十分轻量化，并且在轻量化的同时效果相对还不错，仅仅通过 0.7B 参数量就可以实现 10B 模型的基础效果，正是其如此的轻量级，使其可以在普通显卡、 CPU 、甚至手机上进行推理，而

    2024年02月16日
    浏览(12)
  • AIGC生成式代码——Code Llama 简介、部署、测试、应用、本地化

    AIGC生成式代码——Code Llama 简介、部署、测试、应用、本地化

            本文介绍了CodeLlama的 简介、本地化部署、测试和应用实战方案 ，帮助学习大语言模型的同学们更好地应用CodeLlama。我们详细讲解了如何将CodeLlama部署到实际应用场景中，并通过实例演示了如何使用CodeLlama进行代码生成和优化。最后，总结了CodeLlama的应用实战经验

    2024年02月05日
    浏览(11)
  • 基于LM Studio + LLaMA3 建立本地化的ChatGPT

    基于LM Studio + LLaMA3 建立本地化的ChatGPT

    4月19日，Facebook母公司Meta重磅推出了Llama3。即便大家现在对于大厂和巨头频繁迭代AI模型的行为已经见怪不怪，Meta的Llama3仍旧显得与众不同，因为这是迄今最强大的开源AI模型。LLaMA模型通常采用了类似于GPT（由OpenAI开发）的变换器（Transformer）架构。这种架构特别适合处理大

    2024年04月27日
    浏览(9)
  • 基于Llama2和LangChain构建本地化定制化知识库AI聊天机器人

    基于Llama2和LangChain构建本地化定制化知识库AI聊天机器人

    参考： 本项目 https://github.com/PromtEngineer/localGPT 模型 https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML 云端知识库项目：基于GPT-4和LangChain构建云端定制化PDF知识库AI聊天机器人_Entropy-Go的博客-CSDN博客          相比OpenAI的LLM ChatGPT模型必须网络连接并通过API key云端调用模型，担心

    2024年02月08日
    浏览(13)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包