本地部署 CodeLlama 并在 VSCode 中使用 CodeLlama

这篇具有很好参考价值的文章主要介绍了本地部署 CodeLlama 并在 VSCode 中使用 CodeLlama。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1. CodeLlama 是什么

Code Llama 是一个基于 Llama 2 的大型代码语言模型系列,在开放模型、填充功能、对大输入上下文的支持以及编程任务的零样本指令跟踪能力中提供最先进的性能。我们提供多种风格来覆盖广泛的应用:基础模型 (Code Llama)、Python 专业化 (Code Llama - Python) 和指令跟随模型 (Code Llama - Instruct),每个模型都有 7B、13B 和 34B 参数。所有模型均在 16k 个标记序列上进行训练,并在最多 100k 个标记的输入上显示出改进。 7B 和 13B Code Llama 和 Code Llama - 指令变体支持基于周围内容的填充。 Code Llama 是通过使用更高的代码采样对 Llama 2 进行微调而开发的。

2. CodeLlama Github 地址

https://github.com/facebookresearch/codellama

3. 下载 CodeLlama 模型

要下载模型权重和标记器,请访问 Meta AI 网站并接受他们的许可证。

一旦您的请求获得批准,您将通过电子邮件收到签名的 URL。然后运行 ​​download.sh 脚本,并在提示开始下载时传递提供的 URL。确保复制 URL 文本本身,右键单击 URL 时不要使用“复制链接地址”选项。如果复制的 URL 文本以:https://download.llamameta.net 开头,则您复制正确。如果复制的 URL 文本以:https://l.facebook.com 开头,则您复制的方式错误。

4. 部署 CodeLlama

创建虚拟环境,

conda create -n codellama python==3.10 -y
conda activate codellama

克隆代码,

git clone https://github.com/facebookresearch/codellama.git; cd codellama

安装依赖,

pip install -e .

5. 在 VSCode 中使用 CodeLlama

下载 llamacpp_mock_api.py

cd codellama
wget https://raw.githubusercontent.com/xNul/code-llama-for-vscode/main/llamacpp_mock_api.py

启动 llamacpp_mock_api.py

torchrun --nproc_per_node 1 llamacpp_mock_api.py \
    --ckpt_dir CodeLlama-7b-Instruct/ \
    --tokenizer_path CodeLlama-7b-Instruct/tokenizer.model \
    --max_seq_len 512 --max_batch_size 4

VSCode 安装 Continue 插件,使用浏览器打开 Continue VSCode extension,单击 Install,
本地部署 CodeLlama 并在 VSCode 中使用 CodeLlama,LINUX,vscode,codellama,llama2,continue
VSCode 中打开 Continue,输入 /config,修改 models 的配置如下,

本地部署 CodeLlama 并在 VSCode 中使用 CodeLlama,LINUX,vscode,codellama,llama2,continue
然后就可以在 Continue 的对话框和 CodeLlama 对话了,

本地部署 CodeLlama 并在 VSCode 中使用 CodeLlama,LINUX,vscode,codellama,llama2,continue

6. 使用WSGI启动服务

安装 gevent 库,

pip install gevent

修改代码,

vi llamacpp_mock_api.py

---
        # Run the Flask API server.
        # app.run(port=port)
        server = pywsgi.WSGIServer(('0.0.0.0', port), app)
        server.serve_forever()
---

7. 创建 start.sh 启动脚本

创建 start.sh 启动脚本,

cat << "EOF" > start.sh
eval "$(conda shell.bash hook)"
conda activate codellama
torchrun --nproc_per_node 1 llamacpp_mock_api.py \
    --ckpt_dir CodeLlama-7b-Instruct/ \
    --tokenizer_path CodeLlama-7b-Instruct/tokenizer.model \
    --max_seq_len 512 --max_batch_size 4
EOF

运行 start.sh 启动脚本,

chmod +x ./start.sh
./start.sh

有读者反馈最新配置有变化,请参考最新文档。

完结!文章来源地址https://www.toymoban.com/news/detail-681481.html

到了这里,关于本地部署 CodeLlama 并在 VSCode 中使用 CodeLlama的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 人工智能之配置环境教程二:在Anaconda中创建虚拟环境并在VsCode中使用

    孟莉苹,女,西安工程大学电子信息学院,2021级硕士研究生,张宏伟人工智能课题组。 研究方向:机器视觉与人工智能。 电子邮件:2425613875@qq.com 安装前先下载安装包,建议在博主已准备好的百度网盘链接中下载: 百度网盘链接:https://pan.baidu.com/s/1FgjTixyrP0xL-SRrUSARhw 提取码

    2024年02月01日
    浏览(102)
  • 计算机视觉入门 - MacOS搭建Python的OpenCV环境并在VScode上使用的详细步骤(完整版)

    目录 过程: 下载VScode编辑器: 在VScode中安装Python插件:  安装Python解释器: 测试Python程序:  安装wget插件: 安装cmake插件:  安装opencv: 通过程序来测试opencv: 运行成功:  要使用的东西:VScode编辑器、Terminal终端、Homebrew软件包管理工具、Python、OpenCV 首先在Mac上下载

    2024年01月16日
    浏览(50)
  • Solidity-在vscode上开发智能合约、本地环境部署

     随后我们需要到该插件的设置中进行相关配置说明  点击进入得到如下界面 这里填写solcjs文件的路径位置,注意包含文件本身的名称 关于solcjs文件需要 nodejs 作为前置 nodejs可以在官网直接进行下载 ,安装很简单直接next到底便可 Node.js (nodejs.org) 安装完成后在cmd小黑窗中使用

    2024年02月06日
    浏览(64)
  • vscode ssh插件连接本地linux失败

    新版本的vscode连接本地虚拟机中的linux失败,一直处于retry密码状态,浏览cpp代码不方便,处理方法如下: 1.打开远程机器上面的~/.vscode-server/bin目录下面找到commit 如784b0177c56c607789f9638da7b6bf3230d47a8c 2.在外网机器拼接下载地址如:  https://update.code.visualstudio.com/commit:784b0177c56c60

    2024年02月15日
    浏览(40)
  • 人工智能之配置环境教程二:在Anaconda中创建虚拟环境安装GPU版本的Pytorch及torchvision并在VsCode中使用虚拟环境

    孟莉苹,女,西安工程大学电子信息学院,2021级硕士研究生,张宏伟人工智能课题组。 研究方向:机器视觉与人工智能。 电子邮件:2425613875@qq.com 本教程提供需要安装的CUDA11.3、Pytorch1.10.0、torchvision0.11.0的安装包,在下述百度网盘链接中自取! 链接:https://pan.baidu.com/s/18m

    2024年02月02日
    浏览(67)
  • vscode 从git上下载项目,并在主分支下新建分支

    打开VS Code,并确保已安装Git插件。 在VS Code的侧边栏中,点击源代码管理图标(通常是一个类似于三角形的图标)。 在源代码管理面板中,点击克隆存储库按钮。 在弹出的对话框中,输入要克隆的存储库的URL,并选择要将存储库克隆到的本地文件夹。 点击克隆按钮,等待存

    2024年02月07日
    浏览(45)
  • vscode开发小程序项目并在微信开发者工具运行

    需求:vscode开发uniapp之后在微信开发者工具运行,更改的时候微信开发者也同步更改 创建微信小程序所需插件,在vscode的插件管理里面安装就可以了 1.微信小程序开发工具 2.vscode weapp api 3.vscode wxml 4.vscode wechat 1.创建小程序命令 这里的uniapp-vue是项目名称,不能大写 2.选择un

    2024年02月09日
    浏览(58)
  • 使用vscode远程登录以及本地使用的配置(插件推荐)

    远程ssh添加第三方插件:vscode下链接远程服务器安装插件失败、速度慢等解决方法_vscode远程安装不上扩展_Emphatic的博客-CSDN博客 转到定义,选中代码-鼠标右键-转到定义 或者 F12;逐级退出,快捷键Alt+-(alt+左箭头) MinGW-w64 - for 32 and 64 bit Windows - Browse Files at SourceForge.net ①下

    2024年02月13日
    浏览(37)
  • 在VSCode中导出安装的所有插件并在其他计算机进行导入

    如图所示: 当您在另一台计算机上导出了 Visual Studio Code 编辑器已安装的扩展程序列表时,您可以按照以下步骤在另一台计算机上安装这些扩展程序: 将扩展程序列表文件(例如 “extensions.txt”)复制到您要安装扩展程序的计算机上的任何位置。 在您要安装扩展程序的计算

    2024年02月16日
    浏览(42)
  • 【Git记录学习】github创建项目以及本地使用(vscode)

    从github中创建空仓库 在执行完上一步操作后会返回这样的界面,包括了一些基本的git操作以及HttpS/SSH地址 生成一个readme.md文档(步骤2 Set up下面有蓝色的超链接,点击即可创建) 4.因为我创建的时候选择了私有仓库,所以要多设置一点东西好像。按步骤创建吧。 然后再次点

    2024年02月04日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包