基于GitHub代码库训练模型本地化AI代码自动补全 - Tabby Windows10

这篇具有很好参考价值的文章主要介绍了基于GitHub代码库训练模型本地化AI代码自动补全 - Tabby Windows10。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

参考:

https://github.com/TabbyML/tabby

1.为什么选择Tabby

已经有好几款类似强劲的代码补全工具,如GitHub Copilot,Codeium等,为什么还要选择Tabby?

Tabby除了和其他工具一样支持联网直接使用之外,还支持本地化部署

即对内部代码安全性要求很高时,可以采取Tabby项目模型的本地化部署,不用担心本地项目代码隐私泄露,同时有很好的享受GitHub代码库的建议。

部署完成后,如简单粗暴断开外部网络,甚至拔掉网线,依然可以使用。

可以单机使用,也可以公司内部网、局域网内共同使用。

2.安装winget,方便命令行安装git

微软商店,搜索winget,安装App Installer

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

PS C:\Windows\system32> winget install --id Git.Git -e --source winget
Found Git [Git.Git] Version 2.41.0.2
This application is licensed to you by its owner.
Microsoft is not responsible for, nor does it grant any licenses to, third-party packages.
Downloading https://github.com/git-for-windows/git/releases/download/v2.41.0.windows.2/Git-2.41.0.2-64-bit.exe
                                  0.00 B / 58.3 MB

或者直接下载git.exe图像化安装

Git - Downloads (git-scm.com)

3.Git Clone tabby项目代码到本地

git clone https://github.com/TabbyML/tabby.git

4.Windows 10虚拟化设置

控制面板,程序

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

打开Windows功能,勾选上Hyper-V和虚拟机平台

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,githubinvalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

wsl(Windows Subsystem for Linux)更新

管理员权限打开Windows Power Shell

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

执行命令查看相关子系统

PS C:\Windows\system32> wsl --list --online
The following is a list of valid distributions that can be installed.
The default distribution is denoted by '*'.
Install using 'wsl --install -d <Distro>'.

  NAME            FRIENDLY NAME
* Ubuntu          Ubuntu
  Debian          Debian GNU/Linux
  kali-linux      Kali Linux Rolling
  openSUSE-42     openSUSE Leap 42
  SLES-12         SUSE Linux Enterprise Server v12
  Ubuntu-16.04    Ubuntu 16.04 LTS
  Ubuntu-18.04    Ubuntu 18.04 LTS
  Ubuntu-20.04    Ubuntu 20.04 LTS

不指定参数默认安装第一个星号标记的Ubuntu

> wsl --install

 输出:

PS C:\Windows\system32> wsl --install
Installing: Windows Subsystem for Linux
Windows Subsystem for Linux has been installed.
Downloading: WSL Kernel
Installing: WSL Kernel
WSL Kernel has been installed.
Downloading: Ubuntu
The requested operation is successful. Changes will not be effective until the system is rebooted.

重启电脑

5.下载并安装Docker

Docker: Accelerated, Containerized Application Development

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

6.Docker Desktop打开运行 

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

7.Docker Run下载镜像

Docker | Tabby

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

本文选择了CPU,打开PowerShell,在clone下来的tabby根目录下,执行下面的命令

docker run -p 8080:8080 -v $HOME/.tabby:/data tabbyml/tabby serve --model TabbyML/SantaCoder-1B

输出

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

如果遇到如下问题

​
ERROR tabby::serve: crates/tabby/src/serve/mod.rs:116: Failed to fetch model due to 'error sending request for url (https://huggingface.co/TabbyML/SantaCoder-1B/resolve/main/ctranslate2/shared_vocabulary.txt): error trying to connect: Connection reset by peer (os error 104)', is 'TabbyML/SantaCoder-1B' a valid model id?

解决方法

手动下载模型 

TabbyML/SantaCoder-1B at main

 invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

git lfs install
git clone https://huggingface.co/TabbyML/SantaCoder-1B

 大文件也可以直接网页手动下载

最后将上述SantaCoder完整目录文件移动到

$HOME/.tabby/models/TabbyML/目录下

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

 然后再重新执行

docker run -p 8080:8080 -v $HOME/.tabby:/data tabbyml/tabby serve --model TabbyML/SantaCoder-1B

8.模型部署过程中

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

 部署过程中需要等待,没有log可以显示进度,可以通过查看容器Container的stats的网络流量蓝色的数据接收一直在增长,表示部署中

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

 9. 部署成功

(时间取决设备性能)

2023-07-19 08:36:57 2023-07-19T08:36:56.481802Z  INFO tabby::serve: crates/tabby/src/serve/mod.rs:131: Listening at 0.0.0.0:8080

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

 invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

 检查是否部署成功

浏览器本地访问 http://localhost:8080/

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

 或者在网络中使用   http://PC_IP:8080/

下载并安装VS Code(Visual Studio Code)

direct download link.Download Visual Studio Code - Mac, Linux, Windowsdirect download link.

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

  

 打开VS Code,扩展种搜索Tabby并安装

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

Tabby的管理里面设置上面本地部署的Tabby服务

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github VS Code右下角显示Tabby已经可以提供服务

 invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

 10. 开始高效编码吧

输入注释或者编码时,会自动补全,即灰色斜体部分,如果接收就直接按Tab键,采纳建议,否则正常进行编码

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

 invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github

运行过程中可以查看下电脑的CPU内存使用情况,调用时资源消耗很大,所以体验效果还取决于设备性能,最好使用GPU设备。

invalid model_id <tabbyml/santacoder-1b>,随笔,人工智能,机器学习,AI编程,chatgpt,AIGC,github文章来源地址https://www.toymoban.com/news/detail-786812.html

到了这里,关于基于GitHub代码库训练模型本地化AI代码自动补全 - Tabby Windows10的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于Llama2和LangChain构建本地化定制化知识库AI聊天机器人

    参考: 本项目 https://github.com/PromtEngineer/localGPT 模型 https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML 云端知识库项目:基于GPT-4和LangChain构建云端定制化PDF知识库AI聊天机器人_Entropy-Go的博客-CSDN博客          相比OpenAI的LLM ChatGPT模型必须网络连接并通过API key云端调用模型,担心

    2024年02月08日
    浏览(58)
  • 本地化部署大语言模型 ChatGLM

    ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。 ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优

    2023年04月20日
    浏览(63)
  • 【AI工具】-Stable Diffusion本地化部署教程

    今天我们要介绍的是时下最流行的AI绘图软件Stable Diffusion,虽然Diffusion.ai已经开放api,但是长时间的商业化调用我们需要购买很多的金币。所以我们需要找一个平替的AI绘图平台,现在主流市场中AI绘图软件主要就是OpenAI的DALLE、midjourney以及今天要学习的Stable Diffusion,而前两

    2024年02月13日
    浏览(54)
  • 实战whisper:本地化部署通用语音识别模型

            Whisper 是一种通用语音识别模型。它是在大量不同音频数据集上进行训练的,也是一个多任务模型,可以执行多语言语音识别、语音翻译和语言识别。         这里呢,我将给出我的一些代码,来帮助你尽快实现【语音转文字】的服务部署。         以下是该A

    2024年01月18日
    浏览(95)
  • Window本地化部署stable diffusion AI绘图

    从零开始,手把手教你Window本地化部署stable diffusion AI绘图 - 知乎 (zhihu.com) 解决MAC笔记本Stable Diffusion安装时报No matching distribution found for tb-nightly的问题 - 阿狸哥哥 - 博客园 (cnblogs.com)  修改启动脚本启动命令里加入了 --precision full --no-half precision full就是全精度,no half是不使用

    2024年02月11日
    浏览(51)
  • Window本地化部署stable diffusion AI绘图+问题汇总

    1. 为什么要本地部署 本地部署没有生成数量的限制,不用花钱,生成时间快,不用排队,自由度高很多,可以调试和个性化的地方也更多。 部署过程可以熟悉环境配置的流程,熟悉工程化部署步骤。对于PM来说也是一种技术成长。 部署过程遇到各种问题,在尝试解决的过程

    2024年02月09日
    浏览(53)
  • 不需要GPU就可以玩转模型,同时支持本地化部署

            简单一款不需要GPU就可以在Win 机器跑的模型:Ollama;用于本地运行和部署大型语言模型(LLMs)的开源工具 关于Ollama的简要介绍 平台兼容性 :Ollama支持多种操作系统,包括macOS、Linux和Windows,这使得它在不同用户之间具有较好的可访问性。 模型支持 :它能够支持

    2024年04月16日
    浏览(46)
  • GPT大语言模型Alpaca-lora本地化部署实践【大语言模型实践一】

    Alpaca模型是斯坦福大学研发的LLM(Large Language Model,大语言)开源模型,是一个在52K指令上从LLaMA 7B(Meta公司开源的7B)模型微调而来,具有 70亿 的模型参数(模型参数越大,模型的推理能力越强,当然随之训练模型的成本也就越高)。 LoRA,英文全称Low-Rank Adaptation of Large

    2024年02月05日
    浏览(52)
  • AIGC生成式代码——Code Llama 简介、部署、测试、应用、本地化

            本文介绍了CodeLlama的 简介、本地化部署、测试和应用实战方案 ,帮助学习大语言模型的同学们更好地应用CodeLlama。我们详细讲解了如何将CodeLlama部署到实际应用场景中,并通过实例演示了如何使用CodeLlama进行代码生成和优化。最后,总结了CodeLlama的应用实战经验

    2024年02月05日
    浏览(83)
  • Qodana & IntelliJ IDEA,看代码质量平台如何简化IDE本地化!

    IntelliJ IDEA,是java编程语言开发的集成环境。IntelliJ在业界被公认为最好的java开发工具,尤其在智能代码助手、代码自动提示、重构、JavaEE支持、各类版本工具(git、svn等)、JUnit、CVS整合、代码分析、 创新的GUI设计等方面的功能可以说是超常的。 当程序员规划涉及代码重构的

    2024年02月05日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包