Tabby - 基于AI大模型的编程助手-Toy模板网

这篇具有很好参考价值的文章主要介绍了Tabby - 基于AI大模型的编程助手。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Tabby是一个自托管 AI 编码助手。 GitHub Copilot 的开源/本地替代方案。

Tabby - 基于AI大模型的编程助手,人工智能

推荐：用 NSDT场景设计器快速搭建3D场景。

1、主要特性

自包含，不需要 DBMS 或云服务
用于可视化、配置模型和 MLOps 的 Web UI。
OpenAPI 接口，易于与现有基础架构（例如 Cloud IDE）集成。
消费级 GPU 支持（具有各种优化的 FP-16 权重加载）。

2、Tabby演示

Tabby - 基于AI大模型的编程助手,人工智能

3、Docker安装Tabby

# Create data dir and grant owner to 1000 (Tabby run as uid 1000 in container)
mkdir -p data/hf_cache && chown -R 1000 data

docker run \
  -it --rm \
  -v ./data:/data \
  -v ./data/hf_cache:/home/app/.cache/huggingface \
  -p 5000:5000 \
  -e MODEL_NAME=TabbyML/J-350M \
  tabbyml/tabby

要使用 GPU 后端 (triton) 获得更快的推理速度：

docker run \
  --gpus all \
  -it --rm \
  -v ./data:/data \
  -v ./data/hf_cache:/home/app/.cache/huggingface \
  -p 5000:5000 \
  -e MODEL_NAME=TabbyML/J-350M \
  -e MODEL_BACKEND=triton \
  tabbyml/tabby

注意：要使用 GPU，你需要安装 NVIDIA Container Toolkit。我们还建议使用带有 CUDA 11.8 或更高版本的 NVIDIA 驱动程序。

然后，可以使用 /v1/completions 端点查询服务器：

curl -X POST http://localhost:5000/v1/completions -H 'Content-Type: application/json' --data '{
    "prompt": "def binarySearch(arr, left, right, x):\n    mid = (left +"
}'

我们还在管理面板 localhost:5000/_admin 中提供了一个交互式练习环境：
Tabby - 基于AI大模型的编程助手,人工智能