简介
该项目旨在为各种大语言模型（LLM）在生产环境中的部署和可观测性提供一个标准的解决方案，用最简单直接的方式把大语言模型（LLM）部署到云端或本地，并且可以放心地用于生产环境中，此外还提供了进一步的能力来让用户更加方便地基于大语言模型（LLM）构建更强大的 AI 应用。OpenLLM是一个用于在生产环境中操作大型语言模型（LLM）的开放平台，它可以轻松地微调、服务、部署和监控任何LLM。
借助 OpenLLM，您可以使用任何开源大型语言模型 (LLM) 运行推理，部署到云端或本地，并构建强大的 AI 应用程序。
-
**SOTA LLM：**内置支持广泛的开源大语言模型（LLM）和模型运行时，包括 StableLM、Falcon、Dolly、Flan-T5、ChatGLM、StarCoder 等。
-
**灵活的 API：**使用一个命令通过 RESTful API 或 gRPC 为大语言模型（LLM）提供服务，通过 WebUI、CLI、我们的 Python/Javascript 客户端或任何 HTTP 客户端进行查询。
-
**自由构建：**对 LangChain 和 BentoML 的一流支持使您可以通过将大语言模型（LLM）与其他模型和服务组合来轻松创建自己的 AI 应用程序。
-
**简化部署：**自动生成您的大语言模型（LLM）服务器 Docker 镜像或通过 ☁️ BentoCloud 部署为无服务器端点。
-
**Bring your own LLM：**使用 LLM.tuning() 微调任何大语言模型（LLM）以满足您的需求。（即将推出）
一、安装
要使用 OpenLLM，您需要在系统上安装 Python 3.8（或更新版本）和 pip 。我们强烈建议使用虚拟环境来防止包冲突。
您可以使用 pip 安装 OpenLLM，如下所示：
pip install openllm
要验证它是否安装正确，请运行：
$ openllm -h
Usage: openllm [OPTIONS] COMMAND [ARGS]...
██████╗ ██████╗ ███████╗███╗ ██╗██╗ ██╗ ███╗ ███╗
██╔═══██╗██╔══██╗██╔════╝████╗ ██║██║ ██║ ████╗ ████║
██║ ██║██████╔╝█████╗ ██╔██╗ ██║██║ ██║ ██╔████╔██║
██║ ██║██╔═══╝ ██╔══╝ ██║╚██╗██║██║ ██║ ██║╚██╔╝██║
╚██████╔╝██║ ███████╗██║ ╚████║███████╗███████╗██║ ╚═╝ ██║
╚═════╝ ╚═╝ ╚══════╝╚═╝ ╚═══╝╚══════╝╚══════╝╚═╝ ╚═╝
An open platform for operating large language models in production.
Fine-tune, serve, deploy, and monitor any LLMs with ease.
二、启动LLM服务器
要启动 LLM 服务器，请使用 openllm start 。例如，要启动一个 dolly-v2 服务器：
openllm start dolly-v2
在此之后，可以通过 http://0.0.0.0:3000 访问 Web UI，您可以在其中试验端点和样本输入提示。
OpenLLM 提供了一个内置的 Python 客户端，允许您与模型进行交互。在不同的终端窗口或 Jupyter notebook 中，创建一个客户端以开始与模型交互：
>>> import openllm
>>> client = openllm.client.HTTPClient('http://localhost:3000')
>>> client.query('Explain to me the difference between "further" and "farther"')
您还可以使用 openllm query 命令从终端查询模型：
export OPENLLM_ENDPOINT=http://localhost:3000
openllm query 'Explain to me the difference between "further" and "farther"'
访问：http://0.0.0.0:3000/docs.json 了解 OpenLLM 的 API 规范。
openllm start flan-t5 --model-id google/flan-t5-large
使用 openllm models 命令查看 OpenLLM 支持的模型及其变体列表。文章来源：https://www.toymoban.com/news/detail-576681.html
项目链接
https://github.com/bentoml/OpenLLM文章来源地址https://www.toymoban.com/news/detail-576681.html
到了这里，关于AIGC：大语言模型开放平台OpenLLM简介（提供简易的模型部署体验）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
![[Unity+智谱AI开放平台]调用ChatGLM Tuobo模型驱动AI小姐姐数字人](https://imgs.yssmx.com/Uploads/2024/02/735186-1.png)
