跑通!跑通!全程跑通!
雄哥认为未来agent的终局大概率是一个人,管理部门多个AI Agent同时工作,人力将解放!
想象一下,你翘个二郎腿,偌大的办公室,只有你一个人,喊一句:“做个月度计划”,他自动分析上月数据,整合现有资源,做本月的规划,人场地资金!做完跟你汇报,你只需说“OK”,他自动发给老板!
当然!!老板也会接入专家Agent,帮他全权管理公司,甚至实现一个老板,请三五个员工,就能干完现在50人+的事情!
想想这多恐怖!!
上篇,我们用GPT4跑通了整个微软Autogen项目,并且拉了几个专家Agent一起做数学题、一起讨论干活!
【彻底失眠!把代理Agent拉到一个群干活!跑完微软Autogen实例后emo了!附官方论文原件】
今天我们实现本地LLM的Agent,接入微软Autogen的项目,实现完全本地化部署和推理,直接加快微软Autogen在国内商业落地的速度!
我们知道OpenAI的接口是无法在国内实现备案+商业化操作的!那本地llm实现Agent,是可以完全商业化运作的!
【大模型合法化指南!附算法备案范本!项目商业落地必看!】
虽然本地部署需要大量计算资源,但本地的实现,直接打开落地的大门!
今天我们就本地实现微软的Autogen过程做分享:
①是通过什么方法实现的?用到什么工具;
②支持哪些模型?功能怎样;
③跟着代码跑一个实例!一边跑一边聊细节;
>第一部分:通过什么方法实现的?用到什么工具?
首先,你需要在知识星球下载到本地LLM+实跑教程的代码原件!
一看便知,整个实现过程非常的简单!
公号获得方法!
实现方法非常简单!
用FastChat部署启动本地LLM,然后通过对齐OpenAI的key,接入到autogen.oai.Completion库中,然后你就可以跟着第一篇的教程,部署autogen了!
FastChat>>>启动本地LLM>>>对齐OpenAI KEY>>>接入Autogen
>第二部分:支持哪些模型?功能怎样?
目前我们已经测试过多个本地的开源LLM部署,目前llama2反馈的结果是最好的!闭源模型阵营中,除了OpenAI,没有测试过!
而且,支持微调后的本地LLM,真正实现专家Agent就干专长的事!我们做了一个简单的统计表,如果你还测试过其他模型,欢迎交流!
统计情况如下(主观):
如果你在跑其他的试验,再次欢迎你加入讨论;
>第三部分:跟着代码跑一个实例,一边跑一边聊;
刚才我们也说了,得益于微软Autogen的框架,整个开发过程,非常的简单!Autogen的部署过程,上节已经讲过了!今天主要讲接入Autogen前的过程!
3.1 FastChat的部署
首先,你需要创建AI环境,具体创建过程我不说了,雄哥已经课程里有一张专门讲环境搭建的!
第四天!0基础微调大模型+知识库,部署在微信!手把手安装AI必备环境!4/45
克隆FastChat的仓库,并进入目录中
git clone https://github.com/lm-sys/FastChat.git
cd FastChat
如果你本地没有基座,需要你先下载
git clone https://huggingface.co/THUDM/chatglm2-6b
安装serve库
python -m fastchat.serve.controller
3.2 启动本地LLM
确保权重全部下载完成,如果你没办法用抱脸下载,你可以用国内镜像源或者在雄哥星球的链接下载
python -m fastchat.serve.model_worker --model-path chatglm2-6b
3.3 启动接API
这里注意第一个坑!没跑过的不知道!
这个“host localhost",你要改本地的地址,例如:127.0.0.1
python -m fastchat.serve.openai_api_server --host localhost --port 8000
他返回的key,是默认对齐OpenAI KEY的,意思是我们本地的LLM的API,“伪装成”OpenAI的key,让他可以被接入到Autogen中!因为星球有朋友问到这个事,简单说说!
3.4 接入Autogen
这时我们打开jupyter-notebook,具体打开方法,环境篇也说了!
这里,我们先加载oai.Completion,然后把你得到的api地址,填写到下面去!
记住!一定要加“v1”,否则是无法被接入的!其他别动!
from autogen import oai
# create a text completion request
response = oai.Completion.create(
config_list=[
{
"model": "chatglm2-6b",
"api_base": "http://localhost:8000/v1",
"api_type": "open_ai",
"api_key": "NULL", # just a placeholder
}
],
prompt="Hi",
)
print(response)
# create a chat completion request
response = oai.ChatCompletion.create(
config_list=[
{
"model": "chatglm2-6b",
"api_base": "http://localhost:8000/v1",
"api_type": "open_ai",
"api_key": "NULL",
}
],
messages=[{"role": "user", "content": "Hi"}]
)
print(response)
他是支持多个本地LLM启动的!前提是你本地有足够的算力资源!
这里简单说下实现方法!把上面的步骤,稍微改改:
python -m fastchat.serve.multi_model_worker \
--model-path lmsys/vicuna-7b-v1.3 \
--model-names vicuna-7b-v1.3 \
--model-path chatglm2-6b \
--model-names chatglm2-6b
然后再启动接入!
from autogen import oai
# create a chat completion request
response = oai.ChatCompletion.create(
config_list=[
{
"model": "chatglm2-6b",
"api_base": "http://localhost:8000/v1",
"api_type": "open_ai",
"api_key": "NULL",
},
{
"model": "vicuna-7b-v1.3",
"api_base": "http://localhost:8000/v1",
"api_type": "open_ai",
"api_key": "NULL",
}
],
messages=[{"role": "user", "content": "Hi"}]
)
print(response)
之后你要做的事情,就是跟着第一篇的内容,正常配置Autogen即可!
彻底失眠!把代理Agent拉到一个群干活!跑完微软Autogen实例后emo了!附官方论文原件
>也许我们正在见证一个时代文章来源:https://www.toymoban.com/news/detail-741711.html
期待吧!文章来源地址https://www.toymoban.com/news/detail-741711.html
到了这里,关于大突破!本地大模型接入微软Autogen,多专家Agent共事成现实!支持llama2+chatglm,附代码!的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!