大突破!本地大模型接入微软Autogen,多专家Agent共事成现实!支持llama2+chatglm,附代码!

这篇具有很好参考价值的文章主要介绍了大突破!本地大模型接入微软Autogen,多专家Agent共事成现实!支持llama2+chatglm,附代码!。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

跑通!跑通!全程跑通!

雄哥认为未来agent的终局大概率是一个人,管理部门多个AI Agent同时工作,人力将解放!

想象一下,你翘个二郎腿,偌大的办公室,只有你一个人,喊一句:“做个月度计划”,他自动分析上月数据,整合现有资源,做本月的规划,人场地资金!做完跟你汇报,你只需说“OK”,他自动发给老板!

当然!!老板也会接入专家Agent,帮他全权管理公司,甚至实现一个老板,请三五个员工,就能干完现在50人+的事情!

想想这多恐怖!!

上篇,我们用GPT4跑通了整个微软Autogen项目,并且拉了几个专家Agent一起做数学题、一起讨论干活!

【彻底失眠!把代理Agent拉到一个群干活!跑完微软Autogen实例后emo了!附官方论文原件】

大突破!本地大模型接入微软Autogen,多专家Agent共事成现实!支持llama2+chatglm,附代码!,microsoft

今天我们实现本地LLM的Agent,接入微软Autogen的项目,实现完全本地化部署和推理,直接加快微软Autogen在国内商业落地的速度!

我们知道OpenAI的接口是无法在国内实现备案+商业化操作的!那本地llm实现Agent,是可以完全商业化运作的!

【大模型合法化指南!附算法备案范本!项目商业落地必看!】

虽然本地部署需要大量计算资源,但本地的实现,直接打开落地的大门!

今天我们就本地实现微软的Autogen过程做分享:

①是通过什么方法实现的?用到什么工具;

②支持哪些模型?功能怎样;

③跟着代码跑一个实例!一边跑一边聊细节;


>第一部分:通过什么方法实现的?用到什么工具?

首先,你需要在知识星球下载到本地LLM+实跑教程的代码原件!

一看便知,整个实现过程非常的简单!

公号获得方法!

实现方法非常简单!

用FastChat部署启动本地LLM,然后通过对齐OpenAI的key,接入到autogen.oai.Completion库中,然后你就可以跟着第一篇的教程,部署autogen了!

FastChat>>>启动本地LLM>>>对齐OpenAI KEY>>>接入Autogen


>第二部分:支持哪些模型?功能怎样?

目前我们已经测试过多个本地的开源LLM部署,目前llama2反馈的结果是最好的!闭源模型阵营中,除了OpenAI,没有测试过!

而且,支持微调后的本地LLM,真正实现专家Agent就干专长的事!我们做了一个简单的统计表,如果你还测试过其他模型,欢迎交流!

统计情况如下(主观):

大突破!本地大模型接入微软Autogen,多专家Agent共事成现实!支持llama2+chatglm,附代码!,microsoft

如果你在跑其他的试验,再次欢迎你加入讨论;


>第三部分:跟着代码跑一个实例,一边跑一边聊;

刚才我们也说了,得益于微软Autogen的框架,整个开发过程,非常的简单!Autogen的部署过程,上节已经讲过了!今天主要讲接入Autogen前的过程!

3.1 FastChat的部署

首先,你需要创建AI环境,具体创建过程我不说了,雄哥已经课程里有一张专门讲环境搭建的!

第四天!0基础微调大模型+知识库,部署在微信!手把手安装AI必备环境!4/45

克隆FastChat的仓库,并进入目录中

git clone https://github.com/lm-sys/FastChat.git
cd FastChat

如果你本地没有基座,需要你先下载

git clone https://huggingface.co/THUDM/chatglm2-6b

安装serve库

python -m fastchat.serve.controller

3.2 启动本地LLM

确保权重全部下载完成,如果你没办法用抱脸下载,你可以用国内镜像源或者在雄哥星球的链接下载

python -m fastchat.serve.model_worker --model-path chatglm2-6b

3.3 启动接API

这里注意第一个坑!没跑过的不知道!

这个“host localhost",你要改本地的地址,例如:127.0.0.1

python -m fastchat.serve.openai_api_server --host localhost --port 8000

他返回的key,是默认对齐OpenAI KEY的,意思是我们本地的LLM的API,“伪装成”OpenAI的key,让他可以被接入到Autogen中!因为星球有朋友问到这个事,简单说说!

3.4 接入Autogen

这时我们打开jupyter-notebook,具体打开方法,环境篇也说了!

这里,我们先加载oai.Completion,然后把你得到的api地址,填写到下面去!

记住!一定要加“v1”,否则是无法被接入的!其他别动!

from autogen import oai
​
# create a text completion request
response = oai.Completion.create(
    config_list=[
        {
            "model": "chatglm2-6b",
            "api_base": "http://localhost:8000/v1",
            "api_type": "open_ai",
            "api_key": "NULL", # just a placeholder
        }
    ],
    prompt="Hi",
)
print(response)
# create a chat completion request
response = oai.ChatCompletion.create(
    config_list=[
        {
            "model": "chatglm2-6b",
            "api_base": "http://localhost:8000/v1",
            "api_type": "open_ai",
            "api_key": "NULL",
        }
    ],
    messages=[{"role": "user", "content": "Hi"}]
)
print(response)

他是支持多个本地LLM启动的!前提是你本地有足够的算力资源!

这里简单说下实现方法!把上面的步骤,稍微改改:

python -m fastchat.serve.multi_model_worker \
    --model-path lmsys/vicuna-7b-v1.3 \
    --model-names vicuna-7b-v1.3 \
    --model-path chatglm2-6b \
    --model-names chatglm2-6b

然后再启动接入!

from autogen import oai
​
# create a chat completion request
response = oai.ChatCompletion.create(
    config_list=[
        {
            "model": "chatglm2-6b",
            "api_base": "http://localhost:8000/v1",
            "api_type": "open_ai",
            "api_key": "NULL",
        },
        {
            "model": "vicuna-7b-v1.3",
            "api_base": "http://localhost:8000/v1",
            "api_type": "open_ai",
            "api_key": "NULL",
        }
    ],
    messages=[{"role": "user", "content": "Hi"}]
)
print(response)

之后你要做的事情,就是跟着第一篇的内容,正常配置Autogen即可!

彻底失眠!把代理Agent拉到一个群干活!跑完微软Autogen实例后emo了!附官方论文原件


>也许我们正在见证一个时代

期待吧!文章来源地址https://www.toymoban.com/news/detail-741711.html

到了这里,关于大突破!本地大模型接入微软Autogen,多专家Agent共事成现实!支持llama2+chatglm,附代码!的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 不需要本地部署大模型,modelscope-agent加qwen-max免费搭建自己的定制机器人

    最近阿里开源了通用大模型qwen-72b,正在为怎么本地化部署发愁,转眼看到提供了qwen-max相关接口的免费试用(据说就是基于qwen-72b大模型),这就来体验一番。 开通阿里云灵积平台,并创建api-key python:3.10+; pydantic 2.0以上,老版本pydantic会报一个tool_schema.model_dump_json的函数错误

    2024年01月25日
    浏览(58)
  • LLM-分布式训练工具(一):DeepSpeed【微软】【大模型分布式训练工具,实现ZeRO并行训练算法】【zero3配置将模型参数切分后分配到不同的显卡中,突破单张显卡容量不足以加载模型参数的限制】

    DeepSpeed是微软推出的大规模模型分布式训练的工具,主要实现了ZeRO并行训练算法。 原始文档链接: DeepSpeed Optimizer state partitioning (ZeRO stage 1) Gradient partitioning (ZeRO stage 2) Parameter partitioning (ZeRO stage 3) Custom mixed precision training handling A range of fast CUDA-extension-based optimizers ZeRO-Offlo

    2024年02月16日
    浏览(42)
  • 微软推出安全专家服务,携手合作伙伴建立更安全的世界

    Vasu Jakkal,微软公司副总裁,安全、合规、身份和管理部门   威胁增多,防御不足 对于客户来说,安全形势日趋复杂,越来越具有挑战性。过去一年,威胁数量以惊人的速度增长着,预计到2025年,网络犯罪每年将给世界造成10.5万亿美元的损失,远高于十年前的3万亿美元和

    2024年01月24日
    浏览(44)
  • 探索微软Azure Pipelines Agent:高效持续集成与部署的秘密武器

    项目地址:https://gitcode.com/microsoft/azure-pipelines-agent 在软件开发的世界中,持续集成和部署(CI/CD)是速度和质量的保证。微软的Azure Pipelines Agent正是这样一个工具,它为你的代码构建、测试和发布流程提供了强大的支持。本文将深入探讨该项目的核心功能、技术特点,并解释为

    2024年04月10日
    浏览(60)
  • k8s部署服务接入skywalking之java agent使用(基于sideCar模式)

    java应用在接入skywalking的时候,需要在启动参数指定 java agent的jar包 -javaagent:/usr/local/skywalking/apache-skywalking-apm-bin/agent/skywalking-agent/skywalking-agent.jar 目前不打算将agent相关文件制作到java服务镜像里面 希望通过 挂载 的方式将agent包提供出来供java服务使用 决定采用 基于sideCar 模式

    2024年02月07日
    浏览(50)
  • Quantinuum与微软携手突破:开创容错量子计算新纪元

      每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与

    2024年04月10日
    浏览(39)
  • 见证历史:Quantinuum与微软取得突破性进展,开启了可靠量子计算的新时代!

    Quantinuum与微软的合作取得了重大突破,将可靠量子计算带入了新的时代。他们结合了Quantinuum的System Model H2量子计算机和微软创新的量子比特虚拟化系统, 在逻辑量子比特领域取得了800倍于物理电路错误率的突破 。这一创新不仅影响深远,加速了量子计算的进展,也挑战了传

    2024年04月14日
    浏览(42)
  • 深度求索开源国内首个 MoE 大模型 | DeepSeekMoE:在专家混合语言模型中实现终极专家专业化

    🍉 CSDN 叶庭云 : https://yetingyun.blog.csdn.net/ 在大语言模型时代,混合专家模型(MoE)是一种很有前途的架构,用于在扩展模型参数时管理计算成本。然而,传统的 MoE 架构(如 GShard)会激活 N 位专家中的 top-K 专家,但在确保专家专业化(即每位专家获取的知识不重叠且重点突

    2024年01月22日
    浏览(51)
  • 数据分析专家能力模型

    招式:懂商业(业务能力) 外功更偏重于技能,首先需要懂招式,即懂商业,数据分析最终是为业务服务的,无论是互联网企业准求的用户增长和UJM分解,还是传统企业追求的降本增效和精细化运营,最终都是为了更好的识别业务问题,寻求解决方案,提出落地建议。如果不

    2024年04月28日
    浏览(26)
  • ChatGPT 混合专家模型

    业内人士近日对 OpenAI 今年 3 月发布的 GPT-4 大模型进行了大揭秘,具体而言,GPT-4 使用了 16 个混合专家模型 (mixture of experts),每个有 1110 亿个参数,每次前向传递路由经过两个专家模型。 什么是混合专家模型? 混合专家模型是一种组合多个专家模型的方法,旨在通过利用每

    2024年02月16日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包