通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用

这篇具有很好参考价值的文章主要介绍了通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用,llama

来自 Meta 的 Llama 2 基础模型现已在 Amazon SageMaker JumpStart 中提供。我们可以通过使用 Amazon SageMaker JumpStart 快速部署 Llama 2 模型,并且结合开源 UI 工具 Gradio 打造专属 LLM 应用。

Llama 2 简介

Llama 2 是使用优化的 Transformer 架构的自回归语言模型,  旨在用于英文领域的商业和研究用途,其 context 长度是 Llama 1 代的两倍。目前提供三种参数规格(7B、13B 和 70B)的基础模型。

通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用,llama

(来源:https://ai.meta.com/llama/)

使用 SageMaker JumpStart 

简化大模型的部署

一站式开发平台 Amazon SageMaker,是一个机器学习(ML)中心,提供预训练模型、内置算法和预构建解决方案,能帮助您快速开始使用机器学习。在 SageMaker JumpStart 中提供了 6 个版本的 Llama-2 模型。

通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用,llama

如果在您的 JumpStart 中没有看到相关的模型,请确认您使用的区域是否已支持 Llama 2 (在 JumpStart 模型页面查询支持的区域)以及是否是最新版本的 Studio(可以通过关闭重启来更新您的 SageMaker Studio 版本)。

下图是在 SageMaker 中 Llama 2 的 6 个模型分别对应的 ID ,默认实例类型,以及每个模型支持的最大 token 数,通过 model_id 我们可以便捷地在 SageMaker Notebook 中启动对应的模型。

通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用,llama

方案概述

我们将在 SageMaker 上部署 Llama-2-7b-chat 模型, 并使 Gradio 构建前端页面,打造一个轻量化的聊天助手。

1. 部署模型

在 SageMaker 中可以使用 JumpStart 或者 Notebook 来部署推理节点,这两种方式我们都会展示。

1.1 SageMaker JumpStart 一键部署

在 SageMaker Studio 中您可以搜索到对应的模型, 点击就可以进入对应的模型页面。在这里我们使用了 Llama-2-7b-chat 的模型。

通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用,llama

点击 Deploy 即可以部署相关模型,部署时间大约 15 分钟 – 20 分钟左右,另外可以通过 Deployment Configuration 修改对应部署的实例类型。

通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用,llama

在部署完成后,您可以看到对应的推理节点信息。

1.2 使用 SageMaker Notebook 部署

如何您使用了 JumpStart 部署则不需要通过 SageMaker Notebook 部署,直接跳到 2。

(1)设置模型 ID ,在这里我们选择了 7b 规格的 chat 模型

通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用,llama

(2)部署指定的模型(meta-textgeneration-llama-2-7b-f)

通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用,llama

大约在 15 – 20 分钟左右您可以部署完成,完成后在 Amazon Website Service 控制台 SageMaker 页面中的“终端节点”标签下,可以看到目前已经被启动的推理节点。

通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用,llama

2. 设置模型的参数

通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用,llama

3. 启动 Gradio 与部署完的模型进行交互

通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用,llama

在执行完以后 Gradio 提供了本地的 url 和在 Gradio 上托管的 url 供您使用。

通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用,llama

注意,您需要进行设置 custom_attributes=”accept_eula=true”才能成功调用推理端点。这样做是确认接受 Llama 2 的用户许可协议和使用政策。

完整的代码可以参考链接:

https://github.com/tsaol/llama2-on-aws.git。

4. 测试

打开 Gradio 提供的链接,我们会看到一个聊天页面,可以尝试向 Llama 2 问些问题。

通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用,llama

5. 清理和删除环境

通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用,llama

总结

本文介绍了如何使用 SageMaker JumpStart 以及 Notebook 部署 Llama 2 模型,结合 Gradio 轻松构建生成式 AI 应用。基于托管服务的特性让您无需担心底层基础设施的搭建与运维,同时拥有良好的开源项目体验。您还可以基于现有的方案进一步改造,打造专属的大模型应用。

参考资料

https://aws.amazon.com/cn/about-aws/whats-new/2023/07/llama-2-foundation-models-meta-amazon-sagemaker-jumpstart/

https://dev.amazoncloud.cn/column/article/64bf831469c6a22f966a19f4

https://aws.amazon.com/cn/blogs/machine-learning/llama-2-foundation-models-from-meta-are-now-available-in-amazon-sagemaker-jumpstart/

https://arxiv.org/pdf/2307.09288.pdf

https://www.gradio.app/guides

https://ai.meta.com/llama/

本篇作者

通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用,llama

曹镏

亚马逊云科技解决方案架构师,负责企业信息化方案的咨询和架构设计。超过 10 年的研发经验,曾在大型国企和互联网独角兽任职,并主导百亿级平台的技术架构和数据架构的设计与落地。专注数智融合以及生成式 AI 方向,赋能企业创新成长。

通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用,llama

听说,点完下面4个按钮

就不会碰到bug了!

通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用,llama文章来源地址https://www.toymoban.com/news/detail-650550.html

到了这里,关于通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Amazon SageMaker:探索AI绘画云端部署新方案

    在过去,人们只希望基于已有的给定数据做一些预测和拟合,因此判别式模型得到发展并且很好地解决了大部分任务;而未来,人们将目标转向用生成式模型生成全新数据,进行迁移学习等,也就是常说的 人工智能生成内容(AI Generated Content, AIGC) AI绘画 就是AIGC技术中的一种,

    2024年02月08日
    浏览(41)
  • 基于Amazon SageMaker平台部署Stable Diffusion模型实现——图片识别

    当谈到机器学习和人工智能的开发和部署时,Amazon SageMaker是一个非常强大和全面的平台。作为一项托管式的机器学习服务,Amazon SageMaker提供了一套完整的工具和功能,帮助开发者轻松构建、训练和部署机器学习模型。 首先,让我们谈谈我对Amazon SageMaker的看法。我认为它是一

    2024年02月09日
    浏览(42)
  • Llama 2 云端部署与API调用【AWS SageMaker】

    Meta 刚刚发布了 Llama 2 大模型。如果你和我们一样,你一定会迫不及待地想要亲自动手并用它来构建。 推荐:用 NSDT设计器 快速搭建可编程3D场景。 使用任何类型的 LLM 进行构建的第一步是将其托管在某处并通过 API 使用它。 然后你的开发人员可以轻松地将其集成到你的应用

    2024年02月14日
    浏览(44)
  • Amazon SageMaker测评

    (声明:本篇文章授权活动官方亚马逊云科技文章转发、改写权,包括不限于在 亚马逊云科技开发者社区、知乎、自媒体平台、第三方开发者媒体等亚马逊云科技官方渠道) 在 2023亚马逊云科技 re:Invent 上,发布了 Amazon SageMaker 的五项新功能,旨在加速构建、训练和部署大型

    2024年02月02日
    浏览(44)
  • 使用 Amazon SageMaker 和 Amazon CodeWhisperer,解锁数据见解

    : [Amazon Web Services re:Invent 2023, Amazon Kendra, Generative Ai, Amazon Sagemaker, Amazon Kendra, Amazon Bedrock, Vector Databases] 本文字数: 1700, 阅读完需: 8 分钟 如视频不能正常播放,请前往bilibili观看本视频。 https://www.bilibili.com/video/BV19j41157Ux 由于数据准备、清理、探索和可视化效率低下,从

    2024年02月04日
    浏览(49)
  • Amazon SageMaker测评分享,效果超出预期

    随着科技的进步和社会的发展,人工智能得到了愈加广泛的重视,特别是最近大火的Chatgpt,充分展现了研发通用人工智能助手广阔的研究和应用前景。让越来越多的组织和企业跟风加入到人工智能领域的研究中, 但机器学习的实施是一项极其复杂的工作,不仅需要专业技能

    2023年04月09日
    浏览(43)
  • 9 种方法使用 Amazon CodeWhisperer 快速构建应用

    文章作者:Kris Schultz 3D Specialist Solutions Architect, Amazon Web Services 文章译者:郑予彬 亚马逊云科技资深开发者布道师 代码校验:阙铭飞 亚马逊云科技大中华区解决方案研发中心 解决方案架构师 Amazon CodeWhisperer 是一款很赞的生成式人工智能编程工具。自从在工作中使用了 Cod

    2024年02月12日
    浏览(50)
  • Amazon SageMaker机器学习之旅的助推器

    授权声明:本篇文章授权活动官方亚马逊云科技文章转发、改写权,包括不限于在 亚马逊云科技开发者社区, 知乎,自媒体平台,第三方开发者媒体等亚马逊云科技官方渠道。         在当今的数字化时代,人工智能和机器学习已经成为推动社会进步的重要引擎。 亚马

    2024年01月17日
    浏览(42)
  • Amazon SageMaker简直就是机器学习平台的天花板

    最近参与了亚马逊云科技【云上探索实验】活动,通过Amazon SageMaker基于Stable Diffusion模型,非常简单快速搭建的第一个AIGC,一开始以为非常复杂,不懂动手操作,但实际上操作非常简单,没有想象中的恐怖,整体体验非常愉快,我先对Amazon SageMaker简单介绍,然后对基于Stabl

    2023年04月09日
    浏览(54)
  • Amazon SageMaker + Stable Diffusion 搭建文本生成图像模型

    如果我们的 计算机视觉 系统要真正理解视觉世界,它们不仅必须能够识别图像,而且必须能够生成图像 。 文本到图像的 AI 模型仅根据简单的文字输入就可以生成图像 。 近两年,以ChatGPT为代表的AIGC技术崭露头角,逐渐从学术研究的象牙塔迈向工业应用的广阔天地。随着下

    2024年04月09日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包