使用 Amazon SageMaker Canvas 以无代码/低代码方式实现机器学习民主化-Toy模板网

这篇具有很好参考价值的文章主要介绍了使用 Amazon SageMaker Canvas 以无代码/低代码方式实现机器学习民主化。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

关键字: [Amazon Web Services re:Invent 2023, Amazon SageMaker Canvas, Democratize Machine Learning, No Code Low Code, Amazon Sagemaker Canvas, Fine Tune Foundation Models, Prepare Data Visually]

本文字数: 2700, 阅读完需: 14 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV12u4y1c7Ce

导读

机器学习 (ML)可以解决帮助组织实现更好结果的业务问题。但是，如何将机器学习超越技术用户，在整个组织中实现它？在本论坛中，学习如何使用 Amazon SageMaker Canvas，完成机器学习生命周期，从准备数据和创建模型到生成预测，而无需编写一行代码。通过 SageMaker Canvas，您可以利用现成的模型或创建自己的模型，从数据和 ML 中获得见解。加入我们，在组织中实现机器学习民主化，并实现更好的业务成果。

演讲精华

以下是小编为您整理的本次演讲的精华，共2400字，阅读时间大约是12分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

亚马逊云科技的SageMaker本地无代码团队的总经理Raj Singh在一次约有500人的会议上开始了他的演讲，主题是关于使用SageMaker Canvas普及机器学习的民主化。他邀请了两位共同发言者——大卫·加列埃和拉姆·德·弗利。

Raj首先向观众了解他们在机器学习方面的经验水平。他询问与会者是否已经有几年积极的机器学习和开发模型的经验。根据对房间的视觉观察，Raj估计大约有30人，即6%的与会者举手。当问到那些认为自己机器学习中途的初学者时，房间里更多的人，大约65-70%，或325-350人举起了手。

Raj解释说，亚马逊云科技的目标是使每个人都能利用机器学习，而不仅仅是经验丰富的开发者。他分享了一个统计数据，过去两年里，各组织对于机器学习解决方案的需求激增了300%以上。然而，目前全球只有不到100万具有深厚机器学习技能和专长的人。这种需求远远超过供应的严重不匹配导致了像SageMaker Canvas这样的低代码和无代码工具的迫切需求。

为了说明企业所面临的挑战，Raj概述了亚马逊云科技客户经常描述的两个关键问题。首先是机器学习专家过于繁忙，因为平均来说，来自业务的需求比可开发的专家多出5-10倍。因此，大部分（70-80%）的建议项目需要等待数月甚至数年才能被优先处理和发展。

Secondly, although 52% of enterprises desire to adopt machine learning, only 22% have the necessary in-house skills. Even if business users acquire some basic ML skills, the available tools typically do not facilitate collaboration with experienced machine learning developers for feedback prior to deployment.

Raj explains that Amazon SageMaker Canvas directly addresses these bottlenecks, making machine learning more accessible. It provides a visual workspace for business users and domain experts without the need for coding. Canvas enables users to build, deploy, and manage machine learning models, including deep learning and generative AI.

One of the key features enabling this goal is the provision of ready-to-use pre-trained models. Canvas offers more than 85 pre-built models supported by Amazon Web Services AI services, allowing users to bring their own data and generate predictions immediately without needing to develop models from scratch. This reduces project timelines from months to weeks or days. In cases where pre-built models are insufficient, SageMaker Canvas also allows users to develop custom models tailored to their specific data.

Collaboration is seamlessly supported through multiple modes. Models built in Canvas can be exported for machine learning developers to use SageMaker Studio for inspection and feedback, ensuring business users develop high-quality models following best practices. Canvas also allows non-coding users to inspect the actual Python code used for model training and inference.

Raj emphasizes that due to its combination of no-code templates and custom modelling options, SageMaker Canvas can be scaled for widespread use across various industries. Examples of customer applications using Canvas include:

Natural language queries and analysis of enterprise documents or the data lake for document-based question answering and analytics
Generating content and analysing text using natural language models
Predictive analyses for customer churn prevention, credit risk assessment, and inventory prediction
Computer vision applications such as visual defect detection in manufacturing and object detection in security systems

时间序列预测需求规划、销售预测和工作量容量建模"

为了展示现成的预训练模型的应用，Raj详细阐述了与亚马逊云科技AI服务的整合方式：

通过Amazon Bedrock，用户可以访问HuggingFace模型，如BERT和GPT-2，以解决自然语言相关任务。
借助Amazon Textract，实现智能文档处理和数据提取。
Amazon Comprehend则提供自然语言处理能力，以进行情感分析和实体识别。
Amazon Rekognition具备计算机视觉功能，适用于图像和视频分析。

通过这些集成，用户可通过SageMaker Canvas轻松应用先进的深度学习模型，无需编程技能。接着，Raj强调了近期re:Invent上推出的一项新功能：

互动式评估和比较模型：用户现在可以通过Canvas的用户界面评估和尝试不同的预训练模型（源自Amazon Bedrock和SageMaker JumpStart）。他们可以选择示例提示并试用地面模型输出，以选定最适合其应用场景的模型。
无代码微调：用户现在可以在自己的数据上微调这些预训练模型，无需编写任何代码。他们只需选择一个基本模型，上传带有标签示例的数据集，并通过一键“微调”按钮完成操作。Canvas会处理训练作业并提供模型评估指标，包括准确性、延迟和偏见指标。

关于自定义模型构建，Raj概述了如何利用SageMaker Canvas引导用户完成整个流程：

数据导入：用户可从超过50个不同来源导入结构化数据，包括Amazon S3和Redshift、Snowflake、Salesforce等。
数据准备：Canvas提供内置工具对数据进行简介、分析、清理和转换。新功能演示包括可视工作流程编辑和用于数据准备的自然语言查询。
模型构建：用户可一次性完成模型训练、配置选项（如问题类型：分类、预测等）以及AutoML处理的算法选择和超参数调整。
生成预测：Canvas允许用户生成批量或实时预测，由SageMaker推断引擎驱动。
模型部署：用户可使用一键将模型部署到生产端点，便于从应用程序或数据工作流中调用。

六、分享与合作 - 用户可将笔记本导出并与SageMaker Studio集成，将模型注册到SageMaker模型注册表中，以便开发者共享。尽管Canvas提供了丰富的功能，但亚马逊云科技理解组织需要适当管理权限和访问。SageMaker Canvas允许管理员限制用户对特定模型构建任务的权限，并通过集成为单点登录(SSO)进行访问控制。此外，新的成本优化功能可允许在非营业时间自动关闭闲置资源，从而为开发环境设定成本上限。使用率指标使管理员了解不同团队如何利用SageMaker Canvas。

在了解了Canvas的价值主张和最新更新背景后，拉杰邀请了大卫·伽利略来展示新的微调功能。大卫分享了一个关于投资建议的使用场景，说明了默认模型是如何根据其原始训练数据进行通用结果的。他展示了如何在Canvas中使用定制数据对其中一个内置的基础模型进行调整，这些数据专门适用于他公司的产品和服务策略。通过在Canvas界面上进行简单的操作，他能够让模型专门化以生成符合他业务需求的定制化推荐。

大卫上传了一个包含50行的CSV数据集，每行包含一个示例提示和一个理想的推荐模型完成。他选择了两个要微调的基础模型，包括来自亚马逊Bedrock的7.74亿参数Titian-Dolly模型和来自SageMaker JumpStart的70亿参数Falcon模型。在调整过程中，Canvas界面允许大卫监控培训工作的进度，每个调整过程大约需要10分钟才能完成。完成后，他可以分析每个已调整的模型的性能，查看准确性指标、损失曲线和其他评估。结果显示，定制的Falcon模型能够提供与他训练数据中的提示和完成紧密一致的投资建议，而原始的开箱即用模型仍然会提供更多的通用结果。

David展示了如何构建完整的自定义模型工作流，以及如何将结构化数据从不同的来源导入Canvas中进行处理。他将两个样本数据集进行了合并，最终得到了一个包含5000行和12列的组合数据集。接着，他运行了一个数据质量报告，该报告提供了关于缺失值、异常值等问题的交互式可视化和统计信息，无需编写任何代码。

David强调了新的自然语言聊天界面在数据准备方面的应用，用户可以通过简单地说出或输入请求来实现数据的转换。例如，他可以询问聊天机器人如何绘制一个散点图，聊天机器人会自动生成Python代码和可视化效果。

他还展示了如何通过聊天机器人或在可视界面上手动执行的操作捕获到图形工作流程中，从而提供应用于变换序列的透明度。工作流程视图使您能够重新编辑或重新运行之前的步骤。

在准备好数据后，David演示了如何通过简单的点击来训练机器学习模型。他选择了“二元分类”模型类型，并让Canvas在后台通过AutoML处理算法选择、超参数调整和训练协调。大约20分钟后，Canvas已经训练出了一个基于准确度指标的最佳表现者的模型集合。

David然后在测试数据集上进行预测，界面会突出显示每行的置信分数和实际与预测值之间的差异。他展示了这些预测结果可以导出并自动发送到Amazon QuickSight，以集成到交互式仪表板和业务智能工作流中。

最后，David展示了一键部署训练好的模型的功能，生成了一个实时返回预测值的API端点。这个端点可以与生产工作流和应用集成，实现模型的自动化操作。他还展示了如何使用代码导出、与SageMaker Studio的集成以及模型注册功能，以便与其他开发者共享，促进协作。

在不同的专业领域和安全环境中实现对数据孤岛的跨平台访问，包括用于模型训练的数据集注释和标签工具。用户可以通过自助服务环境轻松地访问亚马逊云科技的服务，例如SageMaker Canvas。此外，该系统还具备模型注册表和模型监控功能。

这个平台具有高度的灵活性，能够在严格区分生产和实验环境的同时整合最新的框架。它通过共享数据和模型注册表支持超过150个产品团队的协同合作。

据拉姆介绍，过去一年的一个重要目标就是将AI平台推广至整个企业，展示其强大的功能。他的团队已经参与了超过15次黑客松活动，这些活动中，参与者们利用了诸如SageMaker Canvas之类的工具来原型化解决商业问题的解决方案。

在一次为期两天的专门针对Canvas的黑客松活动中，他们提出了四个挑战：

客户服务中心的资源规划预测
库存优化的时间序列预测
订阅销售的转化预测
利用聚类算法对客户进行分析

根据拉姆的报告，共有70名员工参与了这次活动，他们来自各个不同的职位，包括主题专家、数据分析师、机器学习工程师以及没有人工智能/机器学习背景的软件开发者。在黑客马拉松活动结束后进行的反馈调查中，大多数参与者都表示了积极的态度，有95%的受访者表示他们很可能会向同事推荐这款AI平台。

他特别分享了一个具体的案例，一个包括存储工程师、业务分析师和两名软件工程师的团队在Snowflake数据仓库上构建了一个预测模型，该模型用于预测呼叫中心的流量并使用SageMaker Canvas进行操作。尽管他们之前从未接触过机器学习，但他们仍然能够：

在Snowflake数据仓库中连接SageMaker Canvas
为模型工程特征并转换数据
使用无代码界面训练自定义模型
在中央模型注册表中注册模型
部署模型以生成预测

通过在黑客马拉松中获胜并通过成功的端到端模型构建展示了SageMaker Canvas的力量，即使对于没有先前的机器学习经验的使用者也是如此。使这些非技术领域的专家能够开发并对机器学习的预测采取行动，有助于在整个组织中推动更广泛的应用。

最后，拉杰·辛格尔感谢拉姆·德·弗利和汤森路透团队分享了他们使用SageMaker Canvas的经验。他强调了演示和示范所展示的无代码工具的力量，这些工具可以打开所有用户的机器学习之门。通过消除不必要的复杂性，SageMaker Canvas既允许技术用户也允许非技术用户将业务问题转化为有影响力的AI解决方案。

拉杰建议与会者参加SageMaker Canvas的自控实践操作实验室，以及在re:Invent上的一些相关会议，以继续学习。他强调，通过使机器学习民主化，像SageMaker Canvas这样的工具可以帮助企业充分利用AI来驱动数字转型。

下面是一些演讲现场的精彩瞬间：

在re:Invent的演讲中，领导者们探讨了如何使用SageMaker Canvas将机器学习普及化的问题。