如何使用大模型处理生活繁琐的工作

这篇具有很好参考价值的文章主要介绍了如何使用大模型处理生活繁琐的工作。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

如果每封电子邮件、每个带有订单、发票、投诉、录用请求或工作申请的 PDF 都可以翻译成机器可读的数据,会怎样?然后可以由 ERP / CRM / LMS / TMS 自动处理吗?无需编程特殊接口。

听起来很神奇?它确实有一些魔力。但最近已成为可能。

如何使用大模型处理生活繁琐的工作,大模型,python,github,windows,人工智能,gpt

解决方案是大型语言模型(LLM)。它们与人类办公室工作人员类似,能够将电子邮件转换为结构化数据,而无需或只有很少的学习样本。电子邮件、PDF 或文档被视为订单、投标、提醒。并找到并提取具体数据。例如,对于运输订单请求,客户、托盘数量、重量、取货地点、取货时间、交货地点。

然后,附加的业务算法(这不是由模型完成的)可以根据结构化数据预过滤查询,直接处理它(例如回答它)或将其作为结构化输入提供给人工代理,也可能使用进一步处理的建议。

什么是大型语言模型以及我们为什么要关心?

近年来,大型语言模型的发展是机器学习领域的一个重要里程碑。这些模型的特点是能够用自然语言回答问题、创建文本、总结文本、将其翻译成其他语言或语言游戏,或者生成代码,而所有这一切都无需脚本,即无需专门编程将用户输入与机器输出链接起来的算法。这些模型不仅能产生句法(拼写、语法)正确的输出,而且还能够在语义上正确解决困难的语言任务。大模型有很多,最著名的包括 GPT-3 (OpenAI)、BERT、T5 (Google) 或 Wu Dao (北京人工智能研究院)、MT-NLG (微软)。

大模型在回答问题、继续或总结文本方面表现出惊人的技能。在许多情况下,他们的技能甚至超过了人类沟通伙伴。以下是三个 LLM 能力的一些示例:GPT-3 davinci、AI21 studio j1-jumbo、Macaw 11B。所有任务都没有经过专门培训,也没有编写响应脚本。相反,这些都是零射击能力的例子:无需经过专门训练就能做某事的能力。

如何使用大模型处理生活繁琐的工作,大模型,python,github,windows,人工智能,gpt

还可以生成结构化数据,例如简单的程序:

如何使用大模型处理生活繁琐的工作,大模型,python,github,windows,人工智能,gpt

这些模型通常也能够处理其他广泛使用的语言,但没有一个能像英语一样处理。

如何使用大模型处理生活繁琐的工作,大模型,python,github,windows,人工智能,gpt

LLMS如何运作?

大模型正确回答了所有问题。这怎么可能?

快速浏览大型语言模型的基础知识:最强大的系统是 Transformer 模型,其核心由深度学习模型(一种特定类型的神经网络)组成,并配备了注意力机制。它们能够处理顺序输入(例如文本)并产生相应的输出。他们基本上是根据统计数据来做到这一点的:最可能的延续是什么(问题的答案、对话中的下一个话语、开始的文本的完成)?— 这意味着,他们的响应并不像 Siri、Alexa 或其他语音助手目前那样基于用户意图与答案的固定映射。

这些模型在各个维度上都很大:它们现在通常包含超过 1000 亿个参数。简而言之,参数是神经元之间的权重,随着模型学习而调整。这些模型使用数百兆字节的主要公开数据(例如维基百科和类似的大型语料库)进行训练。培训内容相当于十万多本书的规模。换个角度来看:一个人一生读完5000本书是很困难的。这些模型的生态足迹也是巨大的:据估计,最成功的大模型的初始训练消耗的能量相当于驾驶汽车往返月球所需的能量。对于大模型来说,数量在某种程度上转化为质量。目前的成就是通过十倍的努力才取得的,

如何使用大模型处理生活繁琐的工作,大模型,python,github,windows,人工智能,gpt

资料来源: https: //huggingface.co/blog/large-language-models

较新的大模型的一个特点是——如上面的例子所示——它们可以在没有特定任务学习的情况下提供对输入的响应。他们的产出仅依赖于他们的基础训练。与人类类似,这些模型具有多功能性,能够理解并正确对话或响应单次训练(单个练习示例)、少次训练(几个示例)甚至无示例所教授的新语言游戏根本不。这是新的、革命性的。早期的模型经过精心训练,只能完成一项工作,并且只能处理单一任务:下棋、识别可疑的银行活动、在图片中查找人脸等。

当然,这里也可以进行一些微调,即使用额外的样本输入和输出来训练特定作业的模型。这也类似于人类的语言习得:经过大约20年的童年和青少年时期的基本训练,我们可以聊天、争论、进行哲学思考、撒谎、计算、旋转、分析或布道。但为了在高而具体的专业水平上做到这一点,我们学习法律、量子物理学、会计、心理学或神学。

模型得分的一个有趣领域是文本分析。在下面的示例中,我们告诉模型要做什么,并给出两个示例:iPhone 和 Serrano ham。对于第三个输入(苹果酒),模型本身设法提供正确的答案(少量学习)。

如何使用大模型处理生活繁琐的工作,大模型,python,github,windows,人工智能,gpt

还可以分析更多结构化数据。下面的例子(同样基于少量镜头学习)展示了一种没有数据库和 SQL 的数据库查询,而是简单地基于语言技能。类似于人类能够做的事情。

如何使用大模型处理生活繁琐的工作,大模型,python,github,windows,人工智能,gpt

具有大型语言模型的自动化设置

如何利用语言模型将非结构化数据转换为结构化数据并自动处理?我们自己的实践经验中的一个实施示例将证明这一点。(- 当然,我们绝对不是唯一处理这些问题的人,另请参阅本文)。

A. 模型的设置(POC 1)

问题:我们收到可能采用不同语言的非结构化邮件,作为传输的报价请求,并尝试将它们转换为结构化数据。

为了做到这一点,我们为模型提供了一些训练样本(几十到几百个样本)。样本应该尽可能多样化,以便模型学会处理全方位的请求。样本还应涵盖询价以外的意图:例如,有关正在进行的装运的查询或投诉,以帮助模型区分正确的分类。训练样本包括电子邮件或 PDF 文本的有效负载以及要输出的结构化数据。任何可以通过简单脚本从电子邮件中提取且不需要机器学习的数据都应提前删除,例如发件人地址或收件人地址。输入应包含真实数据,未经手动清理,但包含拼写错误、口语时间和所有可能的语言。目标数据不必采用独立格式(JSON 等)才能启动。转换可以再次通过简单的算法完成。

如何使用大模型处理生活繁琐的工作,大模型,python,github,windows,人工智能,gpt

这些数据用于调整模型,然后该模型可用于识别和处理任意数量的其他查询。

您的应用程序应该使用哪种基本模型?这个问题不太容易回答,应该分为几个子问题:

1. 哪种型号、哪种配置、哪种设置可提供最佳效果?

2. 我可以在我想要的设置(在自己的云、SaaS 解决方案等中运行)和我的要求(例如隐私、数据主权)中运行哪种模型?

3. 哪种模型的总拥有成本最低(固定成本和基于请求的成本)?

如果从问题 2 和问题 3 的角度来看,多个模型位于相关集中,则应使用不同的设置来测试这些模型。为了找到最佳解决方案,您应该首先在一些训练和少量测试数据的基础上测试模型,然后通过更多数据取得成功。机器处理的范围仍然可以改变,某些查询类别或某些数据可能在评估第一结果之后被集成或删除。

如果此操作成功并且您为业务目的获得了足够高的正确答案率,则可以采取下一步。哪个比率足够可以根据应用而变化,可以是 60%、80% 或 98%。为了获得可以在以后的生产操作中重现的结果,在试验期间分离训练和测试数据非常重要。

B. 集成到整体E2E解决方案中(POC 2)

集成到更大的框架中可以如下所示:模型生成的数据首先进行后处理:大模型没有地图功能,他们无法将“Werk Stocken Continental AG”(原文如此)等地址信息转换为路线计算的地址,就像他们无法将“下周三上午 10 点”这样的日期转换为“30.03.2022 10:00h”。

如何使用大模型处理生活繁琐的工作,大模型,python,github,windows,人工智能,gpt

处理后的数据链接到简单脚本生成的数据,并传递给自动回答查询的业务算法。无法自动处理的请求仍会路由到手动处理它们的人员。这可以包括以下情况:

  • 该模型认识到这不是征求建议书。
  • 模型或脚本算法认识到它们无法将此请求转换为数据。
  • 从技术上讲,业务算法无法处理生成的数据。
  • 尽管有完整的数据集可用,但仍无法自动答复该请求,因为例如不清楚特定客户、关系、日期或负载是否可以履行,或者因为根本无法提出价格。

如果所生成的数据可以被自动处理,则它可以例如被简单地馈送到系统(例如运输管理系统)中并且可以在那里立即被处理。例如,可以通过电子邮件生成完整的招标——仅基于业务算法。这种解决方案的迷人之处在于,对模型的可能误解不会导致在内容、价格或公司履约风险方面存在本质错误的报价。相反,报价总是正确的。在最坏的情况下,它只是与请求的确切目标不对应。该解决方案可以使用类似于生产目标映像的操作设置进行测试,例如并行操作:邮件继续进入生产系统,同时在测试设置中处理邮件的克隆并评估结果。这里的处理和操作设置的问题很快就会显现出来。

如何使用大模型处理生活繁琐的工作,大模型,python,github,windows,人工智能,gpt

C. 测试、软启动和进一步步骤

如果步骤 2 成功,那么首先软启动系统是有意义的,例如,仅将其应用于有限的客户群,然后在出现问题时重新调整。或者让系统一开始就在人工监督下运行(电子邮件在发送前进行检查)。如果系统成功且稳定,则可以逐步扩大自动化的范围和程度。

系统还应在运行期间进一步优化,例如通过重新训练未正确识别的请求并发送以进行手动处理。

根据应用的不同,自动化程度可以从开始时的 80% 扩展到后期的 90% 或 95%。

使用大模型的自动化具有三大优势:

  • 能够让合适的团队解决对人类来说更令人兴奋、高利润和与增长相关的问题。
  • 在销售、客户支持等方面部署的人力方面,处理效率大幅提高。
  • 由于更快的响应和避免查询停滞,提高了服务质量

与创建特定于客户的 EDI 连接等手动自动化方法不同,基于 LLM 的自动化为跨客户流程自动化付费。投资价值不会因接口规范的变化或客户关系的变化而损失。它还可以针对 B2B 客户的长尾,甚至无法为其构建特定接口的 B2C 客户实施。基于大模型的解决方案通常可以而且应该与主要合作伙伴的 EDI 解决方案相结合。

长期前景

我们概述了一个场景,其中可能是系统生成的人工输入(来自 ERP 系统的询价)进入 LLM 支持的系统。响应返回给人类,然后由人类委托或发布。从长远来看,我们可以想象进一步的场景:如果我们在发送方和接收方都有一个支持LLM的系统,那么整个对账过程可以在很大程度上实现自动化,例如,在客户的ERP系统和承包商的TMS系统之间。一个系统发送询价,TMS 发送投标,ERP 选择其中之一并发送订单,TMS 确认并将订单发送至履行。因此,无需指定接口,与任何合作伙伴的多向自动通信都将变得简单可行。

大模型的多功能性使他们能够像人工代理一样处理不同格式和结构化的请求类型。

最初,处理请求的可能范围和质量肯定只能在第一级支持级别上实现。需要可靠地识别更复杂或无法答复的请求,然后将其路由到人工二级处理。

尽管如此,大量的时间节省和流程加速将是积极的影响。此外,系统可以通过对它们尚未/尚未可靠回答的查询进行训练来自动或半自动改进。文章来源地址https://www.toymoban.com/news/detail-628512.html

到了这里,关于如何使用大模型处理生活繁琐的工作的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Python 自动化指南(繁琐工作自动化)第二版:零、前言

    Al Sweigart 是一名软件开发人员和技术书籍作者。Python 是他最喜欢的编程语言,他是该语言的几个开源模块的开发者。他的其他书籍可以在他的网站上根据知识共享许可免费获得。他的猫现在重 11 磅。 Philip James 从事 Python 工作已经超过十年,是 Python 社区的常客。他的演讲主

    2023年04月08日
    浏览(66)
  • Python 自动化指南(繁琐工作自动化)第二版:二、流程控制

    原文:https://automatetheboringstuff.com/2e/chapter2/ 所以,你知道单个指令的基本原理,程序就是一系列指令。但是编程的真正优势不仅仅是像周末跑腿一样一个接一个地运行指令。根据表达式的求值方式,程序可以决定跳过指令,重复指令,或者从几条指令中选择一条来运行。事实

    2023年04月08日
    浏览(61)
  • Python 自动化指南(繁琐工作自动化)第二版:六、字符串操作

    原文:https://automatetheboringstuff.com/2e/chapter6/ 文本是程序将处理的最常见的数据形式之一。您已经知道如何用 + 操作符将两个字符串值连接在一起,但是您可以做得更多。您可以从字符串值中提取部分字符串,添加或删除空格,将字母转换为小写或大写,并检查字符串的格式是

    2023年04月08日
    浏览(88)
  • Python 自动化指南(繁琐工作自动化)第二版:十八、发送电子邮件和短信

    原文:https://automatetheboringstuff.com/2e/chapter18/ 检查和回复电子邮件是一项巨大的时间消耗。当然,你不能只写一个程序来帮你处理所有的邮件,因为每封邮件都需要它自己的回应。但是,一旦你知道如何编写可以发送和接收电子邮件的程序,你仍然可以自动完成大量与电子邮件

    2023年04月08日
    浏览(64)
  • 【生活工作经验 十】ChatGPT模型对话初探

    最近探索了下全球大火的ChatGPT,想对此做个初步了解 当今社会,自然语言处理技术得到了迅速的发展,人工智能技术也越来越受到关注。其中,基于深度学习的大型语言模型,如GPT(Generative Pre-trained Transformer)在自然语言处理领域中取得了很大的成功。ChatGPT就是其中的一种

    2023年04月21日
    浏览(43)
  • ChatGPT会如何影响我们的工作生活和人力资源需求

    ChatGPT,这几天体验了一下,确实是非常震撼。   一方面是因为它的回答确实相当好,自带一点框架逻辑,有上下文理解能力,可以追问,有情商。虽然很多时候都是一些正确的废话 它还有媲美一个普通大学生的信息整合能力,并且一秒钟就能回答你,它甚至还会写代码  

    2024年02月03日
    浏览(51)
  • 使用远程桌面软件改善工作与生活的平衡

    在当今高度互联的世界中,我们的工作和个人生活之间的界限变得越来越模糊。在本文中,我们将探讨像 Splashtop 这样的远程桌面工具如何成为实现和谐工作与生活平衡不可或缺的一部分。 工作与生活的平衡不仅仅是一个时髦的流行语。从本质上讲,它代表了个人的职业义务

    2024年02月10日
    浏览(41)
  • PowerShell实现自动加域,拒绝繁琐重复性工作!

    目录 一、背景 二、研究过程 1、微软官网资料说明 2、语法用法举例说明 示例 1:将本地计算机添加到域,然后重新启动计算机 示例 2:将计算机移动到新域并更改计算机的名称 示例3:自定义自动获取相应的参数修改计算机名并加入到新域 三、总结 1、完整代码示例 2、踩坑

    2024年02月06日
    浏览(42)
  • 轻松构建低代码工作流程:简化繁琐任务的利器

    前言 近年来,企业一直在寻求简化运营和提高效率的方法,较为流行的一个解决方案是使用低代码自动化工作流。现如今,不管是审批逻辑、并行流程还是动态逻辑,开发人员逐渐会愿意选择引入某种业务流程管理(BPM)与自己的应用程序集成。原因显而易见,因为业务流程

    2024年04月16日
    浏览(35)
  • 通义听悟上线,强大的视频会议和学习直播分析能力,人工智能如何改变我们的生活和工作方式?

    通义听悟已开启公测,公测期(2023年6月1日至30日)用户可体验所有AI功能,含全文概要、章节速览、发言总结等高阶AI功能,通过阿里云主账号登录。 官方给的应用场景: 1、实时会议记录:线上、线下会议使用通义听悟实时呈现多语言字幕;会后检索关键内容,可结合录音

    2024年02月10日
    浏览(64)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包