自OpenAI发布ChatGPT以来,LLM持续火热,各大公司纷纷入场。但近一段时间以来,我观测到的LLM应用场景,基本都是Copilot的形式,即以对话为基础的辅助应用。尽管体验起来十分的高大上,但我能明确感受到,这种Copilot的形式并不解决当前的诉求。因此,本篇尝试探讨一下,Copilot模式的优劣,以及我到底会需要什么样的LLM应用。
本篇内容包含着内心深处对大模型的抗拒,仅以下图表达个人心情。
1、Copilot模式解读
Copilot,本意是助手的意思,它的作用是辅助主角更高效的完成任务。这个模式在各行各业广泛存在,比如飞机的副驾驶、赛车的领航员、秘书/助理等等。之所以会存在Copilot这样一个角色, 是由于处理的工作过于复杂,一些底层的信息处理/决策过程相对繁琐,如果事事亲力亲为,是对精力的极大浪费。因此,形成了一个多级的管理体系,以方便主角更高效的完成最终决策。
毫无疑问,Copilot是提效的一种最佳实践,在日常生活中得到了广泛验证。
但从另一方面来说,也需要看到,决策链的基础是信任链。前置环节的决策失误,可能会导致整个事情的崩盘,比如“挥泪斩马谡”。在实际工作中,会通过管理手段——追责——去保障信任链的稳固。但是当你的Copilot是个机器/算法时,往往无法有效追责(自动驾驶出车祸了,想让汽车公司赔偿是很难的)。因此,责任又重新汇集到了最终决策者自身。这其实就要求着,使用Copilot的人必须要能够理解和判断Copilot给到的信息。
2、为什么Copilot会是GPT的主要应用场景
在这一轮AI浪潮中,除了吹捧算法本身,实际得到落地的应用场景,基本都属于Copilot模式。比如:OpenAI本身推出的问答机器人、Bing集成进搜索引擎、Github Copilot编程助手、各种客服机器人、以及各类分析工具(安全报表、论文研读)。
这些场景大体会具备如下特性:
- 非专业场景:对专业性的要求不高,大都是简单的问答模式。虽然近期出现了“决策链”的概念,可以通过递进式的问答,让ChatGPT回答更复杂的数学问题,但仍然需要人来进行引导,因此个人并不认为这代表了ChatGPT自身具备复杂的逻辑思考能力来应对各类专业问题。
- 高容错率:以Github Copilot为例,其生成代码的采纳率约在30%-40%左右。换一句话说,一半以上的代码,都是存在BUG或者不符合预期的,仍然需要程序员依靠自身的知识来进行判断处理。但值得注意的是,尽管出错概率不低,但Github Copilot仍然大幅度提升了开发效率。这是因为编码本身是个高容错率场景,程序员可以在开发过程中不断的调试发现并解决问题,并不会因为生成了错误的代码,导致严重性后果。
在这些场景中,大家并不会依赖算法的结果进行最终决策,大都是作为一种信息的收集来源和参考。对比传统的搜索引擎,更多的是效率上的提升,形态其实没有发生本质变化。
从另一方面来说,大家似乎并没有把GPT用于分类、评分、排序等决策类型的场景中。
如果单纯从能力上看,GPT是能够被用于完成特定任务的(OpenAI本身也提供了用于分类的API微调接口)。通过Prompt Engineering(zero-shot/few-shot),或者进行一定的fine-tuning,同样能够取得高准召的表现。
那为什么大家不使用呢?基于一段时间的使用探索,我能够得出的推论是:在固定的决策场景上,过去的模型已经够用了。盲目的应用GPT,并不会带来额外的增强,反而其庞大的性能开销和不确定性的结果,会产生额外的负面影响。
3、GPT的应用场景设想
回过头来思考,大家为什么会对GPT的出现感到兴奋呢?我认为,核心特性是两个:1)通用性极佳,可以仅仅依靠Prompt回答各种领域的问题;2)生成式表现力,可以生产符合人类认知的语言或内容。(对比过去的算法应用,往往只能用于特定场景,运算结果也是冰冷的0和1,需要经过加工处理才能更好的理解。)
近期一直在尝试思考,如何将两者相结合呢?
目前想到这样一种范式:对于某个特定任务,仍然采用更高效更稳定的规则和算法去进行处理,在后面拼接一个GPT,可以更直观的呈现规则算法的原始输出。
比如,需要对一组数据进行分类,并提取其中的关键特征进行解读,用于后续的研判工作。传统的做法会是训练分类模型,并提取出哪些特征是对分类结果更重要的,用于可解释性输出。但仅仅是到这一步,获得的只是一个分类结果和关键特征列表,可读性很差。这个时候,再将这部分结果输入到GPT,就能够得到一个更直观的解读。
近期有基于以上设想,做一些尝试,目前看效果不错。其本质思想,就是借助原有的算法能力,代替GPT完成相对固定的分类任务,仅仅将GPT用于后续的结果生成上,从而形成更高效的运算链路。
4、总结
你真的需要使用ChatGPT嘛?
也许是长期从事安全行业,对于不确定性的东西会产生抵触。对我个人而言,精妙的规则体系在各方面都胜于所谓的模型。
但不得不承认,即使是某个特定场景下,人的决策复杂度也足够高,很难用规则去完美契合。因此,在规则确定性和模型复杂性之间的平衡,是持续思考和探索的方向。(知识图谱看上去是个比较理想的解,但也会遇到知识量扩增,带来的维护复杂性等问题。)文章来源:https://www.toymoban.com/news/detail-547812.html
GPT的出现,提供了一种全新的解决方案。但GPT本质上是一个低效的算法,因此并不会简单粗暴的替换掉既有的更高效的规则和算法。这对GPT的使用者来说,其实提出了更高的要求:需要将任务进行拆解,交由不同的能力来解决,才能够取得更高的运算效率。文章来源地址https://www.toymoban.com/news/detail-547812.html
到了这里,关于Copilot是GPT的理想应用模式吗?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!