【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等)

这篇具有很好参考价值的文章主要介绍了【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

大语言模型

大语言模型(LLM)是指使用大量文本数据训练的深度学习模型,可以生成自然语言文本或理解语言文本的含义。大语言模型可以处理多种自然语言任务,如文本分类、问答、对话等,是通向人工智能的一条重要途径。来自百度百科

  • 发展历史

    2020年9月,OpenAI授权微软使用GPT-3模型,微软成为全球首个享用GPT-3能力的公司。2022年,Open AI发布ChatGPT模型用于生成自然语言文本。2023年3月15日,Open AI发布了多模态预训练大模型GPT4.0。

    2023年2月,谷歌发布会公布了聊天机器人Bard,它由谷歌的大语言模型LaMDA驱动。2023年3月22日,谷歌开放Bard的公测,首先面向美国和英国地区启动,未来逐步在其它地区上线。

    2023年2月7日,百度正式宣布将推出文心一言,3月16日正式上线。文心一言的底层技术基础为文心大模型,底层逻辑是通过百度智能云提供服务,吸引企业和机构客户使用API和基础设施,共同搭建AI模型、开发应用,实现产业AI普惠。

大语言模型有多强?

下面实例展示LLM的能力,以cahtGLM-6B来展示示例:
通过合适的 prompt 就能实现很多传统 NLP 的功能。

github:cahtGLM-6B
官网:cahtGLM

分词

输入:

按照下面的示例输出结果:
输入:今天天气太差了
输出:今天,天气,太,差,了
输入:明天要出去玩
输出:

输出:
【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等),大语言模型,自然语言处理,LLM,大语言模型

  • 示例2:不同的 prompt 输出的结果有所不同

prompt1:
【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等),大语言模型,自然语言处理,LLM,大语言模型

prompt2:
【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等),大语言模型,自然语言处理,LLM,大语言模型

词性标注

输入:

词性标注:
今天
天气
差

输出:
【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等),大语言模型,自然语言处理,LLM,大语言模型

NER

  • NER示例1: LLM 可以根据示例直接输出json结果
    输入:
按照下面的示例输出结果:
输入:糖尿病是一种慢病
输出:{"disease":"糖尿病"}
输入:糖尿病的一种症状是多尿,还有容易饿
输出:{"disease":"糖尿病","symptom":"多尿,容易饿"}
输入:高血压的症状包括血压偏高、头晕等
输出:

输出:
【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等),大语言模型,自然语言处理,LLM,大语言模型

  • NER示例2
    输入:
按照下面的示例输出结果:
输入:曾国藩是道光进士,曾任内阁学士,道光末年官至侍郎。
输出:{"person":"曾国藩"}
输入:李鸿章为道光二十七年(1847年)进士,早年随业师曾国藩镇压太平天国运动与捻军起义,并受命组建淮军,因战功擢升至直隶总督,兼北洋通商大臣,累加至文华殿大学士,封一等肃毅伯。
输出:

输出:
【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等),大语言模型,自然语言处理,LLM,大语言模型

情感分类

  • 示例
    输入:
按照下面的示例输出结果:
输入:今天天气太差了,不舒服
输出:{"情感":"负面"}
输入:明天要出去玩,太好了
输出:

输出:
【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等),大语言模型,自然语言处理,LLM,大语言模型

多伦对话管理

【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等),大语言模型,自然语言处理,LLM,大语言模型
【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等),大语言模型,自然语言处理,LLM,大语言模型

【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等),大语言模型,自然语言处理,LLM,大语言模型

【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等),大语言模型,自然语言处理,LLM,大语言模型

知识图谱

  • 示例

【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等),大语言模型,自然语言处理,LLM,大语言模型

  • 示例
    较为复杂的推理
    【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等),大语言模型,自然语言处理,LLM,大语言模型
    复杂推理还是有些问题:
    【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等),大语言模型,自然语言处理,LLM,大语言模型

数据不完整:
【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等),大语言模型,自然语言处理,LLM,大语言模型

总结

总体看来,LLM 在零样本的情况下, 选择合适的prompt就能实现很多传统NLP任务。
LLM 尤其是现在的多模态模型,是真正通向通用人工智能的基石。文章来源地址https://www.toymoban.com/news/detail-694208.html

到了这里,关于【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 谈谈NLP中 大语言模型LLM的 思维链 Chain-of-Thought(CoT)

    传送门:https://github.com/wzzzd/LLM_Learning_Note/blob/main/Tuning/chain-of-thought-prompting.md 在过去几年的探索中,业界发现了一个现象,在增大模型参数量和训练数据的同时,在多数任务上,模型的表现会越来越好。因而,现有的大模型LLM,最大参数量已经超过了千亿。 然而,增大模型参

    2024年02月12日
    浏览(42)
  • 碾压GPT-4!Claude3到底有多强?

    2024年3月4日,官方宣布推出 Claude 3 模型系列,它在广泛的认知任务中树立了新的行业基准。该系列包括三个按能力递增排序的最先进模型:Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。每个后续模型都提供越来越强大的性能,允许用户为其特定应用选择智能、速度和成本之间的最

    2024年03月12日
    浏览(62)
  • AI:大语言模型LLM

    LLM 大语言模型(Large Language Model,LLM)是一种利用大量文本数据进行训练的自然语言处理模型,其评价可以从多个方面进行。 以下是一些主要的评价方面: 语言理解和生成能力: 评价大语言模型在自然语言理解(如语义理解、实体识别、情感分析等)和自然语言生成(如文

    2024年02月05日
    浏览(35)
  • ChatGPT-5到底有多强?Battle!咱貌似也不输呀!

    盘点今年的热点话题,ChatGPT是不可避免要被反复提及的一part。从去年的-3.0到今年的-3.5,再到上月刚发布-4.0。从用户体验和市场反馈来讲,这半年的时间,ChatGPT每一步都走得又稳又快! 回想起今年2月初ChatGPT全网爆火的时候,其实当时心里是有点紧迫感的,不知道各位的感

    2024年02月01日
    浏览(43)
  • ChatGPT被淘汰了?Auto-GPT到底有多强

      大家好,我是可夫小子,关注AIGC、读书和自媒体。解锁更多ChatGPT、AI绘画玩法。   说Auto-GPT淘汰了ChatGPT了,显然是营销文案里面的标题党。毕竟它还是基于ChatGPT的API,某种意义只是基于ChatGPT能力的应用。但最近,AutoGPT确实又成为一个现象级的事件,上线不到一个月,g

    2024年02月02日
    浏览(43)
  • OpenAI 发布的新语音系统Whisper能力到底有多强?

    OpenAI 最近发布了一个名为Whisper 的自动语音识别系统,声称其在英语语音识别方面已经接近人类水平的鲁棒性和准确性。这个系统使用了68万小时多任务监督数据来进行训练,并且在处理口音、背景噪音和技术语言等复杂场景时表现出了很好的鲁棒性。那么,OpenAI 发布的新语

    2024年02月15日
    浏览(29)
  • KIMI爆了!对比文心一言和通义千问它到底有多强?

    原文:赵侠客 最近国产大模型KIMI爆了大部分人应该都知道了,从我个人的感受来看这次KIMI爆了我不是从技术领域接触到的,而是从各种金融领域接触到的。目前国内大模型可以说是百模大战,前几年新能源大战,今年资本割完韭菜后留给我们的是一家家倒闭或者即将要倒闭的

    2024年04月10日
    浏览(89)
  • 【AI实战】大模型 LLM 部署推理框架的 vLLM 应用

    vLLM is a fast and easy-to-use library for LLM inference and serving. vLLM 速度很快: State-of-the-art serving throughput Efficient management of attention key and value memory with PagedAttention Continuous batching of incoming requests Optimized CUDA kernels vLLM灵活且易于使用: Seamless integration with popular HuggingFace models High-throughput

    2024年02月04日
    浏览(41)
  • AIGC内容分享(三十五):AIGC赋能的“秒鸭相机”到底有多强?

    目录 01-FaceChain算法简介 02-FaceChain-FACT算法简介 03-FaceChain算法流程 04-FaceChain-FACT算法流程 05-FaceChain算法应用场景     06-FaceChain环境搭建与运行 07-FaceChain算法效果展示 08-FaceChain-FACT算法效果展示        FaceChain是一个可以用来打造个人数字形象的深度学习模型工具。用户仅需

    2024年01月17日
    浏览(49)
  • LLM大语言模型算法特训,带你转型AI大语言模型算法工程师

    LLM(大语言模型)是指大型的语言模型,如GPT(Generative Pre-trained Transformer)系列模型。以下是《LLM大语言模型算法特训,带你转型AI大语言模型算法工程师》课程可能包含的内容: 课程可能会介绍大语言模型的原理、架构和训练方法,包括Transformer架构、自注意力机制、预训

    2024年04月22日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包