1. Toy模板网首页
  2. > Toy博客

LLM-2023：Alpaca（羊驼）【Stanford】【性能与GPT3.5相当比GPT4逊色，训练成本不到100美元，基于LLaMA和指令微调，仅使用约5万条训练数据就能达到类似GPT-3.5】

9月前 作者：u013250861 分类：Toy博客 阅读(47) 违法举报

这篇具有很好参考价值的文章主要介绍了LLM-2023：Alpaca（羊驼）【Stanford】【性能与GPT3.5相当比GPT4逊色，训练成本不到100美元，基于LLaMA和指令微调，仅使用约5万条训练数据就能达到类似GPT-3.5】。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

斯坦福的 Alpaca 模型基于 LLaMA-7B 和指令微调，仅使用约 5 万条训练数据，就能达到类似 GPT-3.5 的效果。

斯坦福70亿参数开源模型媲美GPT-3.5，100美元即可复现​

Alpaca 的训练流程很简单，只有两个步骤：

  1. 将 175 个人工设计的指令任务作为种子，使用 text-davinci-003 随机生成指令，最终生成了 52,000 条指令数据。例如：
    {
        "instruction": "Rewrite the following sentence in the third person",
        "input": "I am anxious",
        "output": "She is anxious."
    }, {
        "instruction": "What are the three primary colors?",
        "input": "",
        "output": "The three primary colors are red, blue, and yellow."
    },

2. 用指令数据基于 Hugging Face 的训练框架微调 LLaMA 模型。文章来源地址https://www.toymoban.com/news/detail-560086.html

到了这里，关于LLM-2023：Alpaca（羊驼）【Stanford】【性能与GPT3.5相当比GPT4逊色，训练成本不到100美元，基于LLaMA和指令微调，仅使用约5万条训练数据就能达到类似GPT-3.5】的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包