Meta AI 已经进入了由大型语言模型 (LLM) 主导的 AI 竞赛，例如 OpenAI 的 ChatGPT、微软的 GPT-powered Bing 和谷歌的 Bard。Meta 首席执行官马克·扎克伯格 (Mark Zuckerberg) 在Facebook帖子中发布了这一消息：“今天我们发布了一种名为 LLaMA 的新型最先进的 AI 大型语言模型，旨在帮助研究人员推进他们的工作……Meta 致力于这种开放的研究模型我们会将我们的新模型提供给 AI 研究社区。”
LLaMA 基础语言模型的参数范围从 7B 到 65B 不等，并使用来自公开数据库的数万亿个标记进行了训练。LLaMA-13B 模型优于 GPT-3，但体积小 10 倍，使其能够在单个 GPU 上运行。Meta AI 研究团队在新论文 LLaMA：开放和高效的基础语言模型中深入研究了 LLaMA 的技术细节。
Meta AI 着手训练一系列 LLM，以优化不同推理预算下的性能。他们生成的大型语言模型元 AI (LLaMA) 集合包含比现有 LLM 更小的模型，但在更多标记上进行了训练。这提高了性能，并使模型更容易针对特定的实际用例进行重新训练和微调。文章来源：https://www.toymoban.com/news/detail-611372.html
LLaMA 模型建立在变压器架构（Vaswani 等人，2017 年）之上，并采用了其他模型的各种改进。LLaMA 模型采用 GPT-3 引入的 RMSNorm 归一化函数来提高训练稳定性；并用来自 PaLM 的 SwiGLU 激活函数替换 ReLU 非线性，以提高模型性能。他们还使用 GPTNeo 的旋转位置嵌入 (RoPE)（而不是绝对位置嵌入）来更有效地利用位置信息。文章来源地址https://www.toymoban.com/news/detail-611372.html
到了这里，关于Facebook Meta 以其最先进的基础语言模型 LLaMA 升温 AI 竞赛(含项目源码)的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
