LLMs参考资料第一周以及BloombergGPT特定领域的训练 Domain-specific training: BloombergGPT-Toy模板网

这篇具有很好参考价值的文章主要介绍了LLMs参考资料第一周以及BloombergGPT特定领域的训练 Domain-specific training: BloombergGPT。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1. 第1周资源

以下是本周视频中讨论的研究论文的链接。您不需要理解这些论文中讨论的所有技术细节 - 您已经看到了您需要回答讲座视频中的测验的最重要的要点。

然而，如果您想更仔细地查看原始研究，您可以通过以下链接阅读这些论文和文章。

1.1 Transformer架构

注意力就是你需要的《Attention is All You Need》

本文介绍了Transformer架构，以及核心的“自注意力”机制。这篇文章是LLMs的基础。

BLOOM：BigScience 176B模型《BLOOM: BigScience 176B Model 》

BLOOM是一个开源的LLM，拥有176B的参数（类似于GPT-4），以开放透明的方式进行训练。在这篇论文中，作者详细讨论了用于训练模型的数据集和过程。您还可以在这里查看模型的高级概述。

向量空间模型《Vector Space Models》

DeepLearning.AI的自然语言处理专项课程系列课程，讨论了向量空间模型的基础及其在语言建模中的应用。

1.2 预训练和缩放法则

神经语言模型的缩放法则《Scaling Laws for Neural Language Models》

OpenAI的研究人员进行的实证研究，探索了大型语言模型的缩放法则。

1.3 模型架构和预训练目标

什么语言模型架构和预训练目标最适合Zero-shot泛化？《What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization?》

本文研究了大型预训练语言模型中的建模选择，并确定了零射击泛化的最佳方法。

HuggingFace Tasks 和 Model Hub

使用HuggingFace库处理各种机器学习任务的资源集合。

LLaMA：开放和高效的基础语言模型《LLaMA: Open and Efficient Foundation Language Models》

Meta AI提出的高效LLMs文章（他们的13 Billion模型在大多数基准测试上的性能超过了拥有175Billion参数的GPT3）

1.4 缩放法则和计算最佳模型

语言模型是少射击学习者《Language Models are Few-Shot Learners》

本文研究了大型语言模型中少射击学习的潜力。

训练计算最佳大型语言模型《Training Compute-Optimal Large Language Models》

DeepMind的研究，评估训练LLMs的最佳模型大小和令牌数量。也被称为“Chinchilla论文”。

BloombergGPT：金融领域的大型语言模型《BloombergGPT: A Large Language Model for Finance》

专门为金融领域训练的LLM，是一个试图遵循chinchilla法则的好例子。

2. BloombergGPT

LLMs参考资料第一周以及BloombergGPT特定领域的训练 Domain-specific training: BloombergGPT,LLM-Large Language Models,人工智能,transformer,语言模型,chatgpt

LLMs参考资料第一周以及BloombergGPT特定领域的训练 Domain-specific training: BloombergGPT,LLM-Large Language Models,人工智能,transformer,语言模型,chatgpt
BloombergGPT是由Bloomberg开发的大型仅解码器语言模型。它使用了包括新闻文章、报告和市场数据在内的广泛金融数据集进行预训练，以增强其对金融的理解，并使其能够生成与金融相关的自然语言文本。数据集在上面的图片中显示。

在BloombergGPT的训练过程中，作者使用了Chinchilla缩放法则来指导模型中的参数数量和训练数据的量，以令牌为单位进行测量。Chinchilla的建议由图片中的Chinchilla-1、Chinchilla-2和Chinchilla-3线表示，我们可以看到BloombergGPT与其非常接近。

尽管团队可用的训练计算预算的推荐配置是500亿参数和1.4万亿令牌，但在金融领域获得1.4万亿令牌的训练数据证明是具有挑战性的。因此，他们构建了一个只包含7000亿令牌的数据集，少于计算最佳值。此外，由于提前停止，训练过程在处理5690亿令牌后终止。

BloombergGPT项目是一个很好的例子，说明了如何为增加领域特异性进行模型预训练，以及可能迫使您在计算最佳模型和训练配置之间做出权衡的挑战。

您可以在这里阅读BloombergGPT的文章。文章来源地址https://www.toymoban.com/news/detail-680010.html

参考

https://www.coursera.org/learn/generative-ai-with-llms/supplement/Adylf/domain-specific-training-bloomberggpt
https://www.coursera.org/learn/generative-ai-with-llms/supplement/kRX5c/week-1-resources

到了这里，关于LLMs参考资料第一周以及BloombergGPT特定领域的训练 Domain-specific training: BloombergGPT的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！