🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/
一、前言
这项研究介绍了 ClimateGPT，这是一个综合了气候变化跨学科研究的特定领域大语言模型系列。我们在一个包含 3000 亿 tokens 的面向科学的数据集上从头开始训练了两个 70 亿参数的 LLMs。对于第一个模型，在预训练过程中包括了 42 亿个领域特定的 tokens，第二个模型在预训练之后适应了气候领域。此外，ClimateGPT-7B、13B 和 70B 是在 LLaMA-2 上持续预训练的，使用了 42 亿个 tokens 的领域特定数据集。文章来源：https://www.toymoban.com/news/detail-810783.html
每个模型都在与气候科学家密切合作创建的高质量、人工生成的特定领域数据集上进行指令微调。为了减少幻觉的数量，我们优化了检索增强模型，并提出了分层检索策略。为了提高模型对非英语使用者的可访问性，我们建议使用级联机文章来源地址https://www.toymoban.com/news/detail-810783.html
到了这里，关于ClimateGPT 是一个旨在利用人工智能综合跨学科研究气候变化的项目的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
