Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks-Toy模板网

这篇具有很好参考价值的文章主要介绍了Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Introduction

大语言模型现在已经展示了很好的效果在各种下游任务，如GPT4。但是GPT的数学能力还没有达到最优。

在这篇文章中，作者提出了Goat，通过领域数据微调LLaMA，包含1M指令数据，实现了在基础数学上的Sota水准。

然而在训练期间，作者也遭遇了一些困难，如在较大数值上的乘除法。
为了解决这个难题，作者把数据分为可学习问题与不可学习问题，当遇到与可学习问题，把它分解为多个乘除法。

Method

语言模型

作者认为数学能力表现出了Sota的能力归因于LLaMA的tokenizer，因为它可以把每一个数字分解成一个单独的token，而其他模型则不可以。如下图：
Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks

数学问题学习能力

在某个领域任务中，有些任务是可以学习的，有些任务是不能学习的，不可学习的任务可以分解为可学习的CoT任务。

作者通过实验，把数学任务分为这两类。可学习的任务，在一定的训练下就可以实现高质量的直接输出。
而不可学习的任务，即使拓展再多的数据进行训练，即使是GPT4也不会有很好的结果。
通过Fine-tune成功分类了两类任务，如下图：
Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks
unlearnable 的任务为复杂的乘法与除法，这也符合人类的直觉。