LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE-Toy模板网

这篇具有很好参考价值的文章主要介绍了LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

在整个课程中，你看到过类似模型在这个任务上表现良好，或者这个微调模型在性能上相对于基础模型有显著提升等陈述。

这些陈述是什么意思？如何形式化你的微调模型在你起初的预训练模型上的性能改进？让我们探讨一些由大型语言模型开发者使用的指标，你可以用这些指标评估你自己的模型的性能，并与世界上的其他模型进行比较。

在传统的机器学习中，你可以通过观察模型在已知输出的训练和验证数据集上的表现来评估模型的表现。
LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE,LLM-Large Language Models,自然语言处理,人工智能

你可以计算诸如准确率这样的简单指标，准确率表示所有预测中正确的比例，因为模型是确定性的。

但是在大型语言模型中，输出是非确定性的，基于语言的评估要困难得多。

以句子为例，Mike really loves drinking tea. 这句话与 Mike adores sipping tea. 相似。但是如何衡量相似性呢？
LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE,LLM-Large Language Models,自然语言处理,人工智能

让我们看看另外两个句子：Mike does not drink coffee. 和 Mike does drink coffee. 这两个句子之间只有一个词的差异，但含义完全不同。
LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE,LLM-Large Language Models,自然语言处理,人工智能

对于像我们这样具有有机软脑的人类来说，我们可以看出相似之处和不同之处。但当你在数百万个句子上训练模型时，你需要一种自动化的结构化方法来进行测量。

ROUGE和BLEU是两个广泛使用的用于不同任务的评估指标。ROUGE代表Recall Oriented Under Generated summaries Evaluation回忆定向自动摘要评估，主要用于通过将自动生成的摘要与人工生成的参考摘要进行比较来评估其质量。
LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE,LLM-Large Language Models,自然语言处理,人工智能

另一方面，BLEU代表Billingual Evaluation双语评估研究，是一种用于评估机器翻译文本质量的算法，同样是通过将其与人工生成的翻译进行比较来评估的。
LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE,LLM-Large Language Models,自然语言处理,人工智能

现在，单词BLEU是法语中的“蓝色”。你可能听到人们称之为“蓝色”，但我将坚持使用原始的BLEU。

在开始计算指标之前，让我们先复习一些术语。在语言的解剖学中，一个unigram等同于一个单词。一个bigram是两个单词，n-gram是n个单词的组合。
LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE,LLM-Large Language Models,自然语言处理,人工智能

非常简单的东西。首先，让我们看一下ROUGE-1指标。
为此，让我们看一个人工生成的参考句子：It is cold outside 和一个生成的输出：very cold outside。

你可以执行类似于其他机器学习任务的简单度量计算，使用召回率、精确率和F1。

召回率指标测量了参考和生成输出之间匹配的单词或unigram数量，除以参考中的单词或unigram数量。在这种情况下，完全匹配的单词得分为1，因为所有生成的单词都与参考中的单词匹配。
LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE,LLM-Large Language Models,自然语言处理,人工智能

精确率测量了unigram匹配除以输出大小。
LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE,LLM-Large Language Models,自然语言处理,人工智能

F1分数是这两个值的调和平均。
LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE,LLM-Large Language Models,自然语言处理,人工智能

这些都是非常基本的指标，只关注单个单词，因此名称中有“1”，并且不考虑单词的顺序。它可能具有误导性。生成得分高但主观上可能较差的句子是完全可能的。

暂停片刻，想象一下，如果模型生成的句子只是多了一个单词，而不是 “It is not cold outside.”，得分将是相同的。
LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE,LLM-Large Language Models,自然语言处理,人工智能

通过考虑一次从参考和生成句子中获取两个词的bigram或两个词的组合，你能够计算ROUGE-2。
LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE,LLM-Large Language Models,自然语言处理,人工智能

现在，你可以使用bigram匹配来计算召回率、精确率和F1分数，而不是使用单个单词。你会注意到分数比ROUGE-1分数要低。
LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE,LLM-Large Language Models,自然语言处理,人工智能

在较长的句子中，bigram不匹配的可能性更大，分数可能更低。

与继续计算ROUGE分数的n-gram增大到三个或四个不同，让我们采取不同的方法。

相反，你将寻找在生成输出和参考输出中都存在的最长公共子序列。在这种情况下，最长匹配子序列是 “it is” 和 “cold outside”，每个子序列的长度都为2。
LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE,LLM-Large Language Models,自然语言处理,人工智能

现在，你可以使用LCS值来计算召回率、精确率和F1分数，其中召回率和精确率计算中的分子都是最长公共子序列的长度，即2。总体上，这三个量被称为Rouge-L分数。与所有ROUGE分数一样，你需要将值放在上下文中进行解释。
LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE,LLM-Large Language Models,自然语言处理,人工智能

只有在为相同的任务确定了分数时，你才能使用这些分数来比较模型的能力。

例如，摘要任务。不同任务的Rouge分数不能相互比较。

正如你所见，简单的Rouge分数的一个特定问题是，不好的完成可能会得到很好的分数。

例如，考虑以下生成的输出：cold, cold, cold, cold。由于这个生成的输出包含了参考句子中的一个单词，它的分数会相当高，即使同一个单词多次重复。

Rouge-1精确率分数将是完美的。
LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE,LLM-Large Language Models,自然语言处理,人工智能

你可以通过使用剪辑函数来解决这个问题，将unigram匹配的数量限制为参考中该unigram的最大计数。

在这种情况下，参考中出现了一个 “cold”，因此在带有unigram匹配剪辑的修改精确率下，分数大幅降低。
LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE,LLM-Large Language Models,自然语言处理,人工智能

然而，如果生成的单词都存在，但顺序不同，你仍然会面临挑战。

例如，对于这个生成的句子：“outside cold it is.”，即使在带有剪辑函数的修改精确率下，这个句子仍然是完美的，因为在参考中的所有单词和生成的输出都存在。
LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE,LLM-Large Language Models,自然语言处理,人工智能