利用大模型打造文本摘要训练新范式训练和下游实际任务并不一致

2024-06-29 05:18:45 [百科] 来源：避面尹邢网

利用大模型打造文本摘要训练新范式

作者：Fareise 2023-06-09 07:29:03人工智能大模型在摘要生成上的利用能力得到越来越广泛的认可，因此利用大模型作为摘要模型拟合目标的大模生成器，取代人工标注结果，型打训练新范将成为未来的造文发展趋势。

1、本摘文本任务

这篇文章主要讨论的利用是生成式文本摘要的方法，如何利用对比学习和大模型实现最新的大模生成式文本摘要训练范式。主要涉及两篇文章，型打训练新范一篇是造文BRIO: Bringing Order to Abstractive Summarization（2022），利用对比学习在生成模型中引入ranking任务；另一篇是本摘On Learning to Summarize with Large Language Models as References（2023），在BRIO基础上进一步引入大模型生成高质量训练数据。利用

2、大模生成式文本摘要训练方法和问题

生成式文本摘要的型打训练新范训练一般采用极大似估计的方式。首先用一个Encoder对document进行编码，造文然后用一个Decoder递归的本摘预测摘要中的每个文本，拟合的目标是一个人工构造的摘要标准答案。整个优化函数可以表示为如下形式，让每个位置生成文本的概率和标准答案最接近：

利用大模型打造文本摘要训练新范式训练和下游实际任务并不一致

这种方式的问题在于，训练和下游实际任务并不一致。对于一个document，可以产生很多摘要，这些摘要的质量有好有坏。而MLE要求拟合的目标必须是唯一一个标准答案。这种gap也导致文本摘要模型无法比较好的评估两个质量不同摘要的好坏程度。例如在BRIO这篇论文中做了一个实验，一般的文本摘要模型在判断质量不同的两个摘要的相对顺序时，效果非常差。

利用大模型打造文本摘要训练新范式训练和下游实际任务并不一致

3、生成模型引入排序对比学习

为了解决传统生成式文本摘要模型存在的问题，BRIO: Bringing Order to Abstractive Summarization（2022）提出在生成模型中进一步引入对比学习任务，提升模型对不同质量摘要的排序能力。

BRIO采用多任务的形式进行训练。第一个任务和传统生成式模型相同，也是MLE的方式拟合标准答案。第二个任务是一个对比学习任务，让一个预训练的文本摘要模型使用beam search生成不同的两个结果，使用ROUGE评估这两个生成结果和标准答案之间哪个更好，以确定这两个摘要的排序。这两个摘要结果输入到Decoder中，得到两个摘要的概率，通过对比学习loss让模型给高质量摘要更高的打分。这部分对比学习loss的计算方式如下：

4、大模型优化文本摘要

随着GPT等大模型的兴起，人们发现用大模型生成的摘要甚至比人工生成的质量还要好。这种情况下，使用人工生成的标准答案就限制了模型效果的天花板。因此On Learning to Summarize with Large Language Models as References（2023）提出使用GPT这种大模型生成训练数据，指导摘要模型学习。

这篇文章提出了3种利用大模型生成训练样本的方式。

第一种是直接使用大模型生成的摘要，替代人工生成的摘要，相当于直接用下游模型拟合大模型的摘要生成能力，训练方式仍然是MLE。

第二种方式为GPTScore，主要是利用预训练大模型对生成的摘要进行打分，以这个打分作为评估摘要质量的依据，然后使用类似BRIO中的方式进行对比学习训练。GPTScore是Gptscore: Evaluate as you desire（2023）中提出的一种基于大模型评估生成文本质量的方法。