INSET: Sentence Infilling with INter-SEntential Transformer

摘要

introduction

• 基于上下文生成

• 基于上下文和辅助信息（比如关键字、知识图谱或者文本片段）

• 依次生成缺失部分文本，从mask标记开始直到空白结尾标记为止。可以生成任意长度文本（arXiv:1901.00158）

• 存在问题：只关注词汇的正确性，无法保证全局语义的正确性

• MASS是预测文本中缺失的span而获得句子表征（ MASS: Masked sequence to sequence pre-training for language generation. ）

• 存在问题：需要指定预测长度

• TIGS: An inference algorithm for text infilling with gradient search.

• SpanBERT: Improving pre-training by representing and predicting spans.

• 二者与MASS的问题相同，都需要指定预测长度

• 基于bert的encoder，将文本映射到语义空间。

• 句子级规划期，推断缺失信息，使前后文语意连贯。

• 基于GPT的生成器，将语义空间应社会文本域。

• 提出了超越文本填充的句子填充任务，是句子级别的填充

• 将模型进行解耦，缩小了单个模型的任务范围，并且可以使用额外的无监督数据单个检查和改进每个组件

• 专注于语义衔接的连贯性

• 允许生成任意长度的内容

• 计算需求小

相关工作

自然语言生成

• 预训练语言模型通过可歉意的语境化词向量和模型，在自然语言生成和理解中发挥重要作用。

• 大型transformer结构，例如GPT-2， Megatron1 ， T5 无需为也定语言进行benchmark训练就可以获得较好的结果。

• arXiv:1909.05858.提出了一个条件生成模型，该模型经过训练，能够对控制样式、内容和任务特定行为的控制代码进行条件化。 （CTRL - A Conditional Transformer Language Model for Controllable Generation.）
  本文是直接使用bert，并对其进行fine-tune
  。

Context-aware Text Generation

• 将前文视作语境

• 将历史对话视为背景信息

• 根据前几句对话预测之后的句子

• 根据主题短语从情绪得分中生成长评论

• 文本填充：利用缺失部分周围的信息来填充句子

• 迭代推理算法

• 屏蔽随机的连续span，训练语言模型来填充mask掉的span。

分层文本生成

• 给定编码对话内容的分层循环encoder-decoder框架

• 提出了一个框架，用于推断使用自监督学习生成响应的语义特征

• 使用多层LSTM或者分层自动编码器学习长文本的分层表示

• 使用自动分层编码器将整个段落编码为一个表示变量，再从中分层生成文本