论文阅读笔记（4）——《Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph》

1 Abstract & Introduction

本文是 结合常识知识 的文本生成领域的研究。利用知识图谱的结构和语义信息可促进常识性文本生成。在本文中，作者提出了使用 多跳推理流程（GRF） 进行生成的方法，该方法可以在从外部常识知识图谱中提取的多关系路径上启用带有动态多跳推理的预训练模型。实验结果表明在需要推理常识性知识的三个文本生成任务上：故事结尾生成(Mostafazadeh et al.， 2016)、溯因自然语言生成(Bhagavatula et al.， 2020)和意义生成的解释生成(Wang et al.， 2019)，本文提出的模型优于现有基准模型。同时，通过模型推断出的推理路径为文本生成提供了可解释性。

2 Related Work

2.1 Commonsense-Aware Neural Text Generation（常识感知神经文本生成）

2.2 Multi-Hop Reasoning on Graph Structure（图结构的多跳推理）

3 Methodology

3.1 Problem Formulation

关注文本生成任务，其中推理的外部常识知识是必需的。不失一般性，输入源 是一个文本序列x = (x1, x2，···xN)，可能由几个句子组成。输出目标 是另一个文本序列y = (y1, y2，···，yM)。为便于推理过程，借助于外部常识知识图G = (V, E) ，其中V表示概念集 ，E表示概念之间的关系。
提取一个子图G = (V, E) 和给定的输入文本$\mathrm{V}\subset \mathcal{V}$和$E\subset \mathcal{E}$。
子图由相互连接的从从输入文本中开始的源概念Cx提取的H-hop路径。我们只考虑1-gram表面文本的概念。然后制定任务生成最佳假设yˆ以下哪一个条件概率最大化:

$$\hat{\mathbf{y}}={\mathrm{argmax}}_{\mathbf{y}}P(\mathbf{y}\mid \mathbf{x},G)$$

3.2 Generation with Multi-Hop Reasoning Flow（多跳推理流程生成）

3.2.1 Static Multi-Relational Graph Encoding（静态多关系图编码）

图神经网络(GNN)框架，如图卷积网络(GCN) (Kipf和Welling, 2017)和graph attention network(GAT) (Velickovic et al.， 2018)的研究表明，通过聚合来自本地邻居的节点信息，可以有效地编码图结构数据。
使用非参数合成操作$\varphi (\cdot )$将节点嵌入和关系嵌入结合起来。
给定输入图G = (V,E)和一个GCN的LG层，对于每个节点$v\in V$，我们通过聚合其局部邻居$\mathcal{N}(v)$的信息来更新在l + 1层嵌入的节点，这些邻居包括对节点u和连接关系r。

$$\begin{array}{rl}{\mathbf{o}}_v^l& =\frac{1}{|\mathcal{N}(v)|}\sum _{(u,r)\in \mathcal{N}(v)}{\mathbf{W}}_N^l\varphi \left({\mathbf{h}}_u^l,{\mathbf{h}}_r^l\right)\\ {\mathbf{h}}_v^{l+1}& =\mathrm{ReLU}\left({\mathbf{o}}_v^l+{\mathbf{W}}_S^l{\mathbf{h}}_v^l\right)\end{array}$$

其中$h_v^0$通过查找单词内嵌初始化，$h_r^0$通过关系类型内嵌初始化。$W_N^l$和$W_S^l$是两个特定于l层的可学习权值矩阵。我们将组合操作定义为$\varphi \left({\mathbf{h}}_u,{\mathbf{h}}_r\right)={\mathbf{h}}_u-{\mathbf{h}}_r$，灵感来自TransE模型(Bordes et al.， 2013)。
关系嵌入也通过另一个线性变换来更新。

$${\mathbf{h}}_r^{l+1}={\mathbf{W}}_R^l{\mathbf{h}}_r^l$$

最后，得到了对静态图上下文进行编码的节点嵌入${\mathbf{h}}_v^{L_G}$和关系嵌入${\mathbf{h}}_r^{L_G}$，用于译码过程中的动态推理。

3.2.2 Context Modeling with Pre-Trained Transformer（用预先训练好的Transformer进行上下文建模）

采用预先训练好的多层变压器译码器GPT-2模型(Radford et al.， 2019)来建模文本序列的上下文依赖关系。模型的输入是源序列和目标序列的串联:s = $\left(x_1,\cdots ,x_N,[\text{ bos }],y_1,\cdots ,y_M\right)$
$$\begin{array}{rl}{\mathbf{h}}_t^0& ={\mathbf{e}}_t+{\mathbf{p}}_t\\ {\mathbf{h}}_t^l& ={\mathrm{T}}_{}\mathrm{block}\left({\mathbf{H}}_{\le t}^{l-1}\right),l\in \left[1,L_D\right]\\ P\left(s_t\mid {\mathbf{s}}_{<t}\right)& =\mathrm{softmax}\left({\mathbf{W}}_{LM}{\mathbf{h}}_t^{L_D}+\mathbf{b}\right)\end{array}$$

其中，et和pt分别为标记嵌入向量和位置嵌入向量。T block是掩蔽自我注意的变压器块。在第t个时间步长$h_t^{L_D}$处的最终隐藏状态作为多跳推理模块的输入，$h_t^{L_D}$对上下文信息进行编码。

3.2.3 Dynamic Multi-Hop Reasoning Flow（动态多跳推理流程）

为在生成过程中对图结构进行显式推理，设计了一个动态推理模块，在每一个解码步骤中利用知识图的结构模式和上下文信息沿关系路径传播证据。
模块通过多次更新外部节点与被访问的邻居的得分来广播G上的信息，直到访问了G上的所有节点。最初，Cx中对应概念的节点被赋予1分，其他未访问的节点被赋予0分。
对于未访问的节点$v\in V$，它的节点得分ns(v)是通过聚集来自的证据来计算的Nin(v)表示直接连接v的已访问节点u及其边r的集合。
$$ns(v)=\underset{(u,r)\in {\mathcal{N}}_{in}(v)}{f}(\gamma \cdot ns(u)+R(u,r,v))$$

其中$\gamma$是控制前一跳信息流强度的折扣因素。f(·)是一个聚合器，它将连接节点的分数集合起来。我们考虑两种形式的聚合器:max(·)和mean(·)。我们使用max(·)作为主要结果，在消融研究中使用mean(·)表示结果。
R(u, r, v)是三重关联，它反映了三联体(u, r, v)在当前语境下给出的证据的相关性。我们计算三重相关性如下:
$$\begin{array}{rl}R(u,r,v)& =\sigma \left({\mathbf{h}}_{u,r,v}^{\mathrm{T}}{\mathbf{W}}_{\mathrm{sim}}{\mathbf{h}}_t^{L_D}\right)\\ {\mathbf{h}}_{u,r,v}& =\left[{\mathbf{h}}_u^{L_G};{\mathbf{h}}_r^{L_G};{\mathbf{h}}_v^{L_G}\right]\end{array}$$
经过H跳后，通过归一化得到节点的最终分布。
$$P\left(c_t\mid s_{<t},G\right)={\mathrm{softmax}}_{v\in V}(ns(v))$$
其中ct为第t个时间步处所选节点的概念。
直观地，推理模块根据当前的解码器状态，通过考虑三重证据，学习沿路径动态分布。

3.2.4 Generation Distribution with Gate Control（带门控制的生成分配）

用一个软门概率gt表示是否要复制一个概念生成控制权重的两个分布类似于复制机制。
$$g_t=\sigma \left({\mathbf{W}}_{gate}{\mathbf{h}}_t^{L_D}\right)$$
最终的输出分布是两个分布gt和1-gt的加权的线性组合。
$$\begin{array}{rl}P\left(y_t\mid {\mathbf{y}}_{<t},\mathbf{x},G\right)& =g_{t+N}\cdot P\left(c_{t+N}\mid {\mathbf{s}}_{<t+N},G\right)\\ & +\left(1-g_{t+N}\right)\cdot P\left(s_{t+N}\mid {\mathbf{s}}_{<t+N}\right)\end{array}$$
其中N是输入文本序列的长度。

3.3 Training and Inference（训练与推论）

为了训练所提出的模型，我们最小化产生地面真值目标序列的负对数似然 ${\mathbf{y}}^{\text{gold }}=\left(y_1,y_2\cdots ,y_M,[\text{ eos }]\right)$
$${\mathcal{L}}_{gen}=\sum _{t=1}^{M+1}-\log P\left(y_t^{\mathrm{g}\mathrm{o}\mathrm{l}\mathrm{d}}\mid {\mathbf{y}}_{<t}^{\mathrm{g}\mathrm{o}\mathrm{l}\mathrm{d}},\mathbf{x},G\right)$$
增加了一个辅助栅损失Lgate来监督一个概念或一个通用词的选择概率。此外，还引入了弱监督Lweak来诱导预测的三重关联，以匹配由宽度优先搜索从源概念得到的启发式边标签到图上ygold中的概念。这两个损失函数都采用二元交叉熵的形式。
最终需要优化的损失是线性组合：${\mathcal{L}}_{gen}+\alpha {\mathcal{L}}_{gate}+\beta {\mathcal{L}}_{weak}$
在推理阶段，模型的输入为(x1，···，xN， [bos])。该模型每次生成一个标签，并将其连接到输入序列以生成下一个标签。生成特殊的结束符号[eos]时，生成过程终止。

4 Experiments

4.1 Datasets and Metrics

故事结尾生成(SEG) 是为一个四句话的故事上下文生成一个合理的结尾。
归纳法自然语言生成(NLG) 是生成一个解释性假说给出两个观察:O1作为原因和O2作为后果。
解释生成(EG) 是在给出一个反事实陈述的情况下生成一个解释，以便进行意义构建。

4.2 Extracting Sub-Graphs as Knowledge Grounding（提取子图作为知识基础）

从G中提取一个子图G = (V,E)，它由多个相互连接的路径组成，从输入序列中的源概念Cx开始。为了从输入文本序列中识别概念，使用Spacy3对表层文本的lemmatized形式进行模糊匹配，并过滤掉停止词。跟随Guan等人(2019)，只考虑动词和名词作为候选概念，因为发现提取的图与所有匹配的概念相比噪声更大。
具体地说，对以下过程进行迭代
H跳点:从当前子图的节点开始(Cx初始化)，搜索每个节点的直接邻居，保留有连通边的topB节点，扩大子图。对于每个候选节点，根据其进入该节点的程度进行选择。候选节点v的进入度定义为当前子图中与v直接连接的节点的数量。直观上，保留了那些经常访问的节点和支持图上信息流的突出概念。

4.3 Implementation Details

4.4 Compared Baselines

Seq2Seq 是一种基于有注意机制的门控循环单元(GRU)的序列-序列模型。我们还利用模型的复制机制(Gu et al.， 2016)来生成词汇外的单词。
GPT2-FT 是一个GPT-2模型，在特定任务数据集上进行了微调，并从中进行了模型初始化
Radford等人(2019)。
GPT2-OMCS-FT 是常识增强的GPT-2模型，首先在培训后就开放思想常识(OMCS)语料ConceptNet构造。然后在特定任务的数据集上对模型进行微调。

4.5 Automatic Evaluation

4.6 Human Evaluation

如表6，我们的模型在所有数据集中的两个标准方面显著优于比较基线。具体地说，结合结构常识知识，在产生合理的文本给出的语境中产生显著的改进。

4.7 Ablation Study（消融研究）

所有部件对最终性能有贡献。删除动态推理模块(w/o DMRF)的性能下降幅度最大，说明动态多跳推理在该任务中发挥了主要作用。去掉图表示模块(w/o SMGE)也会降低性能，因为它用关系信息编码图结构，有利于概念选择。我们还展示了使用mean(·)聚合器的推理模块的结果，并观察到与max(·)相比性能有所下降。

4.8 Impact of the Size of Training Data（培训数据大小的影响）

4.9 Effectiveness of Dynamic Multi-Hop Reasoning（动态多跳推理的有效性）

$\gamma$控制多跳推理模块中的信息流。如图4所示，当”在0.4和0.6左右时获得最大性能。因此，将模型的所有主要结果设为$\gamma$= 0.5。

5 Conclusion

我们介绍了具有多跳推理流程的生成器，它在文本生成过程中对结构化的常识知识进行了推理。该方法利用外部知识库的结构信息和语义信息，在关系路径上进行动态多跳推理。进行了大量的实验后，经验表明我们的方法在三个文本生成任务上优于现有的将常识知识整合到预先训练过的语言模型的方法。我们还用推理路径证明了我们的方法的可解释性。