论文题目Recurrent Event Network: Autoregressive Structure Inference over Temporal Knowledge Graphs递归事件网络时态知识图上的自回归结构推理会议EMNLP 2020摘要知识图推理是自然语言处理中的关键任务。在时间知识图上任务变得更具挑战性其中每个事实都与一个时间戳相关联。现有的大多数方法侧重于过去时间戳的推理不能预测未来发生的事实。提出了一种用于预测未来交互的自回归结构--递归事件网络(RE-Net)。事实(事件)的发生被建模为以过去知识图的时间序列为条件的概率分布。具体地说我们的RE-Net使用递归事件编码器来编码过去的事实并使用邻域聚合器来建模同一时间戳中的事实之间的联系。然后可以根据这两个模块以顺序的方式推断未来的事实。我们通过在五个公共数据集上对未来时间的链接预测来评估我们所提出的方法。通过大量的实验我们展示了Renet的优势特别是在未来时间戳的多步推理上并在所有五个数据集上获得了最先进的性能。项目地址https://github.com/INK-USC/RE-NetRE-NET用自回归结构推断预测时序知识图谱中的未来事件 | EMNLP 2020一、背景知识图谱与时序推理知识图谱Knowledge Graph, KG以三元组 (主体, 关系, 客体) 的形式存储现实世界的事实是自然语言处理众多下游应用的核心基础设施。然而现实世界中的事实往往不是永久成立的。例如某国总统批评另一国这一事件只在特定时间点发生过了这个时间就未必成立。为了刻画这种时效性研究者引入了时序知识图谱Temporal Knowledge Graph, TKG将每条事实关联一个时间戳形成带时间标签的四元组 (s, r, o, t)。论文 Figure 1时序知识图谱示例展示伊朗、韩国、法国等实体在三个时间点上的交互事件以及需要预测的未来时间步上的未知关系图中以标示在时序知识图谱上进行推理主要有两种设定插值Interpolation预测训练时间范围内某个缺失的事实。外推Extrapolation预测的未来时间戳上将会发生的新事实。外推任务更贴近实际应用场景如地缘政治事件预测、新闻趋势预测却长期被学术界忽视。RE-NET 正是专注于解决这一更具挑战性的外推任务。二、现有方法的三大核心问题问题1大多数方法只能做插值无力预测未来TA-DistMult、HyTE、TNTComplEx 等主流时序知识图谱方法本质上是基于时间感知的嵌入学习它们为已观测的时间戳学习表示对训练期间从未出现过的未来时间戳则束手无策——因为这些时间戳根本没有对应的嵌入向量。问题2少数外推方法在推理时作弊Know-Evolve 和 DyRep 虽然面向外推任务但它们在推理阶段需要将**前序时间步的真实事件ground truth**作为条件输入。这在实验室评测中固然可行但在实际部署时无从获取未来的真实标签导致这类方法无法真正做到对多个未来时间步的连续预测。问题3同一时间窗口内的并发事件被忽视在真实事件数据中同一天或同一小时往往同时发生大量事件。Know-Evolve 采用时间点过程temporal point process建模当同一时间戳内有多个并发事件,时处理完后主体 s 最近的事件时间会被更新为导致的强度函数值所有候选实体的得分相同排名完全失效论文附录G详细揭示了这一代码级缺陷。此外dyngraph2vecAE、tNodeEmbed、EvolveRGCN 等动态图方法只能处理同质图单一关系类型且只预测下一个时间步t1无法应对多关系知识图谱和多步预测的需求。三、RE-NET 的核心思路针对上述问题作者提出了Recurrent Event Network (RE-NET)一种面向时序知识图谱的自回归结构推断框架。其三个核心设计观察是时序依赖性相邻时间步的事件之间存在语义关联和规律性模式可用于辅助预测未来事件。并发事件的局部图结构同一时间窗口内的多个事件构成一个局部图实体间的结构依赖关系对预测同样有价值。多步推理的可分解性对未来多步的预测可以分解为一系列单步条件分布的乘积在自回归框架下逐步求解。论文 Figure 2RE-NET 整体架构图展示聚合器Aggregator、编码器Encoder和解码器Decoder三个模块之间的数据流向以及全局Global和局部Local两种信息的处理路径四、方法详解4.1 问题形式化与联合分布定义RE-NET 将时序知识图谱视为一个事件四元组序列其中是时间步 t 上所有事件的集合。模型目标是学习所有事件的生成分布 p(G)。RE-NET 以自回归方式将其分解为进一步假设中各事件在给定历史的条件下相互独立联合概率可拆解为生成时依次采样主体 s、关系 r、客体 o最终通过 MLP 解码器线性 softmax 分类器输出每个候选实体的概率。4.2 循环事件编码器Recurrent Event Encoder为了捕捉历史事件序列中的时序依赖RE-NET 引入了循环事件编码器基于 GRU 维护三类动态表示全局表示汇总整个图的全局信息反映当前时间步上各类事件的整体偏好局部表示聚焦特定主体-关系对的历史交互用于预测局部表示聚焦主体 s 的历史用于预测其中是邻域聚合函数是时间步 t 时与主体 s 相关的所有事件集合。全局表示同时作为局部表示更新的额外输入充当连接不同实体的桥梁。4.3 邻域聚合器Neighborhood Aggregator聚合函数决定了如何从同一时间窗口内的并发邻居事件中提取局部图结构信息。RE-NET 设计并对比了三种聚合器论文 Figure 3三种邻域聚合器的对比示意图。蓝色节点为主体 s红色节点为1跳邻居绿色节点为2跳邻居不同颜色的边表示不同关系类型。均值聚合和注意力聚合不区分不同关系也不编码2跳邻居RGCN聚合可同时利用多关系和多跳邻居信息1均值聚合Mean Pooling对所有在关系 r 下与 s 交互的客体嵌入取均值简单但忽略了邻居的差异重要性且无法区分不同关系。2注意力聚合Attentive Pooling引入基于主体 s 和关系 r 的加性注意力为每个客体分配权重能区分不同邻居的重要性但仍无法处理多关系和2跳邻居。3RGCN 多关系图聚合Multi-Relational Graph Aggregator基于关系图卷积网络RGCN聚合多关系下的多跳邻居信息通过多层堆叠可聚合多跳邻居并为不同关系维护独立权重矩阵采用块对角分解防止参数爆炸。实验证明 RGCN 聚合器性能最优。4.4 多步推理Multi-step InferenceRE-NET 的关键优势之一是能够在不依赖任何 ground truth的情况下对未来多个时间步进行序列预测。设当前时间为 t目标是预测时刻的事件。多步推理的核心思路是即通过在每个中间时间步采样生成图逐步逼近远期条件分布。具体地每步采样 M1000 个主体取 top-k1000 个三元组构成该步的生成图再滚动至下一步。由于只需单次采样即可达到很好的估计效果RE-NET 在效率和精度之间取得了良好平衡。五、实验设置数据集RE-NET 在五个公开 TKG 数据集上进行评测涵盖两类场景事件型 TKG事件反复发生ICEWS18综合危机早期预警系统2018年1月至10月数据时间粒度为天24小时包含 23,033 个实体和 256 种关系ICEWS142014年全年数据12,498 个实体260 种关系GDELT全球事件数据库时间粒度为15分钟7,691 个实体240 种关系训练集超过170万条事件知识图谱型 TKG事实持续一段时间WIKI来自维基百科时间粒度为年12,554 个实体24 种关系YAGO多语言维基百科知识库时间粒度为年10,623 个实体10 种关系论文 Table 3附录五个数据集的详细统计信息包括训练/验证/测试集大小、实体数、关系数和时间粒度除 ICEWS14 外其余数据集均按照时间戳顺序划分为训练集80%、验证集10%和测试集10%确保测试时间戳严格晚于训练时间戳。评价指标采用过滤版filtered的MRRMean Reciprocal Rank和Hits3/10即在计算排名时过滤掉所有在训练/验证/测试集中出现过的正确三元组避免它们干扰排名。六、实验结果6.1 主实验五数据集全面对比论文 Table 1五个 TKG 数据集上的时序链接预测性能对比5次运行平均过滤版指标单位为%。RE-NET 在所有数据集上均取得最优结果事件型 TKG 结果分析在 ICEWS18 和 GDELT 上RE-NET 全面超越所有基线静态方法整体劣于时序方法因为它们完全忽略时间信息。时序方法中TA-DistMult 在 ICEWS18 上 MRR 为 28.53%远低于 RE-NET 的 42.93%HyTE 仅有 7.31%表现极差这两种方法本质上是插值方法强行用于外推任务。Know-Evolve 的 MRR 仅为 3.27%标记*说明其原始代码存在并发事件的 bug 已被修复即便修复后Know-EvolveMLP也只有 9.29%远低于 RE-NET。R-GCRNMLP 与 RE-NET 在架构上最为接近同样有循环编码器和 RGCN 聚合器但缺少多步推理和全局信息MRR 为 35.12%仍比 RE-NET 低 7.8 个百分点。最重要的是所有先前的时序方法均不具备多步推理能力而 RE-NET 可以序列化地预测任意远未来的事件。知识图谱型 TKG 结果在 WIKI 和 YAGO 上静态基线整体表现优于事件型 TKG因为这类数据集的事实长期有效静态建模更合适但 RE-NET 依然在两个数据集上均超越所有方法。在 YAGO 上RE-NET 的 MRR 达到 65.16%Hits10 达到 68.08%。6.2 时间维度上的预测性能论文 Figure 4在 ICEWS18以天为单位和 GDELT以分钟为单位数据集上随预测时间步增加的 Hits3 变化曲线。RE-NET 在所有时间步上持续优于 ConvE 和 TA-DistMult从图中可观察到随着预测时间步的增加所有方法的性能均有所下降因为越远的未来越难预测但 RE-NET 始终保持领先优势。值得注意的是随着时间步增大RE-NET 与 ConvE 的差距有所收窄——这是因为 RE-NET 生成中间图的质量会随序列长度增加而下降。论文 Figure 6附录在 WIKI 和 YAGO 数据集上以年为单位随时间步的 Hits3 变化曲线RE-NET 同样持续领先6.3 消融实验论文 Table 2在 ICEWS18 和 GDELT 上的消融实验结果验证各模块的贡献关键消融结果ICEWS18MRR模型变体MRRHits3Hits10RE-NET w/o 聚合器33.4635.9846.62RE-NET w/o 多步推理40.0542.6052.92RE-NET完整42.9345.4755.80RE-NET w. GT上界44.3346.8357.27去掉聚合器MRR 从 42.93 骤降至 33.46下降 9.47 个百分点说明对并发事件局部图结构的建模至关重要。去掉多步推理保持历史不更新MRR 降至 40.05说明中间步骤生成的历史对远期预测有实质性帮助。使用 ground truth 历史RE-NET w. GTMRR 提升至 44.33表明当前仍有提升空间且验证了多步推理策略的合理性。6.4 聚合器类型与模型变体分析论文 Figure 5(a) 不同聚合器对 RE-NET 性能的影响(b) 经验概率 p(s)$和 p(s,r) 的研究不同聚合器的影响ICEWS18MRR均值聚合40.70注意力聚合40.96RGCN 聚合最优42.93RGCN 聚合器凭借多关系和多跳邻居的处理能力明显优于均值聚合和注意力聚合提升约 2.2 个百分点。经验概率 vs. 学习概率若用经验统计 $p_e(s)$主体出现频次之比替代训练得到的 $p(s)$MRR 从 42.93 下降至 42.43同时替换 $p(s)$ 和 $p(r)$ 后进一步降至 42.07。说明通过训练学习的 $p(s)$ 和 $p(r)$ 对多步推理有显著帮助尽管提升幅度不如聚合器和多步推理模块。七、超参敏感性分析论文 Figure 7RE-NET 在 ICEWS18 上的参数敏感性分析包括 (a) RNN 历史长度 m(b) 推理时截断位置 k(c) RGCN 层数(d) 全局表示的影响历史长度 m当 m 从 2 增加到 5 时 MRR 持续提升后趋于饱和最终设为 10。截断位置 kk0 时 RE-NET 退化为单步预测MRR 最低约 40后趋于饱和最终设为 1000。RGCN 层数2 层MRR42.93显著优于 1 层36.86但 3 层43.34反而略低于 2 层推测参数空间过大导致过拟合。全局表示引入全局表示后 MRR 从 42.53 提升至 42.93Hits3 从 45.07 提升至 45.47提升边际但稳定说明全局图结构提供了局部邻域之外的补充信息。八、案例分析论文 Figure 8RE-NET 预测的案例研究展示三种历史模式(1) 与某客体的持续一致交互(2) 特定的时序模式(3) 与答案无关的历史RE-NET 的预测行为高度依赖历史交互序列具体可分为三类场景场景1成功持续一致的交互。若主体长期在某关系下与同一客体交互如持续批评某国RE-NET 能稳定预测而静态方法会受到训练集中其他高频实体的干扰。场景2成功特定时序模式。若历史存在规律性的关系转化模式如 逮捕, 公民 → 使用武力, 公民RE-NET 能捕捉并利用这一时序模式做出准确预测而不了解时间信息的方法可能给出商人而非公民的错误答案。场景3失败无关历史。当历史交互与未来答案无关如过去一直部署武器而下一步是邀请某个完全不同的实体RE-NET 的历史信息起不到帮助作用预测失败。这也指出了模型的核心局限对于突发性、缺乏历史规律的事件预测仍然困难。九、总结与启示RE-NET 是时序知识图谱外推推理领域的一项奠基性工作其贡献可概括为✅明确定义了外推 TKG 推理问题区分于插值设定并建立了严格的多步推理评估协议推理时不允许使用测试集 ground truth。✅首次以自回归框架建模时序多关系图将事件联合分布分解为可逐步采样的条件分布链。✅循环事件编码器 邻域聚合器 的双路设计分别捕捉时序依赖和并发局部结构两个模块均经消融验证不可缺少。✅五数据集全面 SOTA尤其在多步推理场景下优势显著是后续 TKG 外推工作的重要基线。局限性与未来方向作者也指出RE-NET 在远期预测时质量会逐渐下降中间生成图的误差累积且对无历史规律的突发事件束手无策。未来工作包括更高效的 RE-NET 变体、对持续性事件time-span facts的推理、以及结合更强的语言模型进一步提升事件表示能力。
（论文速度）RE-NET递归事件网络：时态知识图上的自回归结构推理
论文题目Recurrent Event Network: Autoregressive Structure Inference over Temporal Knowledge Graphs递归事件网络时态知识图上的自回归结构推理会议EMNLP 2020摘要知识图推理是自然语言处理中的关键任务。在时间知识图上任务变得更具挑战性其中每个事实都与一个时间戳相关联。现有的大多数方法侧重于过去时间戳的推理不能预测未来发生的事实。提出了一种用于预测未来交互的自回归结构--递归事件网络(RE-Net)。事实(事件)的发生被建模为以过去知识图的时间序列为条件的概率分布。具体地说我们的RE-Net使用递归事件编码器来编码过去的事实并使用邻域聚合器来建模同一时间戳中的事实之间的联系。然后可以根据这两个模块以顺序的方式推断未来的事实。我们通过在五个公共数据集上对未来时间的链接预测来评估我们所提出的方法。通过大量的实验我们展示了Renet的优势特别是在未来时间戳的多步推理上并在所有五个数据集上获得了最先进的性能。项目地址https://github.com/INK-USC/RE-NetRE-NET用自回归结构推断预测时序知识图谱中的未来事件 | EMNLP 2020一、背景知识图谱与时序推理知识图谱Knowledge Graph, KG以三元组 (主体, 关系, 客体) 的形式存储现实世界的事实是自然语言处理众多下游应用的核心基础设施。然而现实世界中的事实往往不是永久成立的。例如某国总统批评另一国这一事件只在特定时间点发生过了这个时间就未必成立。为了刻画这种时效性研究者引入了时序知识图谱Temporal Knowledge Graph, TKG将每条事实关联一个时间戳形成带时间标签的四元组 (s, r, o, t)。论文 Figure 1时序知识图谱示例展示伊朗、韩国、法国等实体在三个时间点上的交互事件以及需要预测的未来时间步上的未知关系图中以标示在时序知识图谱上进行推理主要有两种设定插值Interpolation预测训练时间范围内某个缺失的事实。外推Extrapolation预测的未来时间戳上将会发生的新事实。外推任务更贴近实际应用场景如地缘政治事件预测、新闻趋势预测却长期被学术界忽视。RE-NET 正是专注于解决这一更具挑战性的外推任务。二、现有方法的三大核心问题问题1大多数方法只能做插值无力预测未来TA-DistMult、HyTE、TNTComplEx 等主流时序知识图谱方法本质上是基于时间感知的嵌入学习它们为已观测的时间戳学习表示对训练期间从未出现过的未来时间戳则束手无策——因为这些时间戳根本没有对应的嵌入向量。问题2少数外推方法在推理时作弊Know-Evolve 和 DyRep 虽然面向外推任务但它们在推理阶段需要将**前序时间步的真实事件ground truth**作为条件输入。这在实验室评测中固然可行但在实际部署时无从获取未来的真实标签导致这类方法无法真正做到对多个未来时间步的连续预测。问题3同一时间窗口内的并发事件被忽视在真实事件数据中同一天或同一小时往往同时发生大量事件。Know-Evolve 采用时间点过程temporal point process建模当同一时间戳内有多个并发事件,时处理完后主体 s 最近的事件时间会被更新为导致的强度函数值所有候选实体的得分相同排名完全失效论文附录G详细揭示了这一代码级缺陷。此外dyngraph2vecAE、tNodeEmbed、EvolveRGCN 等动态图方法只能处理同质图单一关系类型且只预测下一个时间步t1无法应对多关系知识图谱和多步预测的需求。三、RE-NET 的核心思路针对上述问题作者提出了Recurrent Event Network (RE-NET)一种面向时序知识图谱的自回归结构推断框架。其三个核心设计观察是时序依赖性相邻时间步的事件之间存在语义关联和规律性模式可用于辅助预测未来事件。并发事件的局部图结构同一时间窗口内的多个事件构成一个局部图实体间的结构依赖关系对预测同样有价值。多步推理的可分解性对未来多步的预测可以分解为一系列单步条件分布的乘积在自回归框架下逐步求解。论文 Figure 2RE-NET 整体架构图展示聚合器Aggregator、编码器Encoder和解码器Decoder三个模块之间的数据流向以及全局Global和局部Local两种信息的处理路径四、方法详解4.1 问题形式化与联合分布定义RE-NET 将时序知识图谱视为一个事件四元组序列其中是时间步 t 上所有事件的集合。模型目标是学习所有事件的生成分布 p(G)。RE-NET 以自回归方式将其分解为进一步假设中各事件在给定历史的条件下相互独立联合概率可拆解为生成时依次采样主体 s、关系 r、客体 o最终通过 MLP 解码器线性 softmax 分类器输出每个候选实体的概率。4.2 循环事件编码器Recurrent Event Encoder为了捕捉历史事件序列中的时序依赖RE-NET 引入了循环事件编码器基于 GRU 维护三类动态表示全局表示汇总整个图的全局信息反映当前时间步上各类事件的整体偏好局部表示聚焦特定主体-关系对的历史交互用于预测局部表示聚焦主体 s 的历史用于预测其中是邻域聚合函数是时间步 t 时与主体 s 相关的所有事件集合。全局表示同时作为局部表示更新的额外输入充当连接不同实体的桥梁。4.3 邻域聚合器Neighborhood Aggregator聚合函数决定了如何从同一时间窗口内的并发邻居事件中提取局部图结构信息。RE-NET 设计并对比了三种聚合器论文 Figure 3三种邻域聚合器的对比示意图。蓝色节点为主体 s红色节点为1跳邻居绿色节点为2跳邻居不同颜色的边表示不同关系类型。均值聚合和注意力聚合不区分不同关系也不编码2跳邻居RGCN聚合可同时利用多关系和多跳邻居信息1均值聚合Mean Pooling对所有在关系 r 下与 s 交互的客体嵌入取均值简单但忽略了邻居的差异重要性且无法区分不同关系。2注意力聚合Attentive Pooling引入基于主体 s 和关系 r 的加性注意力为每个客体分配权重能区分不同邻居的重要性但仍无法处理多关系和2跳邻居。3RGCN 多关系图聚合Multi-Relational Graph Aggregator基于关系图卷积网络RGCN聚合多关系下的多跳邻居信息通过多层堆叠可聚合多跳邻居并为不同关系维护独立权重矩阵采用块对角分解防止参数爆炸。实验证明 RGCN 聚合器性能最优。4.4 多步推理Multi-step InferenceRE-NET 的关键优势之一是能够在不依赖任何 ground truth的情况下对未来多个时间步进行序列预测。设当前时间为 t目标是预测时刻的事件。多步推理的核心思路是即通过在每个中间时间步采样生成图逐步逼近远期条件分布。具体地每步采样 M1000 个主体取 top-k1000 个三元组构成该步的生成图再滚动至下一步。由于只需单次采样即可达到很好的估计效果RE-NET 在效率和精度之间取得了良好平衡。五、实验设置数据集RE-NET 在五个公开 TKG 数据集上进行评测涵盖两类场景事件型 TKG事件反复发生ICEWS18综合危机早期预警系统2018年1月至10月数据时间粒度为天24小时包含 23,033 个实体和 256 种关系ICEWS142014年全年数据12,498 个实体260 种关系GDELT全球事件数据库时间粒度为15分钟7,691 个实体240 种关系训练集超过170万条事件知识图谱型 TKG事实持续一段时间WIKI来自维基百科时间粒度为年12,554 个实体24 种关系YAGO多语言维基百科知识库时间粒度为年10,623 个实体10 种关系论文 Table 3附录五个数据集的详细统计信息包括训练/验证/测试集大小、实体数、关系数和时间粒度除 ICEWS14 外其余数据集均按照时间戳顺序划分为训练集80%、验证集10%和测试集10%确保测试时间戳严格晚于训练时间戳。评价指标采用过滤版filtered的MRRMean Reciprocal Rank和Hits3/10即在计算排名时过滤掉所有在训练/验证/测试集中出现过的正确三元组避免它们干扰排名。六、实验结果6.1 主实验五数据集全面对比论文 Table 1五个 TKG 数据集上的时序链接预测性能对比5次运行平均过滤版指标单位为%。RE-NET 在所有数据集上均取得最优结果事件型 TKG 结果分析在 ICEWS18 和 GDELT 上RE-NET 全面超越所有基线静态方法整体劣于时序方法因为它们完全忽略时间信息。时序方法中TA-DistMult 在 ICEWS18 上 MRR 为 28.53%远低于 RE-NET 的 42.93%HyTE 仅有 7.31%表现极差这两种方法本质上是插值方法强行用于外推任务。Know-Evolve 的 MRR 仅为 3.27%标记*说明其原始代码存在并发事件的 bug 已被修复即便修复后Know-EvolveMLP也只有 9.29%远低于 RE-NET。R-GCRNMLP 与 RE-NET 在架构上最为接近同样有循环编码器和 RGCN 聚合器但缺少多步推理和全局信息MRR 为 35.12%仍比 RE-NET 低 7.8 个百分点。最重要的是所有先前的时序方法均不具备多步推理能力而 RE-NET 可以序列化地预测任意远未来的事件。知识图谱型 TKG 结果在 WIKI 和 YAGO 上静态基线整体表现优于事件型 TKG因为这类数据集的事实长期有效静态建模更合适但 RE-NET 依然在两个数据集上均超越所有方法。在 YAGO 上RE-NET 的 MRR 达到 65.16%Hits10 达到 68.08%。6.2 时间维度上的预测性能论文 Figure 4在 ICEWS18以天为单位和 GDELT以分钟为单位数据集上随预测时间步增加的 Hits3 变化曲线。RE-NET 在所有时间步上持续优于 ConvE 和 TA-DistMult从图中可观察到随着预测时间步的增加所有方法的性能均有所下降因为越远的未来越难预测但 RE-NET 始终保持领先优势。值得注意的是随着时间步增大RE-NET 与 ConvE 的差距有所收窄——这是因为 RE-NET 生成中间图的质量会随序列长度增加而下降。论文 Figure 6附录在 WIKI 和 YAGO 数据集上以年为单位随时间步的 Hits3 变化曲线RE-NET 同样持续领先6.3 消融实验论文 Table 2在 ICEWS18 和 GDELT 上的消融实验结果验证各模块的贡献关键消融结果ICEWS18MRR模型变体MRRHits3Hits10RE-NET w/o 聚合器33.4635.9846.62RE-NET w/o 多步推理40.0542.6052.92RE-NET完整42.9345.4755.80RE-NET w. GT上界44.3346.8357.27去掉聚合器MRR 从 42.93 骤降至 33.46下降 9.47 个百分点说明对并发事件局部图结构的建模至关重要。去掉多步推理保持历史不更新MRR 降至 40.05说明中间步骤生成的历史对远期预测有实质性帮助。使用 ground truth 历史RE-NET w. GTMRR 提升至 44.33表明当前仍有提升空间且验证了多步推理策略的合理性。6.4 聚合器类型与模型变体分析论文 Figure 5(a) 不同聚合器对 RE-NET 性能的影响(b) 经验概率 p(s)$和 p(s,r) 的研究不同聚合器的影响ICEWS18MRR均值聚合40.70注意力聚合40.96RGCN 聚合最优42.93RGCN 聚合器凭借多关系和多跳邻居的处理能力明显优于均值聚合和注意力聚合提升约 2.2 个百分点。经验概率 vs. 学习概率若用经验统计 $p_e(s)$主体出现频次之比替代训练得到的 $p(s)$MRR 从 42.93 下降至 42.43同时替换 $p(s)$ 和 $p(r)$ 后进一步降至 42.07。说明通过训练学习的 $p(s)$ 和 $p(r)$ 对多步推理有显著帮助尽管提升幅度不如聚合器和多步推理模块。七、超参敏感性分析论文 Figure 7RE-NET 在 ICEWS18 上的参数敏感性分析包括 (a) RNN 历史长度 m(b) 推理时截断位置 k(c) RGCN 层数(d) 全局表示的影响历史长度 m当 m 从 2 增加到 5 时 MRR 持续提升后趋于饱和最终设为 10。截断位置 kk0 时 RE-NET 退化为单步预测MRR 最低约 40后趋于饱和最终设为 1000。RGCN 层数2 层MRR42.93显著优于 1 层36.86但 3 层43.34反而略低于 2 层推测参数空间过大导致过拟合。全局表示引入全局表示后 MRR 从 42.53 提升至 42.93Hits3 从 45.07 提升至 45.47提升边际但稳定说明全局图结构提供了局部邻域之外的补充信息。八、案例分析论文 Figure 8RE-NET 预测的案例研究展示三种历史模式(1) 与某客体的持续一致交互(2) 特定的时序模式(3) 与答案无关的历史RE-NET 的预测行为高度依赖历史交互序列具体可分为三类场景场景1成功持续一致的交互。若主体长期在某关系下与同一客体交互如持续批评某国RE-NET 能稳定预测而静态方法会受到训练集中其他高频实体的干扰。场景2成功特定时序模式。若历史存在规律性的关系转化模式如 逮捕, 公民 → 使用武力, 公民RE-NET 能捕捉并利用这一时序模式做出准确预测而不了解时间信息的方法可能给出商人而非公民的错误答案。场景3失败无关历史。当历史交互与未来答案无关如过去一直部署武器而下一步是邀请某个完全不同的实体RE-NET 的历史信息起不到帮助作用预测失败。这也指出了模型的核心局限对于突发性、缺乏历史规律的事件预测仍然困难。九、总结与启示RE-NET 是时序知识图谱外推推理领域的一项奠基性工作其贡献可概括为✅明确定义了外推 TKG 推理问题区分于插值设定并建立了严格的多步推理评估协议推理时不允许使用测试集 ground truth。✅首次以自回归框架建模时序多关系图将事件联合分布分解为可逐步采样的条件分布链。✅循环事件编码器 邻域聚合器 的双路设计分别捕捉时序依赖和并发局部结构两个模块均经消融验证不可缺少。✅五数据集全面 SOTA尤其在多步推理场景下优势显著是后续 TKG 外推工作的重要基线。局限性与未来方向作者也指出RE-NET 在远期预测时质量会逐渐下降中间生成图的误差累积且对无历史规律的突发事件束手无策。未来工作包括更高效的 RE-NET 变体、对持续性事件time-span facts的推理、以及结合更强的语言模型进一步提升事件表示能力。
