- 论文全称：TeRDy: Temporal Relation Dynamics through Frequency Decomposition for Temporal Knowledge Graph Completion
- 论文作者：
- 发表信息：ACL 2025
- 领域定位：时序知识图谱、频域分解、分频率对关系进行表示
- 论文PDF：论文原文
- 代码仓库：(GitHub - Young0222/TeRDy: TeRDy: Temporal Relation Dynamics through Frequency Decomposition for Temporal Knowledge Graph Completion · GitHub)
论文背景
一个类型的关系可以具有三个特性，分别是时间不变性、长期时间动态性、短期时间动态性。三种特性以具体的关系举例哦，做如下说明：
- 时间不变性：指的是无论随着时间怎样的变化，该关系对应的主体和客体都稳定的具有该关系。如，NBA球星库里和其家人之间的亲人关系。
- 长期时间动态性：指的是随着时间的变化，该关系的主客体之间也会发生变化，只不过发生变化的周期较长。如，库里和其队友之间的关系，在每一年的交易截止日之后，库里和其队友将具有一段时间的稳定关系。
- 短期时间动态性：指的是随着时间的变化，该关系的主客体之间也会发生变化，但是发生变化的周期非常短。如，库里在每一场比赛和其对手之间的关系，每场比赛库里需要面对的对手都是不一样的。
具体的实例图如下图所示：
传统的时序知识图谱补全方法聚焦关系时，不考虑关系的如上三个特性，三个特性又可概括为关系的不变性和动态性。作者认为这两种概括性的特性对时序知识图谱补全同样重要，故在本论文中提出一种基于快速傅里叶变换的方法TeRDy，将两种特性考虑进关系的嵌入中。
作者贡献如下：
提出三种类型的关系嵌入，时间不变性、长期时间动态性、短期时间动态性
设计一种基于快速傅里叶变换的方法TeRDy，该方法将关系从时序转换到频域，分出关系的高频和低频部分，再将两个部分转换为时域。针对两个部分，分别设计时序平滑和时序梯度，将时间特性融入到关系中
通过大量实验，验证了TeRDy的在TKGC任务中杰出的性能
准备工作
复合几何运算由三个基本的原子操作构成，分别为平移、旋转、缩放。二维空间中，针对一个坐标\(a= \begin {bmatrix}x\\y\\1\end{bmatrix}\)，三个操作可以用如下三个矩阵表示，
平移： \[ T=\begin{bmatrix}1,0,{t_x}\\0,1,{t_y}\\0,0,1\end{bmatrix} \] \(T*a= \begin {bmatrix}x+t_x\\y+t_y\\1\end{bmatrix}\)，从几何上看像是坐标沿着X轴移动\(t_y\)，沿着Y轴移动了\(t_y\)的距离。
旋转： \[ R=\begin{bmatrix}cos\theta,-sin\theta,0\\sin\theta,cos\theta,0\\0,0,1\end{bmatrix} \] \(R*a= \begin {bmatrix}xcos\theta-ysin\theta\\xsin\theta+ycos\theta\\1\end{bmatrix}\)，从几何上看像是绕着坐标原点移动了\(\theta\)度。
缩放: \[ S=\begin{bmatrix}s_x,0,0\\0,s_y,0\\0,0,1\end{bmatrix} \] \(S*a= \begin {bmatrix}xs_x\\ys_y\\1\end{bmatrix}\)，从几何上看像是原坐标在X轴上放大了\(s_x\)倍，在Y轴上放大了\(s_y\)倍。
TCompoundE(Ying et al.,2024)将上述几何操作应用到了关系和时间之间的融合中，如： \[ s_{r,\tau}=(S_r+T_\tau)\odot S_\tau \] 其中\(S_r\)代表关系的嵌入，\(T\tau\)代表时间轴的嵌入，\(S_\tau\)代表用于缩放的时间戳嵌入。\(+\)代表平移操作，\(\odot\)代表缩放操作。
该式可直观理解为，先将关系平移，使其具有时间特征，再利用带有时间信息的关系缩放，使其在当前时间轴下突出某些特征。
另一式子 \[ e_s^{r,\tau}=（e_s+T_{r,\tau})\odot S_{r,\tau} \] 同理，目的是使得实体的嵌入具备在当前时间轴下特定的时间关系。
论文方法
方法的总体架构图如下：
主体嵌入经过时间不变关系嵌入的平移，得到一个带有时间关系的主体嵌入。时序依赖关系嵌入经过快速傅里叶变换，将其从时域转换到频域，关系的频域经过分解，可以分成高频和低频部分，两个部分经过快速傅里叶变换的逆变换，重新回到时域。将两个时域关系融合时间信息后再聚合，得到一个区分高频、低频信息的关系嵌入，再将该关系嵌入用于主体缩放，最后得到待预测的客体。
基于频率关系的分解
通过快速傅里叶变换将时域信息转换到频域，具体公式如下： \[ F_{raw}=\mathcal{F}(s_r) \] 其中，\(\mathcal{F}(·)\)代表快速傅里叶变换。
低频掩码被设计用来强调关系中的低频部分，具体公式如下： \[ M_{low}=exp(-|f|.\alpha) \] 其中\(|f|\)代表频率，\(\alpha\)代表需要保留的频率信息。
高频掩码和低频掩码是一个补集的关系，用一个和低频掩码维度相同的全1矩阵减去低频掩码，即可得到该关系对应的高频掩码，具体公式如下： \[ M_{high}=1-M_{low} \] 用关系对应的频域经过对应频率的转换，即可得到一个关系的低频和高频部分，具体公式如下： \[ F_{low}=F_{raw}.M_{low},F_{high}=F_{raw}.M_{high} \] 再利用快速傅里叶变换的逆变换，将将两部分的频域信息转换回时域信息，具体公式如下： \[ S_{lt}=\mathcal{F}^{-1}(F_{low}),S_{st}=\mathcal{F}^{-1}(F_{high}) \] 其中，\(\mathcal{F}^{-1}\)代表快速傅里叶变换的逆变换。
基于上述公式，可获得时域下关系的长期时序动态性和短期时序动态性部分。
- 关系的低频部分表示关系嵌入中变化较平缓、较稳定的部分，对应关系的长期时序动态性
- 关系的高频部分表面关系嵌入中变换较剧烈、波动较快的部分，对应关系的短期时序动态性
长时关系和短时关系的融合
假设对于某时刻的时间戳，其嵌入如下： \[ T_t=[T_t^{(1)},T_t^{(2)}...T_t^{(D)}] \] 其中，\(T_t^{(i)}\)代表每一维度的标量，\(D\)代表维度。
对于长时关系(Long -term temporally dynamic,LTTD)，由于其更稳定，故不应该受到时间局部维度的影响，而是应该考虑时间的整体特性，故在将时间信息融入进长时关系时，作者提出时序平滑，定义如下： \[ T_\tau^{smooth} = \frac{1}{D}\sum_{i=1}^DT_\tau^{(i)} \] 该表示不考虑时间戳的局部，而是考虑其整体，最后得到的时间戳表示如下: \[ T^{smooth}_\tau=[T^{smooth}_\tau,T^{smooth}_\tau...T^{smooth}_\tau] \] 对于短时关系(Short-term temporally dynamic,STTD)，由于其在短时变化剧烈，时间信息的每一维度均可能都其产生影响，故在将时间信息融入进短时关系时，作者提出时序梯度，定义如下： \[ T_\tau^{grad}=[T\tau^{(1)},T\tau^{(2)}-T\tau^{(1)},T\tau^{(D)}-T\tau^{(D-1)}] \] 该表示更多的考虑到时间戳局部的每一维度，适用于变化剧烈的短时关系。
分别得到的带有某时刻信息的关系，公式如下： \[ S_{lt,\tau}=(S_{lt}+T^{smooth}_\tau)\odot S_\tau,S_{st,\tau}=(S_{st}+T^{grad}_\tau)\odot S_\tau \] 具体可以理解为，一个不带有时间信息的长时，短时关系，在经过对应的时序平移之后带有该时刻的时间信息，最后利用当前时刻的时间轴嵌入\(S_\tau\)对该关系缩放，使得关系在该时刻能被很好的表示。
最后将两个部分的关系融合，得到一个完整的关系嵌入，公式如下： \[ S_{r,\tau}=S_{lt,\tau}+S_{st,\tau} \] 待预测的客体可表示为： \[ e_o，=(e_s+T_r)\odot S_{r,\tau} \] 可以直观理解为，主体先经过不变关系的平移，得到一个大致的方法，在该方向上进行缩放，使其获得当前时刻下的信息，从而得到对应的客体。
损失函数
模型的损失函数如下： \[ \mathcal{L}=\mathcal{L}_u+\lambda_\tau\mathcal{L}_\tau+\lambda_f\mathcal{L}_f \] 其中，\(\lambda_\tau，\lambda_f\)是掌握时序和权重领域重要性的因子。
对于第一项\(\mathcal{L}_u\)，其具体形式如下式所示： \[ \mathcal{L}_u=-log(\frac{exp(\phi(s,r,o,\tau))}{\sum_{o^,\in \epsilon }exp(\phi(s,r,o^,\tau))})-log(\frac{exp(\phi(o,r^{-1},s,\tau))}{\sum_{o^,\in \epsilon }exp(\phi(o,r^{-1},s^,,\tau))})+\lambda_u\sum^k_{i=1}(||e_s||^3_3+||T_r+S_{r,\tau}||^3_3+||e_o||^3_3) \] 前两项用于控制模型对四元组预测的准确度，最后一项用于控制对实体和关系的嵌入的合理性。
对于第二项\(\mathcal{L}_\tau\)，其具体形式如下式所示： \[ L_\tau=\frac{1}{N_\tau-1}\sum_{i=1}^{N_\tau-1}||T_{\tau(i+1)}-T_{\tau(i)}||_3^3 \] 该项用于控制相邻时间轴之间的表示不会具备很大的差距，否则这不符合时间轴连续的特征。
对于第三项\(\mathcal{L}_f\)，其具体形式如下式所示： \[ \mathcal{L_f}=-||F_{low}-F_{high}||_2+||F_{high}||_2 \] 该项用于控制频率的差异，使得高频和低频关系能够彼此区分，同时限制过高的高频强度。
论文实验
实验设置
论文在三个数据集上进行实验，三个数据集的统计信息如下图所示：
针对三个不同的数据集，超参数设置如下：
| 数据集 | 学习率 | 维度 | 分支大小 | 训练轮次 | (\(\lambda_u,\lambda_\tau,\lambda_f,\alpha\)) |
|---|---|---|---|---|---|
| GDELT | 0.05 | 6000 | 2000 | 50 | (1e-4, 1e-2, 1, 10) |
| ICEWS14 | 0.02 | 6000 | 4000 | 100 | (5e-3, 5e-3, 5e-4, 10) |
| ICEWS05-15 | 0.008 | 8000 | 6000 | 100 | (2e-3, 1e-1, 5e-4, 10) |
实验结果
总体结果
实验总体结果如下图所示：
论文所有实验结果均引用自原论文，\(-\)代表数据缺失，说明作者没有在对应的数据集做实验，或者是未报告相关实验结果。可以看到TeRDy达到SOTA的效果。
消融实验
消融实验结果如下图所示;
可以看到，模型的每个模块对模型都具有提升作用，尤其是在第一个数据集中，损失函数去除频率控制部分，结果下降最多，说明对于数据量大，但实体、关系种类相对较少的数据集而言，频率控制能起到较好的作用。
参数敏感性实验
参数敏感性实验结果如下图所示：
可以看到，增大损失函数中的\(\lambda_\tau、\lambda_f、\alpha\)，模型的性能下降并不那么显著。但是若增大\(\lambda_u\)，模型的性能下降较为显著，说明如果过分的关注模型对实体和关系的嵌入，到最后可能会影响到模型的效果。
值得注意的是，在GDELT上，若增大\(\lambda_\tau\)，模型预测效果也会有明显下降，说明对于这类数据集，时间表示虽然变得更为平滑了，但是可能会使时间失去原本的特征。
实体嵌入可视化
实体嵌入可视化结果如下图所示：
同一种颜色代表同一个四元组关系中的主体和客体。在向量空间里面，若主体和客体的嵌入越靠近，则说明其表示越合理，因为差异较大的两个实体之间存在关系的可能性较小。不难发现，将LTTD和STTD关系同时考虑进实体的嵌入中，同一关系的主体和客体之间距离较为接近。
案例分析
案例分析结果如下图所示：
论文一共取六个案例，每个案例对应的关系都有其更突出的特性。
在180天及以上的时间里，发生了三次及以上的关系被定义为LTTD关系，其更能体现关系的长期时序动态性
在30天内便发生超过三次及以上的关系被定义为STTD关系，其更能体现关系的短期时序动态性
对于这六个案例，分别用对应的时间平滑和时间梯度对其进行处理，有如下发现：
- 对于LTTD关系，时间平滑的效果比时间梯度要更好
- 对于STTD关系，时间梯度的效果比时间平滑要更好
- 使用TeRDy同时考虑关系的两种特性，效果最好，说明将关系的动态性分为长期时序动态性和短期时序动态性具有一定的合理性
效率分析
效率分析结果如下图所示：
由图可知，对比一众基线方法，TeRDy的训练时间最短且MRR最高。
模型限制
- TeRDy不能很好的泛化到未见实体上，因此对于时序知识图谱的外延任务（预测未来发生的事），效果可能没那么好
- TeRDy可能不适合有着更简单或者更少动态关系的时序知识图谱
论文总结
与想象中不同，论文所谓的高频和低频指的是同一种关系中的三个特性。想象中的高频、低频更倾向于作者在举例阶段提出的，根据关系出现的次数划分频率。
作者的案例分析实验中证明了同时考虑一个关系的高频和低频部分有助于提升模型的性能，但是在案例分析中的同样也可知以下两点：
- 如果一个关系在短时间内出现多次（文中以30天内超过3次作为阈值），那么其更能反映短期时序动态性，对应到关系的高频，如果用针对高频的时间梯度，会使模型效果更好
- 如果一个关系在长时间内出现次数也较少（文中以180天内不超过3次为阈值），那么其更能反映长期时序动态性，对应到关系的低频，如果用针对低频的时间平滑，会使模型效果更好
但是针对这样的关系，作者在最后聚合的时候仅仅是将其做了一个简单的逐维度相加，是否可以先将关系按照某种频率分为高频关系和低频关系，这个频率可以作为一个可学习参数或者超参数，然后将关系的聚合也做一定处理，变成 \[ S_{r,\tau}=w _lS_{lt,\tau}+w _sS_{st,\tau} \] 其中，\(w_l\)代表关系的长期动态性占比，\(w_s\)代表关系的短期动态性占比。两个参数作为超参数，\(w_l,w_s\in R^1\),且有: \[ w_l = 1 - w_s \] 对于被分类为高频关系的关系，\(w_s\)将占比更大；对于被分类为低频关系的关系，\(w_l\)将占比更大。
以上是对这篇论文的总结以及思考。
\(Fin.\)
