KDD 2024 | 已开源！可解释性点过程对社交网络交互的挖掘

公众号新闻

2024-07-03 06:07

©PaperWeekly 原创 · 作者 | 蒙子卓

单位 | 悉尼科技大学博士生

研究方向 | 可解释性点过程

本篇文章介绍了可解释性点过程对社交网络交互的挖掘。该文章已被 KDD 2024 收录，目前代码已开源。

论文标题：

Interpretable Transformer Hawkes Processes: Unveiling Complex Interactions in Social Networks

论文链接：

https://arxiv.org/abs/2405.16059

代码链接：

https://github.com/waystogetthere/Interpretable-Transformer-Hawkes-Process

背景

社交网络中用户的行为，如网络购物平台用户的浏览，购买等可建模为各种类型的事件。不同类型事件之间的相互影响对其发生起到关键作用。然而，挖掘这些互动一直是时序点过程领域的难题。现有的深度时序点过程模型在社交网络中存在局限性，其无法直接显式挖掘事件类型之间的影响，这限制了其可解释性和表达能力。

本研究提出 Interpretable Transformer Hawkes Process (ITHP)，对现有的 Transformer Hawkes Process (THP, Zuo et al.) 进行了改进。ITHP 结合了 THP 与统计非线性 Hawkes Process 的优势，在保证了深度点过程的表达性的情况下对齐了非线性 hawkes process 的核函数，从而能够显式提取事件类型之间的影响。ITHP 还提高了非事件间隔期间强度函数的灵活性，更适合捕捉社交网络中的复杂事件传播模式。

实验结果表明，ITHP 在克服现有模型局限性方面效果显著，能够有效探索社交网络中用户或群体的复杂影响。

方法

具体来说，现有的深度点过程模型（Du et al., 2016, Mei et al., 2017, Zhang et al., 2019, Zuo et al., 2020）无法对事件类型之间的相互影响进行直接建模。同时，其只针对事件点上的强度进行建模，而对非事件间隔区间的强度则使用线性外插法进行粗略模拟。其在维度 k 的强度函数如下所示：

在此公式中，给定历史的 encoding （包含了的信息）, 则在此区间的强度则是一个随着时间 t 变化的近似线性函数（红色部分）。此种假设将很难模拟真实世界中的复杂事件强度。

ITHP 提出的强度函数则使用了修改过的自注意力机制去进行核函数的模拟，对于任意时间任意维度来说，其强度函数为：

其中，代表着由修改后的自注意力机制（具体参照原文）所构筑的核函数。通过查询每一个历史事件来计算其对当前时间和维度的影响，最后进行累加从而获得全部历史的影响。注意核函数的输出只与双方的类型 ()，时间差有关。这使得 ITHP 更接近统计非线性 non-stationary hawkes process 的强度建模方法。

ITHP 的优点有二：1）在摒弃了线性外插法后，ITHP 对非事件区间的强度函数建模能有更好的灵活性并达到更高的水平；2）同时，由于显式设置了核函数，ITHP 也能像统计 hawkes process 一样显式挖掘事件类型之间的影响。接下来我们通过实验去证明这 2 点。

实验

我们的实验分为两个部分: 1）在人造数据集上，我们通过对核函数的重建和对真实强度的复原；2）在公共数据集上，将 test-loglikelihood 等指标和基线模型进行对比，并对挖掘出来的事件类型之间的影响进行分析。

（1）人造数据集：我们在此选择呈现 ITHP 对一个人造数据集的核函数和测试序列强度的复原情况。该人造数据集是一个核函数为半正弦的 hawkes process。更多实验结果请参照原文。

▲ ITHP 对一个2维数据集的核函数的复原

▲ ITHP 对一个二维人造数据据集的测试序列强度的还原

（2）公共数据集：我们在 5 个公共数据集上和 4 个基线模型进行对比。结果如下图所示每个模型的 TLL 通过减去 ITHP 的 TLL 进行标准化。值得注意的是，为了实现可解释性，ITHP 在构筑核函数时对自注意力机制进行了某种程度的简化，导致其参数数量有所减少。有趣的是，我们观察到 ITHP 在参数数量较少的情况下，仍能实现与其他参数数量较多的模型相当的性能。

与此同时，为了量化事件类型之间的影响，我们对于每个核函数，计算，表示类型对类型的影响程度。每个是一个标量，并可在热力图中展示。

下图展示了其中一个公共数据集（TAXI）的类型之间的影响（更多实验结果请参照原文），其中横轴和纵轴象征着事件类型，色块越深代表受到激励越大：

在这个数据集中，有 10 种类型的事件，代表纽约市五个行政区内的出租车上下车。类型 1-5 表示“下车”动作，类型 6-10 对应“上车”动作。学习到的热力图揭示了三个信息：

（i）类型 4（曼哈顿下车）受类型 6-10（上车）的影响最大。这与数据现状符合（类型 4 占总体事件超 40%），因此其强度受其他上车事件激励最大

（ii）“上车”和“下车”事件总是交替发生。一个司机不能连续进行上车或连续进行下车，因此类型的自激励效果在这个数据集不甚明显。这与学习到的热力图相吻合（对角线的颜色代表着自激励效果，都不显著）

（iii）类型 9 和 4，即曼哈顿的上车和下车，表现出最显著的相互激励。这是因为大多数上车（44.61%）和下车（42.89%）动作发生在曼哈顿，而且 90.8% 的乘客在曼哈顿上车也会在曼哈顿下车。

附：THP 和 ITHP 对非事件间隔区间的强度建模对比

比较 ITHP 和 THP 学习到的强度。THP 因外推强假设只能维持线性模式，未能捕捉波动强度。相比之下，ITHP 更灵活，成功捕捉波动强度，并准确拟合强度水平。

结论

为了利用事件序列数据建模社交网络中的交互，我们引入了 ITHP。它增强了深度点过程模型的可解释性和表达能力。ITHP 继承了 Transformer Hawkes Process 的优点，并与非线性 Hawkes Process 一致，提供了用户或群体交互的实用见解，同时增强了非事件间隔中的强度函数灵活性。我们的实验证明了 ITHP 在克服现有模型局限性方面的有效性，开辟了理解和建模社交生态系统复杂动态的新途径。

更多阅读