AAAI 2024 | 杭电等提出MINDS，基于序列超图和对抗学习增强多尺度扩散预测

公众号新闻

2024-04-19 05:04

©PaperWeekly 原创 · 作者 | 焦鹏飞

单位 | 杭州电子科技大学

研究方向 | 复杂网络、图机器学习

论文作者：

焦鹏飞、陈虹茜、鲍青、张旺、吴华明

作者单位：

杭州电子科技大学、天津大学

论文链接：

https://ojs.aaai.org/index.php/AAAI/article/view/28701/29358

论文代码：

https://github.com/cspjiao/MINDS

摘要

信息扩散预测在理解社交网络中信息的传播方面发挥着至关重要的作用，该研究涵盖宏观和微观预测任务。宏观预测估计信息传播的整体影响，而微观预测则侧重于识别下一个受到影响的用户。

之前的研究通常集中在某个任务，很少有研究同时解决这两个问题。这两个任务从不同层面对信息传播过程提供互补见解，二者既有共性又有特性。我们发现利用这两种任务的共同特征来增强信息预测仍然是一个尚未探索的途径。

因此，本文提出了一种直观有效的模型，可以同时解决宏观和微观预测任务。该模型在宏观层面考虑级联之间的相互作用和动态，并在微观层面考虑社交网络中用户的社交同质性。此外，模型引入对抗性训练和正交性约束来确保共享特征的完整性。在四个数据集的实验结果表明，该模型显着优于最先进的方法。

引言

在线社交平台已成为我们日常生活的重要组成部分，丰富了人与人之间的即时交流，加快了信息的快速传播。社交网络中用户的活动模式在信息传播中发挥着关键作用，而信息的传播路径形成了信息级联。更深入地了解信息传播的潜在机制具有显着的经济和社会优势，可应用于各个领域，包括假新闻检测、病毒式营销和推荐系统。

如图所示，当前对信息级联建模的研究主要集中在两个方面：

宏观预测：目标是估计级联的增量或最终大小；
微观预测：目标是预测下一个被级联影响的用户。

一方面，宏观预测集中于总体模式和趋势，利用网络拓扑和传播模型来预测信息传播。另一方面，微观预测深入研究个体用户的行为和属性的细节，利用对用户和内容特征的分析来预测信息传播的影响。宏观预测和微观预测提供了对不同层面的信息传播的理解，并且可以相互促进和增强。由于这两项任务都需要从观察到的级联中学习传播特征，因此它们本质上具有共同点。因此，通过提取这些任务之间的共同特征来提高预测准确性至关重要。

然而，提取这些共同特征面临着挑战。首先，信息传播不仅涉及给定级联内的复杂交互，还涉及不同级联之间的复杂交互。此外，由于信息级联是随着时间不断演化的，我们需要一种方法能够捕捉到级联的全局交互和动态变化。其次，在存在私有特征潜在污染的情况下，如何确保共同特征的纯度是一个难题。

据我们所知，只有有限的研究引入了适用于宏观和微观尺度的统一模型。最具代表性的作品是 FOREST 和 DMT-LIC 。然而，FOREST 主要利用微观预测的结果来指导宏观预测，缺乏对这两项任务固有的相辅相成的协同作用的全面认识。同样，虽然 DMT-LIC 结合了共享表示层来捕获级联图表示和扩散过程，但它无法解决共享特征和特定于任务的特征之间的潜在污染和冗余问题。

此外，这两种方法主要集中于单个级联内的用户交互，并没有考虑到全局级联之间复杂的交互和动态变化。

为了解决上述挑战，本文提出了 MINDS，一种简化且高效的多尺度信息传播预测模型。

具体来说，在宏观层面上，MINDS 构建序列超图来有效捕获级联之间的相互作用和动态变化。从全局角度来看，对用户和级联之间的复杂交互进行建模与超图的概念是一致的。通过将时间段划分为顺序时间窗口来构建序列超图可以准确地描述级联的动态演化。

在微观层面上，MINDS 专注于学习社交网络中用户之间的社交同质性。我们设计了一个共享模块来学习宏观和微观任务的共享特征，并结合对抗性训练和正交性约束来减轻共享特征和特定任务特征之间的特征冗余和污染。

总的来说，本文的主要贡献有三点：

我们提出了一种有效且简单的模型，可以解决宏观和微观预测问题，利用两种任务相互增强来提高整体性能。
我们提出了一种方法，通过序列超图中的建模信息传播的过程来捕获级联之间的相互作用和动态变化。同时结合对抗性训练和正交性约束解决特征冗余问题。
我们进行了全面的实验来评估 MINDS 模型的性能。证明了其在宏观和微观预测方面均优于最先进的方法。

方法

MINDS 模型的架构概述如图所示，其中包括四个主要模块：

用户全局交互学习模块：该模块负责提取每个时间间隔的用户偏好并表征级联的动态变化。
用户社交同质性学习模块：该模块使用图卷积网络（GCN）捕获单个用户级别的用户社交关系。
共享-特定表示学习模块：该模块学习用于特定任务的特征和共享特征。
传播预测模块：该模块将共享特征分别与用于宏观和微观预测的任务特定特征拼接，进行传播预测。

3.1 用户全局交互学习

3.1.1 构造序列超图

将已观察到的信息级联根据时间戳分为个子集，用于构建序列扩散超图 , ，其中是用户集，是超边集。

在扩散超图中，参与同一条级联的用户通过一条超边连接，也就是说，一条超边代表一个级联。值得注意的是，每个超图中由超边连接的节点集是不同的。这意味着如果用户在第个时间段参与级联，则用户与超边的连接仅发生在扩散超图中。

为了方便理解，我们尝试用图例展示序列超图的构建：假设级联按时间戳分为四部分，则每个时间段对应的超图中超边连接的节点如下图所示。

3.1.2 超图神经网络

为了同时考虑级联之间的全局相互作用和级联的动态变化。在构建的序列扩散超图的基础上，我们引入 HGNN 来学习每个时间段的用户全局交互，并在两个连续时间段之间添加融合层来对级联动态进行建模。

在每个时间间隔，我们通过 HGNN 学习用户全局交互。HGNN 的过程如下图所示。超图中的消息传递可以概括为两个阶段：1）从顶点到超边；2）从超边到顶点。

1. 从顶点到超边：给定一个扩散超图，HGNN 的第一阶段旨在通过聚合其所有连接顶点的信息来更新超边的特征，可以定义为：

其中是，是由超边连接的顶点集。是与超边的权重。我们认为每条级联都具有同等重要性，所以在聚合时为每个超边赋予相同的权重，即。

2. 从超边到顶点：在更新超边的特征之后，第二阶段的目标是聚合参与的所有超边的信息，以在第个时间间隔更新的特征。更新过程可以定义为：

其中是由顶点连接的超边集。是层的可训练参数。

3.1.3 融合层

上述两级卷积运算仅学习特定时间段内的用户交互，不能充分表征传播中级联的演化。因此，我们利用一种融合策略，将 HGNN 学到的不同时间段的全局交互按时间顺序连接起来。融合策略定义为：

其中是用户的初始特征，是用户通过层 HGNN 从扩散超图学习到的特征。

如此，我们可以通过序列 HGNN 获得最终的用户全局交互表示。

3.2 用户社交同质性学习

用户倾向于与自己相似的用户进行互动，这就是所谓的社交同质性。亲密的朋友通常是在某些品质或兴趣上相似的人，他们对彼此的影响比其他朋友更大。而这种社交同质性可以通过社交网络结构来体现。我们引入社交图来反映用户社交关系，并应用多层 GCN 来嵌入社交同质性。

社交图表示为，其中是用户集，是边集。每条边代表用户和之间的社交关系。给定社交图，第层的用户社交同质性表示矩阵的更新过程表示为：

是可训练的权重矩阵，和是带自环的的邻接矩阵和度矩阵。经过两层 GCN 后，我们可以得到最终的社会同质性表示。

3.3 共享-特定表示学习

基于图的表示学习捕获了用户级别和级联级别的用户共现关系，但是无法进一步分析级联内的上下文交互。由于 LSTM 在自然语言处理等序列任务中的出色表现，我们应用两个 LSTM 模块分别学习级联内的社交和全局上下文交互。

同时，我们认为宏观预测和微观预测任务之间存在隐藏的共同特征，有可能单独提高每个任务的性能。受从多任务学习原理的启发，我们提出了一种共享 LSTM 架构，旨在捕获两个任务之间的这些共享特征。此外，为了解决特征冗余问题，我们引入了对抗性训练和正交性约束。

3.3.1 特定表示学习

我们利用 LSTM 对级联扩散过程进行顺序建模。计算用户社交同质性和用户全局交互矩阵的上下文交互的表示，如下：

我们将特定任务的嵌入表示为和。

3.3.2 共享表示学习

受 LSTM 中使用的门控机制的启发，我们设计了一种共享 LSTM，它将和作为输入。该模块的详细描述如下：

通过集成遗忘门、输入门、更新记忆单元和输出门，共享 LSTM 可以有效处理微观特征和宏观特征之间的复杂关系。

我们最终从共享 LSTM 中获得了宏观预测任务和微观预测任务之间共享特征的综合表示，表示为。

3.3.3 对抗性训练

尽管共享—私有 LSTM 旨在学习共享和特定于任务的特征，但无法保证共享特征不会污染私有特征空间，反之亦然。因此，一个简单的原则可以应用于共享 LSTM，即可靠的共享特征应主要由公共信息组成，而不包含任何特定于任务的信息。受对抗性网络的启发，我们引入对抗性训练来解决这个问题。

我们设置一个任务鉴别器

，它将特征映射成概率分布，来估计该特征来自哪些任务。

为了防止特定任务的特征污染共享特征，我们设计了一个任务对抗性损失，表示为。该损失函数用于训练模型，使得生成的共享特征不容易被鉴别器区分。任务对抗性损失定义如下：

表示共享 LSTM 中的所有参数，表示任务类型（宏观或微观）。

优化过程可以概括为：共享 LSTM 生成一个表示来迷惑任务鉴别器。随着训练的进行，共享特征提取器和任务鉴别器逐渐达到收敛点，最终，任务鉴别器逐渐无法区分该特征究竟来自哪类任务。此时共享特征提取器提取到了真正的共享特征。

3.3.4 正交性约束

值得注意的是，上述模型有一个潜在的缺点，就是共享特征可以出现在任务特定特征中。为了缓解这个问题，我们引入了正交性约束，它会惩罚冗余的潜在表示，并鼓励共享和私有 LSTM 对输入的不同方面进行编码。正交性约束定义为：

其中，是 Frobenius 范数的平方。

3.4 传播预测

在该模块，我们将每个任务的特定于任务的表示和分别与共享表示连接起来。然后，这些连接的表示被分别输入到预测不同任务的输出层中。

3.4.1 宏观预测

对于宏观扩散预测，我们的目标是预测未来的最终级联大小。我们通过以下方式计算信息级联的最终大小：

宏观任务的损失函数定义为：

3.4.2 微观预测

对于微观扩散预测，我们预测用户在下一时刻受信息级联影响的概率：

微观任务的损失函数定义为：

MINDS 模型的整体损失函数定义为：

其中是平衡参数，是超参数。

实验

4.1 数据集

我们在 Christian、Android、Douban 和 Memetracker 四个数据集上进行了实验。

4.2 Baseline

我们共计对比了13个代表性模型。其中宏观预测模型5个，微观预测模型6个，多尺度预测模型2个。

4.3 评估指标

对于宏观预测，我们使用均方对数误差（MSLE）作为评估指标。

对于微观预测，我们使用两个排名指标：前 k 的平均精度（MAP@k）和前 k 的点击分数（Hits@k）进行评估。

4.3.1 实验结果

宏观预测结果如下图：

微观预测结果如下图：

4.3.2 消融实验

我们设计了六个变体来探究模型的原理：

w/o AdvDiff 删除了和。
w/o Diff 删除。
w/o Adv 删除。
w/o HGNN 用序列有向图替换顺序超图，用 GAT 替换 HGNN。
w/o Macro 删除了。
w/o Micro 删除了。

消融实验结果如下：

与其他变体相比，MINDS 取得了最好的结果，证明了其设计的有效性。

1. 去除、或两者后模型性能下降，验证了引入对抗性训练和正交性约束来解决特征冗余的重要性。

2. w/o HGNN 的结果证明了引入一系列交互式超图，可以从全局角度有效捕获级联交互。

3. w/o Macro、w/o Micro 和 MINDS 在宏观和微观指标上的显着差异揭示了宏观和微观任务之间的可以相互强化，提高模型性能。

结论

在本文中，我们提出了一种精简而有效的多尺度传播预测模型 MINDS，能够同时处理微观和宏观预测。MINDS 通过构建序列超图从宏观角度捕获级联之间复杂的影响和动态变化。同时从微观角度学习社交网络中的隐式结构和用户特征。然后采用共享 LSTM 来提取宏观任务和微观任务之间的共同特征，并引入对抗性训练和正交性约束确保这些共享特征的纯度。两类任务的预测结果证明了 MINDS 的有效性。

更多阅读