AAAI 2023 | 均匀序列更好：时间间隔感知的序列推荐数据增强方法

公众号新闻

2023-01-10 06:01

©作者 | 党翌洲

单位 | 东北大学

研究方向 | 推荐系统

论文标题：

Uniform Sequence Better: Time Interval Aware Data Augmentation for Sequential Recommendation

论文来源：

AAAI 2023

作者单位：

东北大学软件学院阿里巴巴

论文链接：

https://arxiv.org/abs/2212.08262

代码链接：

https://github.com/kinggugu/ticoserec

内容简介

序列推荐已经成为一项重要的推荐任务，根据用户的历史交互序列预测下一个时间点用户访问的项目。作者发现序列中两个项目交互的时间间隔并没有得到广泛的关注，特别是考虑到兴趣偏移时。

图 1 是从真实数据集中抽取的一个例子。两个用户拥有相同长度的交互序列，但他们交互间隔的分布却相差很多。用户 1 的时间间隔分布相对用户 2 更为均匀。用户 1 购买的大多数产品都属于皮肤/面部护理类别，而用户 2 购买的产品类别却随着时间发生了较大的改变（从发胶到睫毛膏，从睫毛膏到保湿霜）。

直观地认为，由于用户 1 的序列比其他用户分布更均匀，因此模型可以更好地学习用户偏好。作者将用户 1 这种序列称为“均匀序列”，用户 2 称为“非均匀序列”。

在本文中，作者进行了实证研究来进一步验证这一猜想。实验结果表明，均匀序列比非均匀序列可以显著提高模型性能，然而，真实数据集中序列在时间间隔上不能均匀分布是一个很普遍的现象。

基于实证研究的结果，作者提出了五个时间间隔感知的数据增强算子（Ti-Crop, Ti-Reorder, Ti-Mask, TiSubstitute, Ti-Insert）来将非均匀序列转换为均匀序列。此外，作者应用对比学习来确保增强序列与原始序列保持较高的相似性。作者在一个最先进推荐模型 CoSeRec 上实现了作者的方法，并提出了 TiCoSeRec。

本文的主要贡献有：

1. 作者进行了实证研究来验证均匀序列比非均匀序列更有利于模型性能提升。据作者所知，这是第一个对序列推荐时间间隔分布的研究。

2. 作者提出了 5 个数据增强算子，将非均匀序列转换为均匀序列，此外，作者还设计了一种控制策略来处理短序列的数据增强。

3. 作者在 4 个真实数据集上进行了广泛的实验，并证明了与其他 11 个竞争模型相比，作者的方法 TiCoSeRec 可以实现显著的性能提高。

实证研究

本文所有的实验均在表 1 中展示的四个数据集上进行。在本文中，作者用序列时间间隔的标准差来判定序列是否均匀。如果一个序列的时间间隔的标准差较小，那么它为均匀序列，如果时间间隔的标准差较大，那么它为非均匀序列。作者计算了数据集中所有序列时间间隔的标准差。作者通过设置不同的标准差阈值来分析数据集中均匀（非均匀）序列的数量，结果如图 2 所示。

横轴表示门槛值。这里门槛值是数据集中所有序列标准差的均值的比率（例如 0.5 表示门槛为标准差均值 × 0.5）。序列的标准差小于门槛值即为均匀序列，大于门槛值即为非均匀序列。纵轴表示此时均匀序列的百分比。总的来说非均匀序列占据了总体数据的很大一部分（40-50%）。

之后，作者对每个数据集的所有序列按时间间隔的标准差由小到大进行排名。采取了三种不同的划分方式。U 为均匀子集，N 为非均匀子集。三种策略分别是：

1. 按用户划分（S）：排名前 50% 用户一个子集（S:U），后 50% 一个子集（S:N）。两个子集用户数相同，但交互数不同。

2. 按交互数量划分（I）：排名前 50% 的交互一个子集（I:U），后 50% 一个子集（I:U）。两个子集交互数相同，用户数不同。

3. 从数据集中随机抽取 50% 的序列（Random）。

之后对比四个模型在不同子集上的表现。结果如表 2 所示。可以看出模型在均匀子集上的表现普遍好于非均匀子集。且随机子集的结果在均匀子集与非均匀子集中间，即非均匀＜随机＜均匀。

方法介绍

作者将序列排序的前 σ 比率标记为均匀的序列，其余标记为非均匀的序列，需要增强以提高更好的性能。假设作者总共有 m 个项目序列，那么就有 m（1−σ）的项目序列作为非均匀序列。图 3 对比了作者时间间隔感知的算子与传统算子的不同之处。图中也对比了操作前后序列时间间隔的标准差。标准差减少，说明序列均匀程度提高。

Ti-Insert：给定序列长度 N 和插入率 β，那么插入项目的数量就是 k=Nβ。传统的 Insert 算子会随机选择 k 个位置插入物品。Ti-Insert 会对序列中所有的时间间隔从大到小进行排序，并选择排序中 Top-k 个时间间隔进行插入。通过向较大的时间间隔插入物品，可以使用户的兴趣过渡更为平滑。

Ti-Crop：给定序列长度 N 和裁切率 η，那么裁切得到的子序列长度 c=Nη。传统的 Crop 算子会随机选择一个位置裁切得到子序列。Ti-Crop 会计算所有可能的子序列的时间间隔的标准差，并从中选出标准差最小的子序列。

Ti-Mask：给定序列长度 N 和遮盖率 µ，那么遮盖项目的数量就是 k=Nµ。传统的 Mask 算子会随机选择 k 个位置进行遮盖。Ti-Mask 会对序列中所有的时间间隔从小到大进行排序，并选择排序中 Top-k 个时间间隔进行遮盖。如果遮盖掉大时间间隔周围物品，会使原本的间隔进一步扩大，从而使得序列更为不均匀。Ti-Mask 对小时间间隔周围物品进行遮盖，使序列在整体上更为均匀。

Ti-Substitute：Ti-Substitute与Ti-Mask 类似，只不过 Ti-Substitute 是用相似项目替代原始项目。在图 3(e) 中，传统的 Substitute 很有可能对关键项目（如项目 v6 和 v7）进行替换，导致模型不能很好地捕获用户偏好的变化。相比之下，Ti-Substitute 专注于时间间隔较小的项目，新序列更容易保持与原始序列相似的偏好模式。简单来说，该算子将通过对原始序列施加最小的变化（通过替换）来获得新的序列。

Ti-Reorder：与 Ti-Crop 相似，Ti-Reorder 会对选择出的标准差小的子序列。新生成的序列与原始序列长度相同，只不过对部分项目进行了 shuffle。传统的 Reorder 在选择 shuffle 位置时是随机的，这可能会破坏原始序列的偏好模式。由于 Ti-Crop 会选择标准差最小的子序列，因此在数据重新排序后，它有较高的机会保持相似的偏好模式。例如，作者在图 3(f) 中得到了一个新的类别模式是 B→B→B→C，它与原来的类别模式相似。

因为短序列对于裁切和遮盖更为敏感，所以参考 CoSeRec，作者对不同长度的序列应用不同的数据增强算子，如公式 5 所示。N 为序列长度，K 为区分长短序列的阈值。Su 为算子集。每次数据增强时会从算子集中随机抽取两个进行数据增强，生成两个增强序列用于对比学习。

实验分析

4.1 整体表现

作者继续在实证研究的四个数据集上进行实验。对比的模型主要分为三个类别，包括非序列模型、序列模型和包含数据增强方法的序列模型。表 3 显示了不同方法在推荐任务上的性能。最好的结果用粗体表示，第二好的结果用斜体表示，Improve 表示相对于最佳基线的改进百分比。

可以观察到，作者提出的 TiCoSeRec 方法在所有数据集上始终表现最好，相对改进百分比范围从 5% 到 18%。与 CoSeRec 相比，这些改进可能更显著，因为作者在进行数据增强时考虑到了时间间隔的影响。作者的数据增强不仅可以将非均匀序列转化为均匀序列，而且还可以保证新生成的序列与原始序列具有很高的相似性。

4.2 消融实验

在消融实验中，作者对每个算子对模型表现的贡献进行了研究 (a)(b)。具体来说，作者每次都用相应的原始数据增强算子（例如 TR→R）替换对应的时间间隔感知算子，并将其他算子保持不变。当将作者所提出的数据增强算子被替换为原始算子时，推荐精度将会下降，这表明了作者所提出的算子的有效性。在所有的变体中，TS→S 的性能最差，而 TR→R 的表现最好。换句话说，TS 算子对推荐性能的影响最大，而 TR 算子的影响最小。

作者也研究了参数 σ 的影响 (c)，该参数控制被视为均匀序列的比率，这个参数越小（即数据集中被视为均匀序列的数量越少，非均匀序列越多），需要增强序列就越多。四个数据集的结果遵循相似的趋势。也就是说，随着 σ 的提高，性能逐渐提高，然后在设置为 0.2 或 0.3 时达到最大值。一般来说，σ=0.2 的性能最好。

换句话说，最好将排名前 20% 的序列看作是均匀的，而其余的则需要进行增强，以获得更好的准确性。进一步增加 σ 的值不会在更大程度上提高性能。总之，一个正确的参数 σ 的设置对于推荐是很重要的。