ABPR: 利用对抗训练技术增强的BPR

正值毕业季，送给大家一首毛毛的《入海》。希望大家跃入人海，各有风雨灿烂(✪ω✪)

前言

动机

众所周知，计算机视觉领域的对抗样本（带有微小的、非随机的有意为之的扰动样本）可以使得模型以较高的置信度把样本分类错误[5]。比如下图，原本属于熊猫的样本，经过增加微小的扰动后以99%的置信度分类为了长臂猿。

通过观察上图发现，添加对抗扰动的性能要比添加随机噪声的性能下降的快很多，这就从侧面放映了BPR模型的泛化性能弱，并且容易受到参数的对抗性干扰，也侧面揭示了使用BPR进行训练的弱点。

所提框架

正如上文所述，BPR模型对于对抗样本的泛化能力弱，因此我们需要专门对对抗样本进行训练，使得模型尽可能多的见到更多的训练样本，最终达到良好的泛化性能。因此对于ABPR来讲，其目标一方面要最小化训练样本的损失，另一方面要最小化对于参数扰动之后的训练样本的损失。具体公式可见下图：

其中，为参数的对抗扰动。第二项可以看作是对于模型的正则化项。

那么对于对抗扰动如何求解呢，Goodfellow给我们提出了很好的解决方案Fast  Gradient Sign Method(FGSM）[5]算法。大意就是基于损失函数对输入样本进行求梯度，然后梯度的正方向就是使得损失函数变大，最终可以得到使得模型性能变差的对抗样本。

最终求得最优的模型参数以及最小但扰动性较强的对抗噪声。

模型的求解也相对简单，就是交替的更新对抗噪声和模型参数，具体见下图。

最终把对抗扰动应用到BPR框架的示意图如下图所示，可见基本上和传统的BPR模型一致，只不过增加了对于用户/项目嵌入向量的对抗扰动，最终使得模型的泛化性能增强。

▶ 更多论文细节可阅读原文->https://github.com/hongleizhang/RSPapers

▶ 欢迎大家加入ML&RS社区进行交流讨论，公号后台回复“进群”即可。

参考文献

[1]. Rendle et al. BPR: Bayesian personalized ranking from implicit feedback. UAI, 2012.

[2]. Zhao et al. Leveraging social connections to improve personalized ranking for collaborative filtering. CIKM, 2014.

[3]. He et al. VBPR: visual bayesian personalized ranking from implicit feedback,.AAAI, 2016.

[4]. Kang et al. Visually-aware fashion recommendation and design with generative image models. ICDM, 2017.

[5]. Goodfellow et al. Explaining and harnessing adversarial examples. ICLR, 2014.

时间会回答成长

成长会回答梦想

梦想会回答生活

生活回答你我的模样

《入海》部分歌词

推荐阅读

利用对抗技术来权衡推荐精度与用户隐私

用知识图谱增强推荐系统的三种模型结构

注意力机制在推荐系统应用中的总结