Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 5-3 图神经网络在推荐系统中的应用.pdf
Similar to 5-3 图神经网络在推荐系统中的应用.pdf (20)
5-3 图神经网络在推荐系统中的应用.pdf
- 1. 图神经网络在推荐系统 中的应用与探索 郭威 华为 ∙ 诺亚方舟实验室 |
- 3. |
- 5. | 诺亚推荐团队研究方向介绍 深度学习模型 知识图谱/GNN 多目标/迁移学习 多模态融合推荐 列表式推荐/重排序 反事实学习/纠偏 AutoML 广告系统竞价算法 基于预训练的IR技术 分布式训练及优化 • 2019年至今，团队在KDD/SIGIR/NeuaIPS/AAAI/IJCAI/RecSys等顶会发表论文50+篇 • DeepFM (IJCAI2017)，引用次数1300+，2016-2020年IJCAI论文被引用次数第1； • AutoFIS（KDD2020），best paper candidate（top 10） • EDCN（DLP-KDD2021），best paper award • 持续支撑应用市场、游戏中心、信息流、广告、音乐等个性化推荐场景算法及优化
- 8. | 信息过载和个性化推荐 音乐 电商 信息流 社交网络 位置服务 视频 华为应用市场 华为游戏中心 海量信息使得个性化推荐系统被大量应用 推荐系统在华为许多场景被应用 广告推荐 APP分发 华为视频 华为音乐 华为阅读 华为负一屏 华为云 华为商城 华为浏览器
- 9. | 图神经网络用于推荐系统 用户画像 相似的人 物品属性 相似的物品 上下文信息 场景信息、浏览轨迹 历史行为 购买记录、浏览记录 ……. 物品 (Item) 用户 (User) 特征(Features) 物品池 排序 重排序 几百万 Output Lists 几千 几百 几十 典型的商业推荐系统的结构 匹配 用户-用户联系 • 社交关系 • 相同属性 … 物品-物品联系 • 相同的属性 • 外部的知识 … 用户-物品交互 • 隐式反馈 • 显式反馈…
- 10. 图神经网络用于召回 02 |
- 11. | 基于图神经网络的召回模型：业界研究工作 Pinsage：KDD2018 LightGCN：SIGIR2020 NGCF：SIGIR2019 NIA-GCN：SIGIR2020 （诺亚) Multi-GCCF：ICDM2019 （诺亚) DGCF：SIGIR2020 SGL：SIGIR2021 NCL：WWW2022 图的引入 多图 结构优化 图对比学习
- 12. NIA-GCN:邻居交互感知的图卷积网络 已有GCN召回模型存在的关键问题: • 忽略了用户-商品二部图存在的异质性（user和item是两种不同的节点） • 简单的聚合函数（mean , max，LSTM）在聚合邻居信息时限制了模型的表达能力 如下图：左边的两个子图Max函数不能区分，右边的两个子图Mean函数不能区分 LSTM函数：不是排列不变的，且难以训练 Sun et al., Neighbor interaction aware graph convolution networks for recommendation, SIGIR 2020. |
- 13. | NIA-GCN:邻居交互感知的图卷积网络 Pairwise Neighborhood Aggregation Graph Convolution Layer (PNA): • 把每个邻居作为中心节点的特征 • 利用邻居间的哈德玛积来捕获邻居间特征交互 • 完整的邻居汇聚以及中心节点-邻居聚合过程
- 14. | NIA-GCN:邻居交互感知的图卷积网络 Parallel-GCNs: preserve the heterogeneous nature Cross-Depth Interaction (CDI): for the Final representation
- 15. NIA-GCN:邻居交互感知的图卷积网络 • NIA-GCN outperforms the next best method from 2.9% to 21.8% |
- 16. GraphSAIL: GCN在召回场景的轻量化 Xu et al., Graphsail: Graph structure aware incremental learning for recommender systems, CIKM 2020. | 增量学习容易遇到的问题: • 灾难性遗忘：增量更新的模型在新数据上过拟合，忘记了在旧模型上学习到的知识 已有的增量学习解决方案: • 正则化：将旧模型上学习到的知识蒸馏到增量学习的新模型 • 蓄水池：保留一部分旧数据，和新数据混合在一起用于增量学习
- 17. GraphSAIL: GCN在召回场景的轻量化 | Embedding蒸馏: • 新学习得到得embedding不应该偏离旧的embedding太远，正则化系数保证变化大的节点，权 重蒸馏权重小 局部结构（一阶邻居）蒸馏: • 中心节点和一阶邻居的相似度不应该偏离太远
- 18. GraphSAIL: GCN在召回场景的轻量化 全局结构蒸馏: • 首先将user节点和item节点进行聚类，得到K个类中心，𝓐𝑢 𝑘是类中心的平均embedding • 𝐺𝑆𝑢,𝓐𝑢 𝑘 是节点u和每个类中心的相对距离 • 蒸馏节点的全局位置通过维持节点和类中心的相对距离 类中心 老师模型 分布匹配 学生模型
- 19. GraphSAIL: GCN在召回场景的轻量化 Fine-tune (FT): 一个简单的基线模型，直接用新数据来fine-tune旧模型 Embedding distillation (Emb_d): embedding蒸馏的不加权版本 LSP_s: 一个最近的利用知识蒸馏来保留每个节点的一阶局部结构的工作
- 20. 图神经网络用于精排 03 |
- 21. | 基于图神经网络的精排模型：业界研究工作 GraphFM （arxiv） GMT：SIGIR2022 FiGNN：CIKM2019 L0-SIGN：AAAI2021 HIEN：SIGIR2022 DGENN：KDD2021 （诺亚) https://github.com/zziqi/CTR-Estimation 特 征 交 互 建 模 显 式 关 系 建 模
- 22. | DGENN:双图增强的嵌入神经网络 DeepFM：IJCAI2017 PNN：ICDM2016 xDeepFM: KDD2019 Zhang et al.,Deep Learning for Click-through Rate Estimation, IJCAI 2021. Guo et al., Dual Graph enhanced Embedding Neural Network for CTR Prediction. KDD2021 DIEN: AAAI2019 DIN：KDD2018 SIM：CIKM2020 基于特征交互建模的CTR预估模型 基于用户行为建模的CTR预估模型 CTR模型发展趋势
- 23. | DGENN:双图增强的嵌入神经网络 • 问题及挑战：特征稀疏性以及行为稀疏性 点击? CTR (0.15) 𝑥 = [𝑾𝒆𝒆𝒌𝒅𝒂𝒚 = 𝑭𝒓𝒊𝒅𝒂𝒚,𝑮𝒆𝒏𝒅𝒆𝒓 = 𝑴𝒂𝒍𝒆,𝑪𝒊𝒕𝒚 = 𝑺𝒉𝒂𝒏𝒈𝒉𝒂𝒊] 𝑥 = [𝟎, 𝟎, 𝟎, 𝟎, 𝟏, 𝟎, 𝟎 𝟎, 𝟏 𝟎, 𝟎, 𝟏, 𝟎 …𝟎] • 存在大量的稀疏特征在训练数据中只出现很少的次数 • 存在大量的用户只有很少的历史交互 Guo et al., Dual Graph Enhanced Embedding Neural Network for CTR Prediction, KDD 2021.
- 24. | DGENN:双图增强的嵌入神经网络 MLP Representation Learning Embedding 解决方案：利用图表征学习引入 • 样本间特征关联：解决特征稀疏性问题 • 用户间行为关联：解决行为稀疏性问题 已有的模型结构可以分为embedding层、表征学 习、预测层三部分，我们利用图表征学习来优化 embedding层，因此我们的模型可以作为插件应 用于大部分已有的CTR模型 图学习策略：为了从包含关系的用户商品异质图中学习，我们提出 • 分治策略：先构建单属性图，再汇聚所有属性信息 • 课程学习策略：先学习用户-商品各自的表征，再学习用户-商品的协同 关系 构图: (1) 属性图；（2）user-user相似性图； （3）item-item共现图；（4）user-item协同图
- 26. GCN在精排场景的轻量化 | 图预训练 + fine tune: Qiu et al., GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training, KDD 2020. Zhang et al., Graph-less Neural Networks: Teaching Old MLPs New Tricks Via Distillation. ICLR2022 Cai et al., Graph Coarsening with Neural Networks. ICLR2021 图蒸馏: 图粗化:
- 27. 图神经网络用于重排 04 |
- 28. | IRGPR :商品关系图神经网络用于个性化重排序 • 排序列表中的商品关系影响用户最终的行为 • Substitute:可以互换的; • Complement:被用户同时交互. • 用户以不同的偏好和视角看代排序列表 • 价格, 质量, 可替代，互补等等. price! quality! substitutes! complements! Liu et al., Personalized Re-ranking with Item Relationships for E-commerce. CIKM 2020
- 29. | IRGPR :商品关系图神经网络用于个性化重排序 𝑢1 𝑢2 𝑢3 𝑢4 𝑣1 𝑣2 𝑣3 𝑣4 𝑣5 𝑣6 𝑣7 𝑣8 • 我们构建了一个异质图来建模用户和商品间的关系 • 商品-商品间的边：商品间的关系（互补/可替代） • 用户-商品:初始的精排分数. • 消息传播: • 学习用户/商品的表征向量(ℎ𝑣/ℎ𝑢). ℎ𝑣 (𝑙+1) = 1 |𝒩 𝑣| 𝑤∈𝒩 𝑣 𝐴ℎ𝑤 𝑙 . • 个性化重排序: 𝑦𝑢𝑣 = 𝜎 𝑀𝐿𝑃 ℎ𝑢 𝐿 ℎ𝑣 𝐿 . Item node 𝒗: 𝐴 = 𝑀𝐿𝑃(𝑒𝑣𝑤) User node 𝒖: 𝐴 = 𝑀𝐿𝑃 𝑥𝑢 ⋅ 𝑀𝐿𝑃(𝑒𝑣𝑢) item relationships Intent embeddingnetwork Initial rankingscores
- 30. | IRGPR :商品关系图神经网络用于个性化重排序 • Amazon Dataset [McAuley’15] – Also Bought (AB): Users bought 𝑥 also bought 𝑦 across sessions; – Also Viewed (AV): Users viewed 𝑥 also viewed 𝑦; – Bought Together (BT): Users frequently bought 𝑥 and 𝑦 (𝑥 and 𝑦 were purchased as part of a single basket); – Buy after Viewing (BV): Users who viewed 𝑥 eventually bought 𝑦. Table. Statistics of the Amazon data.
- 31. | Table. Experimental results on Amazon data. DeepFMis the initial ranker. Table. Ablation analysis of design componentsfor IRGPR. (a) Video Games (b) Clothing, Shoes, and Jewelry. IRGPR :商品关系图神经网络用于个性化重排序
- 32. 总结和展望 05 |
- 33. | 总结和展望 总结: • 图神经网络在推荐系统的召回、精排、重排中得到了广泛的研究和应用。 • 我们提出了邻居交互感知的GCN模型来提高召回模型的效果。 • 针对精排模型中复杂的特征和关系，我们将数据建模成一个复杂的全局异质图，提出了两个策略： 分支，课程学习来更好的学习特征的嵌入表征。 • 针对重排模型中的商品关系，我们将用户-商品建模成一个异质图，来进行个性化的重排序。 • 我们利用增量学习，预训练等策略来进一步提升图神经网络模型的训练、推理效率。 展望: • 多行为、多场景、多模态等的应用。 • 复杂异质图建模 • 进一步提升训练效率，增快模型迭代效率
- 35. 非常感谢您的观看 |