论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23)

这篇具有很好参考价值的文章主要介绍了论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习
论文链接

Motivation:

在推荐系统中,图神经网络在建模图结构数据上已经变成一个强有力的工具。但是现实生活的推荐语义通常涉及异质关系(像用户的社交关系,物品知识关系的依赖),这些都包含丰富的语义信息去提升表征能力的学习。同时,对比自监督学习在推荐系统中也取得了巨大进步。
鉴于此,本文提出异质图对比学习[Heterogeneous Graph Contrastive Learning (HGCL)],它利用在不同角度的对比学习知识迁移把异质关系融合到用户-物品的交互建模中。由于用户和物品的异质关系对用户-物品交互的影响是不同的,所以在HGCL中关于自适应对比增强设计了元网络来做个性化知识转换。

本文所面对的挑战:
1.如何有效的在不同视图中转换异质关系。
2.如何在个性化增强中执行异质关系的对比学习。

Contribute:

1.提出推荐系统中的异质图对比学习,它提供了普遍和通用的框架在一个图对比学习范式中去融合异质边信息进入推荐系统。
2.HGCL通过在对比学习中融合元网络,在特定于用户和特定于物品的知识转换中去自适应增强。
3.在真实生活推荐数据集中做了大量实验,证明了HGCL框架的有效性。

Method:

预定义:
对于用户-物品交互、用户-用户交互(social relation)、物品-物品交互(item relation)分别建立三张图Gui、Guu、Gii和对应的三个邻接矩阵Aui、Auu、Aii。

论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习
HGCL包含3大部分:
1.在用户-物品图、用户-用户图和物品-物品图中做异构图内表征的提取和融合。
2.在辅助视图和交互视图中利用元网络建模个性化跨试图关系。
3.在异构关系视图中,对于自适应对比学习做联合参数优化。

一:异质图关系学习

1.异质图Embedding初始化

用户-物品图初始化:传统推荐embedding(Eu、Ei)。

用户-用户图初始化和物品-物品图初始化作者设计了self-gating module,设计想法是不仅可以共享用户-物品交互初始embedding的共同语义,而且也可以在自己图中灵活建模用户-用户、物品-物品的关系。如下所示:

用户-用户图初始化:Euu

论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习

物品-物品图初始化:Eii

论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习
2.异质消息传播
用户-物品交互图、用户-用户交互图和物品-物品交互图分别进行图卷积,过程同LightGCN
论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习
3.异质信息聚合

信息每次迭代都会从异质关系中聚合信息。
论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习
f函数是element-wise mean pooling.
论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习
最终生成L层的表征与初始化的表征做聚合,形成最终的Eu和Ei。
同理Euu和Eii会聚合L层和初始化的表征,只不过之前没有经过f函数。f函数只把辅助(U-U、I-I)关系融合到交互关系(U-I)中。

二:跨视图元学习

1.提取元知识

元知识是包含丰富内容信息,它作为输入信息去生成对于用户和物品边知识的个性化知识转移函数。

对于用户-用户视图的元知识:用户-物品视图的用户Node、用户-用户视图的用户Node、用户-物品视图的用户Node的所有邻居Node(物品Node)的和。

对于物品-物品视图的元知识:用户-物品视图的物品Node、物品-物品视图的物品Node、用户-物品视图的物品Node的所有邻居Node(用户Node)的和。
论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习

2.个性化跨视图转换

利用上述的元知识作为输入信息,经过f1和f2元知识学习器生成参数知识转换网络,下面公式是针对用户-用户视图生成两个定制转换矩阵,作为转换函数的参数。物品-物品视图同理。

f1和f2均是激活函数是PReLU的两层MLP。
论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习
所以EMuu是针对用户-用户社交关系视图的定制映射函数转换后的用户信息。
论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习

与Eu和Euu做加权和形成最终的EFu。

论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习
物品-物品视图同理。

三:用户增强的异质关系对比学习

跨视图对比学习

设计了跨视图对比学习范式去增强异质关系学习
论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习
s(·)是cosine similarity function

对于物品也同理。

最终用户和物品的对比学习loss如下:
论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习

Model Training

论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习
最终Loss
论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习

Dataset:

论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习

Experiments:

论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习
Baseline:

论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习

Performance Comparison (RQ1)
论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习
Ablation Study (RQ2)
论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习
Performance varying Data Sparsity (RQ3)
论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习
Hyperparameter Analysis (RQ4)
论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习
Qualitative Evaluation

在CIAO数据集上进行了案例研究,来可视化学习到的个性化对比转换矩阵(R16×16),以反映辅助视图(例如社会关系)和用户-项目交互视图之间的不同影响。
论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23),推荐系统顶会顶刊论文阅读(持续更新),论文阅读,人工智能,深度学习文章来源地址https://www.toymoban.com/news/detail-720298.html

到了这里,关于论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • [异构图-论文阅读]Heterogeneous Graph Transformer

    这篇论文介绍了一种用于建模Web规模异构图的异构图变换器(HGT)架构。以下是主要的要点: 摘要和引言 (第1页) 异构图被用来抽象和建模复杂系统,其中不同类型的对象以各种方式相互作用。 许多现有的图神经网络(GNNs)主要针对同构图设计,无法有效表示异构结构。

    2024年02月06日
    浏览(37)
  • DUET: Cross-Modal Semantic Grounding for Contrastive Zero-Shot Learning论文阅读

    原文链接: https://ojs.aaai.org/index.php/AAAI/article/view/25114/24886 该论文设计了一种 新的零样本学习范式,通过迁移语言模型中的先验语义知识,与视觉模型的特征感知能力进行对齐,以增强后者对于未见过图像的识别能力。 零样本学习(ZSL)旨在预测在训练期间从未出现样本的未

    2024年01月17日
    浏览(41)
  • 【论文笔记】KDD2019 | KGAT: Knowledge Graph Attention Network for Recommendation

    为了更好的推荐,不仅要对user-item交互进行建模,还要将关系信息考虑进来 传统方法因子分解机将每个交互都当作一个独立的实例,但是忽略了item之间的关系(eg:一部电影的导演也是另一部电影的演员) 高阶关系:用一个/多个链接属性连接两个item KG+user-item graph+high orde

    2024年02月16日
    浏览(29)
  • 【论文阅读笔记】Contrastive Learning with Stronger Augmentations

    基于提供的摘要,该论文的核心焦点是在对比学习领域提出的一个新框架——利用强数据增强的对比学习(Contrastive Learning with Stronger Augmentations,简称CLSA)。以下是对摘要的解析: 问题陈述: 表征学习(representation learning)已在对比学习方法的推动下得到了显著发展。 当前

    2024年02月19日
    浏览(34)
  • 【论文阅读笔记】 Representation Learning with Contrastive Predictive Coding

    这段文字是论文的摘要,作者讨论了监督学习在许多应用中取得的巨大进展,然而无监督学习并没有得到如此广泛的应用,仍然是人工智能中一个重要且具有挑战性的任务。在这项工作中,作者提出了一种通用的无监督学习方法,用于从高维数据中提取有用的表示,被称为“

    2024年01月25日
    浏览(28)
  • 【论文阅读】Self-supervised Learning: Generative or Contrastive

    研究了在计算机视觉、自然语言处理和图形学习中用于表示的新的自监督学习方法。全面回顾了现有的实证方法,并根据其目的将其归纳为三大类:生成性、对比性和生成性对比(对抗性)。进一步收集了关于自我监督学习的相关理论分析,以对自我监督学习为什么有效提供

    2024年01月18日
    浏览(41)
  • 论文阅读《Addressing Confounding Feature Issue for Causal Recommendation》

    该文章由中科大的何向南教授发表在TOIS 2022(ccf A类)上。是我目前读过的因果推断推荐相关的文章中细节描述最为详细并且原理介绍详略得当、解释的最合理的一篇文章。如果大家有兴趣的话非常推荐大家进行研读。 在推荐系统中,有一些特性会直接影响交互是否发生,这

    2024年02月02日
    浏览(35)
  • 论文阅读 - Detecting Social Bot on the Fly using Contrastive Learning

    目录  摘要:  引言 3 问题定义 4 CBD 4.1 框架概述 4.2 Model Learning 4.2.1 通过 GCL 进行模型预训练  4.2.2 通过一致性损失进行模型微调  4.3 在线检测 5 实验 5.1 实验设置 5.2 性能比较 5.5 少量检测研究  6 结论 https://dl.acm.org/doi/pdf/10.1145/3583780.3615468           社交机器人检测正

    2024年02月06日
    浏览(34)
  • 【论文阅读】Adap-t: Adaptively Modulating Embedding Magnitude for Recommendation

    2023 WWW CCFA https://arxiv.org/pdf/2302.04775.pdf https://github.com/junkangwu/Adap_tau 近年来,基于嵌入式嵌入的方法在推荐系统中取得了巨大的成功。 尽管它们的性能不错,但我们认为这些方法的一个潜在局限性—— 嵌入幅度没有被明确调制 ,这可能会加剧流行偏差和训练不稳定性,阻碍

    2024年02月12日
    浏览(26)
  • 论文阅读《Vision-Language Pre-Training with Triple Contrastive Learning》

    本文是2022年CVPR上的一篇 多模态 论文,利用对比学习和动量来进行图片与文本信息的上游预训练。 作者提出问题 简单的跨模态比对模型无法确保来自同一模态的相似输入保持相似。(模态内部语义信息损失) 全局互信息最大化的操作没有考虑局部信息和结构信息。 对于上

    2024年04月13日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包