1. Toy模板网首页
  2. > Toy博客

【论文阅读】Can Large Language Models Empower Molecular Property Prediction?

8月前 作者：鲸可落 分类：Toy博客 阅读(43) 违法举报

这篇具有很好参考价值的文章主要介绍了【论文阅读】Can Large Language Models Empower Molecular Property Prediction?。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

0、基本信息

  • 作者：Chen Qian, Huayi Tang, Zhirui Yang
  • 文章链接：Can Large Language Models Empower Molecular Property Prediction?
  • 代码链接：Can Large Language Models Empower Molecular Property Prediction?

1、研究动机

 分子属性预测得到巨大的关注，分子图能够被描述为图结构的数据或SMILES (Simplified Molecular-Input Line-Entry System)文本。LLMs的快速发展给NLP领域带来颠覆性变化，但是，LLM如何影响分子性质预测的探索仍处于早期阶段。

本文，从两个视角——零样本和少样本分子分类，通过LLMs生成分子原始SMILESD的新解释。

  • 首先提示LLM进行上下文分子分类并评估其性能。
  • 然后，我们使用LLM为原始SMILES生成语义丰富的分析和解释。文本解释可以作为分子的新表征。
  • 最后，利用它来微调多个下游任务的小规模LM模型

2、创新性

 由于分子可以表示为SMILES序列，因此使用具有强大文本理解能力的LLM来处理分子数据是一个不错的想法。简而言之，大模型在分子预测任务上的迁移。

 例如，对于给定分子的SMILES，ChatGPT可以准确地描述分子的功能组、化学性质和潜在的药物应用。如下图所示。

【论文阅读】Can Large Language Models Empower Molecular Property Prediction?,图神经网络,论文阅读,语言模型,人工智能,自然语言处理,深度学习

基本思想：

 对于所给的SMILES序列，设计合理的提示，提示LLM进行zero/few-shot 分类，并总结出新的表征，即Caption as new Representation，用新的表征在下游任务上微调小规模LMs。

3、方法论

 情境学习（ICL）已经成为NLP的新范式。使用包含以自然语言模板编写的多个示例作为输入的上下文，LLM可以对未看到的输入进预测，而不需要额外的参数更新。利用ChatGPT的ICL能力，通过设计的提示来帮助分子分类任务，如下图所示。

【论文阅读】Can Large Language Models Empower Molecular Property Prediction?,图神经网络,论文阅读,语言模型,人工智能,自然语言处理,深度学习

 这种模式使得通过改变演示和模板将人类知识融入LLM变得更加容易。

 在PTC数据集上，使用“毒性”、“癌症”和“有害”等术语进行关键字搜索，以检索ChatGPT为原始SMILES格式PTC数据集生成的所有解释。值得注意的是，观察到这些关键字中的大多数主要出现在标记为-1的条目中。这表明ChatGPT能够为原始SMILES字符串提供有意义和独特的专业解释，从而使下游任务受益。

 总之，利用ChatGPT来理解原始SMILES字符串并生成包含各个方面的文本描述；然后，微调预训练的小规模LM用于各种下游任务，例如分子分类和性质预测。

4、实验结果

 ChatGPT具有一定水平的少样本分子分类能力。然而，在整个实验中，发现ChatGPT的分类性能并不一致，对于相同的提示，不同的提示也有显着的影响的结果。因此，设计有效的提示，并聚合合理的先验信息实现更好的零样本和少样本分类至关重要的.文章来源地址https://www.toymoban.com/news/detail-808052.html

到了这里，关于【论文阅读】Can Large Language Models Empower Molecular Property Prediction?的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • Unifying Large Language Models and Knowledge Graphs: A Roadmap 论文阅读笔记

    Unifying Large Language Models and Knowledge Graphs: A Roadmap 论文阅读笔记

    NLP, LLM, Generative Pre-training, KGs, Roadmap, Bidirectional Reasoning LLMs are black models and can\\\'t capture and access factual knowledge. KGs are structured knowledge models that explicitly store rich factual knowledge. The combinations of KGs and LLMs have three frameworks,  KG-enhanced LLMs, pre-training and inference stages to provide external knowl

    2024年02月19日
    浏览(35)

  • 论文阅读：Making Large Language Models A Better Foundation For Dense Retrieval

    论文链接 密集检索需要学习区分性文本嵌入来表示查询和文档之间的语义关系。考虑到大型语言模型在语义理解方面的强大能力，它可能受益于大型语言模型的使用。然而，LLM是由文本生成任务预先训练的，其工作模式与将文本表示为嵌入完全不同。因此，必须研究如何正确

    2024年01月21日
    浏览(39)
  • （论文阅读）Chain-of-Thought Prompting Elicits Reasoningin Large Language Models

    （论文阅读）Chain-of-Thought Prompting Elicits Reasoningin Large Language Models

    论文地址 https://openreview.net/pdf?id=_VjQlMeSB_J         我们探索如何生成一个思维链——一系列中间推理步骤——如何显著提高大型语言模型执行复杂推理的能力。 特别是，我们展示了这种推理能力如何通过一种称为思维链提示的简单方法自然地出现在足够大的语言模型中，

    2024年02月07日
    浏览(67)
  • Making Large Language Models Perform Better in Knowledge Graph Completion论文阅读

    Making Large Language Models Perform Better in Knowledge Graph Completion论文阅读

    原文链接： Making Large Language Models Perform Better in Knowledge Graph Completion 基于大语言模型（LLM）的知识图补全（KGC） 旨在利用 LLM 预测知识图谱中缺失的三元组 ，并丰富知识图谱，使其成为更好的网络基础设施，这可以使许多基于网络的自动化服务受益。然而，基于LLM的KGC研究有

    2024年01月23日
    浏览(34)
  • [论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models

    [论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models

    题目 论文作者与单位 来源 年份 LoRA: Low-Rank Adaptation of Large Language Models microsoft International Conference on Learning Representations 2021 524 Citations 论文链接：https://arxiv.org/pdf/2106.09685.pdf 论文代码：https://github.com/microsoft/LoRA 研究主题 问题背景 核心方法流程 亮点 数据集 结论 论文类型 关

    2024年02月06日
    浏览(39)
  • （论文阅读）Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

    （论文阅读）Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

    论文地址 https://openreview.net/pdf?id=_VjQlMeSB_J         我们探索如何生成一个思维链——一系列中间推理步骤——如何显著提高大型语言模型执行复杂推理的能力。 特别是，我们展示了这种推理能力如何通过一种称为思维链提示的简单方法自然地出现在足够大的语言模型中，

    2024年02月08日
    浏览(88)
  • 【论文阅读】FIGSTEP: JAILBREAKING LARGE VISION-LANGUAGE MODELS VIA TYPOGRAPHIC VISUAL PROMPTS

    【论文阅读】FIGSTEP: JAILBREAKING LARGE VISION-LANGUAGE MODELS VIA TYPOGRAPHIC VISUAL PROMPTS

    提出了一种针对视觉语言模型的新型越狱框架  论文地址：https://arxiv.org/abs/2311.05608 代码地址： GitHub - ThuCCSLab/FigStep: Jailbreaking Large Vision-language Models via Typographic Visual Prompts  1.Motivation VLM可以分为三个模块： 语言模块：是一个预先训练的LLM， 已经安全对齐 。 视觉模块：是

    2024年02月03日
    浏览(29)
  • [论文阅读笔记] TRACE: A Comprehensive Benchmark for Continual Learning In Large Language Models

    [论文阅读笔记] TRACE: A Comprehensive Benchmark for Continual Learning In Large Language Models

    TRACE: A Comprehensive Benchmark for Continual Learning In Large Language Models arXiv2023 复旦大学 Benchmark、Continual Learing、LLMs 已经对齐过的大模型 (Aligned LLMs )能力很强，但持续学习能力缺乏关注； 目前CL的benchmark对于顶尖的LLMs来说过于简单，并且在指令微调存在model的potential exposure。(这里的

    2024年01月18日
    浏览(44)
  • Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models ----论文阅读

    Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models ----论文阅读

    Vary 的代码和模型均已开源，还给出了供大家试玩的网页 demo。感兴趣的小伙伴可以去试试 主页：https://varybase.github.io/ 部分内容参考：https://mp.weixin.qq.com/s/Sg_yHAVVN-yAYT61SNKvCA 官网：https://openai.com/research/clip （要了解的建议看这个，篇幅少点，论文中大量篇幅是介绍实验的） 论

    2024年02月03日
    浏览(36)
  • [arxiv论文阅读] LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding

    [arxiv论文阅读] LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding

    Yang, S., Liu, J., Zhang, R., Pan, M., Guo, Z., Li, X., Chen, Z., Gao, P., Guo, Y., Zhang, S. (2023). LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding. In arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2312.14074 最近，大型语言模型（LLMs）和多模态大型语言模型（MLLMs）在 指令跟随 和 2D图像理解

    2024年02月02日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包