几何感知Transformer用于3D原子系统建模

这篇具有很好参考价值的文章主要介绍了几何感知Transformer用于3D原子系统建模。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

基于机器学习的方法在预测分子能量和性质方面表现出很强的能力。分子能量至少与原子、键、键角、扭转角和非键原子对有关。以前的Transformer模型只使用原子作为输入,缺乏对上述因素的显式建模。为了减轻这种限制,作者提出了Moleformer,这是一种新颖的Transformer架构,它将节点(原子)和边(键和非键原子对)作为输入,并使用旋转平移不变的几何感知空间编码来模拟它们之间的相互作用。空间编码计算节点和边之间的相对位置信息,包括距离和角度。作者在OC20和QM9数据集上对Moleformer进行了基准测试。

来自:Molecular Geometry-aware Transformer for accurate 3D Atomic System modeling

背景概述

分子系统能量力场的基本形式可以分解为基于键、键角、扭转角和非键相互作用等因素的函数。为了包含上述因素并进行能量估计,神经网络需要学习原子-原子(键和非键原子对)、原子-键(键角)和键-键(扭角)之间的相互作用。而过去基于Transformer的模型只学习原子-原子之间的相互作用

为了扩展信息并利用Transformer,作者提出Moleformer,它显式模拟原子-原子对之间的相互作用。Moleformer将原子、键和非键原子对作为输入,并应用平移旋转不变几何感知空间编码来捕获这些输入之间的几何关系。空间编码是通过原子-原子对的相对距离和角度来计算的,这足以确定原子-原子对之间的相对空间几何信息。原子-键之间的相互作用包括力场中的键角,键-键之间的相互作用包括力场中的扭转角。

方法

对于一个3D原子系统( N N N个原子),由核电荷(nuclear charges) { z 1 , . . . , z N } \left\{z_{1},...,z_{N}\right\} {z1,...,zN}和3D坐标 { x 1 , . . . , x N ∈ R 3 } \left\{x_{1},...,x_{N}\in R^{3}\right\} {x1,...,xNR3}描述。目标是预测系统的性质 y ∈ R y\in R yR,可以是系统能量,偶极矩和热容等。

Moleformer(图1b)是一种旋转平移不变的Transformer,用于3D分子能量和性质预测。Moleformer使用节点(原子)和选定的边(包括成键和非成键原子对)作为输入。如果一个原子系统包含 N N N个原子,则有 C N 2 C_{N}^{2} CN2个可能的边。将所有可能的边都包含到模型中会消耗很大计算量,并且可能引入无信息的边。作者选择 Top-M 距离最近的原子对作为边。对于像催化剂体系这样由吸附质(adsorbate)和表面(surface)组成的原子体系(图1a),可以选择吸附质-吸附质原子对和吸附质-表面原子对作为边,而不是表面-表面原子对。原因是这样的原子对之间的边在边长和原子类型上更加多样化,在能量建模中可能包含更多的信息。因此需要为表面-表面原子对的距离进行惩罚,以更好选择边。


表面原子之间的相互作用较频繁,而吸附质原子与表面原子的相互作用较小,不平衡其重要性会学习到冗余的知识。


对于输入embedding,作者用核电荷 z i , z j z_{i},z_{j} zi,zj和两原子间的距离 ∣ ∣ r i j ∣ ∣ = ∣ ∣ x i − x j ∣ ∣ ||r_{ij}||=||x_{i}-x_{j}|| ∣∣rij∣∣=∣∣xixj∣∣编码边 ( i , j ) (i,j) (i,j) h i j 0 = R B F ( z i , z j , ∣ ∣ r i j ∣ ∣ ) h_{ij}^{0}=RBF(z_{i},z_{j},||r_{ij}||) hij0=RBF(zi,zj,∣∣rij∣∣)原子 i i i则编码为: h i 0 = E m b e d ( z i ) + W R ∑ j ( R B F ( z i , z j , ∣ ∣ r i j ∣ ∣ ) ) + b R h_{i}^{0}=Embed(z_{i})+W_{R}\sum_{j}(RBF(z_{i},z_{j},||r_{ij}||))+b_{R} hi0=Embed(zi)+WRj(RBF(zi,zj,∣∣rij∣∣))+bR其中, W R W_R WR b R b_R bR是线性层的参数,用于对齐 E m b e d Embed Embed和RBF的维数。

{ h i 0 } i = 1 N \left\{h_{i}^{0}\right\}_{i=1}^{N} {hi0}i=1N { h i j 0 } \left\{h_{ij}^{0}\right\} {hij0}拼接作为输入,并应用 L L L层geometry-aware Transformer block建模原子和边。对于第 l l l层,输入为 { h i l } i = 1 N \left\{h_{i}^{l}\right\}_{i=1}^{N} {hil}i=1N { h i j l } \left\{h_{ij}^{l}\right\} {hijl}

Transformer通常通过在输入表示中添加位置嵌入来编码绝对位置信息(即词序)。对于三维原子建模,分子的表示是旋转平移不变的,因此需要相对位置信息。作者在每个几何感知Transformer层中通过在自注意力计算中添加一个偏差来编码相对位置信息: A i j = ( h i l W q ) ( h j l W k ) T d + b ( i , j ) A_{ij}=\frac{(h_{i}^{l}W_{q})(h_{j}^{l}W_{k})^{T}}{\sqrt{d}}+b(i,j) Aij=d (hilWq)(hjlWk)T+b(i,j) a i j = e x p A i j ∑ k e x p A i k a_{ij}=\frac{expA_{ij}}{\sum_{k}expA_{ik}} aij=kexpAikexpAij h i l + 1 = ∑ j ( h i l W v ) a i j h_{i}^{l+1}=\sum_{j}(h_{i}^{l}W_{v})a_{ij} hil+1=j(hilWv)aij其中, i , j , k i,j,k i,j,k可以表示一个节点或者一个边, b ( i , j ) b(i,j) b(i,j)为作者提出的空间编码。

特别的,如果 i , j i,j i,j都是原子,唯一的相对几何信息就是原子之间的距离(图1c),因此,作者使用RBF计算 b ( i , j ) b(i,j) b(i,j) b ( i , j ) = R B F ( z i , z j , ∣ ∣ r i j ∣ ∣ ) b(i,j)=RBF(z_{i},z_{j},||r_{ij}||) b(i,j)=RBF(zi,zj,∣∣rij∣∣) ( i , j ) (i,j) (i,j)和节点 k k k来自三角形 i , j , k i,j,k i,j,k,相对几何信息由两条边的长度 ∣ ∣ r i k ∣ ∣ ||r_{ik}|| ∣∣rik∣∣ ∣ ∣ r j k ∣ ∣ ||r_{jk}|| ∣∣rjk∣∣以及转角 ∠ i k j \angle ikj ikj决定(图1d)。 b ( i j , k ) b(ij,k) b(ij,k)为: b ( i j , k ) = R B F ( ∣ ∣ r i k ∣ ∣ ) + R B F ( ∣ ∣ r j k ∣ ∣ ) + R B F ( c o s ∠ i k j ) b(ij,k)=RBF(||r_{ik}||)+RBF(||r_{jk}||)+RBF(cos\angle ikj) b(ij,k)=RBF(∣∣rik∣∣)+RBF(∣∣rjk∣∣)+RBF(cosikj)连接不同节点对的两条边 ( i , j ) (i, j) (i,j) ( k , l ) (k, l) (k,l)构成一个四边形,相对几何信息由六条边的长度决定,比如 ( i , j ) , ( i , k ) , ( i , l ) ( j , k ) , ( j , l ) , ( k , l ) (i, j), (i ,k),(i,l) (j, k), (j,l),(k, l) (i,j),(i,k),(i,l)(j,k),(j,l),(k,l)。边 ( i , j ) (i,j) (i,j) ( k , l ) (k,l) (k,l)编码为 h i j l h_{ij}^{l} hijl h k l l h_{kl}^{l} hkll。作者使用另外四条边编码 b ( i j , k l ) b(ij,kl) b(ij,kl)。此外,通过边 ( i , j ) (i,j) (i,j) ( k , l ) (k,l) (k,l)的角度增强空间编码(图1e): b ( i j , k l ) = R B F ( ∣ ∣ r i k ∣ ∣ ) + R B F ( ∣ ∣ r j k ∣ ∣ ) + R B F ( ∣ ∣ r i l ∣ ∣ ) + R B F ( ∣ ∣ r j l ∣ ∣ ) + R B F ( c o s ( r i j , r k l ) ) b(ij,kl)=RBF(||r_{ik}||)+RBF(||r_{jk}||)+RBF(||r_{il}||)+RBF(||r_{jl}||)+RBF(cos(r_{ij},r_{kl})) b(ij,kl)=RBF(∣∣rik∣∣)+RBF(∣∣rjk∣∣)+RBF(∣∣ril∣∣)+RBF(∣∣rjl∣∣)+RBF(cos(rij,rkl))节点 h i h_i hi和边 h i j h_{ij} hij的最终表示是通过重复将表示发送到Transformer层中获得。该方法在不增加参数数量的情况下提高了模型的性能。

几何感知Transformer用于3D原子系统建模

  • 图1a:一个催化剂系统的例子,其中CH3是吸附质,表面由铜原子组成。Moleformer倾向于将吸附-吸附原子和吸附-表面原子之间的边作为模型输入。
  • 图1b:Moleformer架构:节点和所选边作为输入。
  • 图1c-e:分别展示了几何感知空间编码如何在Transformer中的节点-节点、边缘-节点和边缘-边缘之间相互作用。虚线表示边缘,黄色实线表示空间编码中使用的几何信息。

受到包括键作为分子系统能量因子的启发,不仅使用节点表示,还使用边缘表示进行能量(或其他标量属性)预测: y = ∑ i M L P ( h i ) + ∑ i j M L P ( h i j ) y=\sum_{i}MLP(h_{i})+\sum_{ij}MLP(h_{ij}) y=iMLP(hi)+ijMLP(hij)其中MLP是一个非线性的2层感知机。文章来源地址https://www.toymoban.com/news/detail-424530.html

到了这里,关于几何感知Transformer用于3D原子系统建模的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Pixel-GS:用于3D高斯溅射的具有像素感知梯度的密度控制

    Zheng Zhang  Wenbo Hu†  Yixing Lao   老宜兴市郑张文博胡 † Tong He  Hengshuang Zhao† 赵同和恒双 †1122113311 Abstract 摘要          [2403.15530] Pixel-GS: Density Control with Pixel-aware Gradient for 3D Gaussian Splatting 3D Gaussian Splatting (3DGS) has demonstrated impressive novel view synthesis results while advancin

    2024年04月23日
    浏览(47)
  • 【干货分享】如何一键打造理想露营地?春日露营,即刻出发!Python | 建模 | 3D | 图形引擎| 几何引擎

    在这个快节奏的时代,我们都渴望找到一片属于自己的宁静角落。 你是否曾畅想在星空下,与大自然亲密接触,享受露营的乐趣🌌 但是,想到搭建帐篷、生火、布置灯光等一系列繁琐的准备工作,又望而却步😖 想象一下 大包小包,拖家带口 ,还要为应对各种突发情况准备

    2024年03月23日
    浏览(39)
  • GaussianCube:使用最优传输构造高斯溅射用于3D生成建模

    Bowen Zhang1⁣*    Yiji Cheng2⁣*   Jiaolong Yang3   Chunyu Wang3 张博文 1⁣* 程一季 2⁣* 杨娇龙 3 王春雨 3 Feng Zhao1      Yansong Tang2      Dong Chen3      Baining Guo3 赵峰 1 唐岩松 2 陈冬 3 郭柏宁 3 1University of Science and Technology of China  2Tsinghua University  3Mic

    2024年04月22日
    浏览(38)
  • 文献学习-37-动态场景中任意形状针的单目 3D 位姿估计:一种高效的视觉学习和几何建模方法

    Authors: Bin Li,† , Student Member, IEEE, Bo Lu,† , Member, IEEE, Hongbin Lin, Yaxiang Wang, Fangxun Zhong, Member, IEEE, Qi Dou, Member, IEEE and Yun-Hui Liu, Fellow, IEEE Source: IEEE TRANSACTIONS ON MEDICAL ROBOTICS AND BIONICS Keywords: Surgical Robotics, Pose Estimation, Geometry Modeling, Vision-based Manipulation Abstract: 导向图像的针具姿

    2024年04月17日
    浏览(40)
  • 【生物力学】《人体骨肌系统生物力学》- 王成焘老师 - 第2章 - 人体几何学测量与仿真建模

    第1章 回到目录 第3章 人体测量学 (anthropometry) 是人类学的一个分支学科,旨在通过对人体整体和局部测量,探讨人体的类型、特征、变异和发展规律。人体几何仿真建模是通过数字化技术构建数字化的人体模型,数字化的人体模型能够精确地再现人体复杂的三维结构,其应用

    2024年02月10日
    浏览(38)
  • 用于独立系统应用的光伏MPPT铅酸电池充电控制器建模(Simulink实现)

    💥💥💞💞 欢迎来到本博客 ❤️❤️💥💥 🏆博主优势: 🌞🌞🌞 博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️ 座右铭: 行百里者,半于九十。 📋📋📋 本文目录如下: 🎁🎁🎁 目录 💥1 概述 📚2 运行结果 🎉3 参考文献 🌈4 Simulink实现、详细文章

    2024年02月09日
    浏览(45)
  • 学习笔记 | 多层感知机(MLP)、Transformer

    目录 多层感知机(MLP) Transformer  1. inputs 输入 2. Transformer的Encoder         2.1 Multi-Head Attention         2.2 Add&Normalize         2.3 Feed-Forward Networks 3. Transformer的Decoder         3.1Transformer Decoder的输入         3.2 Masked Multi-Head Attention         3.3 基于En

    2024年02月02日
    浏览(40)
  • 多相机拍照系统3D拍照建模,3D真人手办,博物馆模型制作

                   最近3D真人手办行业比较火爆,数据采集比较关键。我们自己研发测试了相关设备,并做出了矩阵相机产品,在此将研发心得和过程发布出来和大家沟通学习。         数据采集,分为2种,一种是扫描仪,一种是矩阵相机。扫描仪轻便,但是需要客户静止

    2024年02月09日
    浏览(50)
  • 【论文阅读】通过解缠绕表示学习提升领域泛化能力用于主题感知的作文评分

    本文工作聚焦于从领域泛化的视角提升AES模型的泛化能力,在该情况下,目标主题的数据在训练时不能被获得。 本文提出了一个主题感知的神经AES模型(PANN)来抽取用于作文评分的综合的表示,包括主题无关(prompt-invariant)和主题相关(prompt-specific)的特征。 为了提升表示

    2024年02月14日
    浏览(51)
  • 中国有完全自主的三维几何建模引擎和几何约束求解器吗?

    工业软件,就是“工业大脑”。三维CAD系统,是工业核心数据的来源,属于核心的研发设计类工业软件。三维 CAD 软件的两大底层核心技术:三维几何建模引擎和几何约束求解器,目前均面临严重的“卡脖子”风险,严重影响我国的技术自主创新以及信息和知识产权安全。 一

    2024年02月11日
    浏览(31)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包