内存计算研究进展-针对机器学习的近数据计算架构

这篇具有很好参考价值的文章主要介绍了内存计算研究进展-针对机器学习的近数据计算架构。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

    针对机器学习的近数据计算架构代表性工作有: Georgia Institute of Technology的BSSync (bounded staled sync) 和 Neurocube,Advanced Micro Devices 的 CoML,具体如下。

1 BSSync

    BSSync指出,在并行实现的机器学习应用中,原子操作用来保障无锁状态下算法的收敛,但带来很大的同步开销,且同步产生的通信延迟不与占比大的计算延迟重叠。BSSync发现,在机器学习应用迭代收敛过程中,可以用未更新的中间数据进行计算,从而提出利用基于近数据计算的有边界一致性模型减少原子操作带来的延迟开销。图17是 BSSync系统结构,CPU 核里面增加了原子请求队列、控制寄存器以及区域表来实现边界一致性模型.实验显示,BSSync比机器学习应用在传统冯.诺依曼系统中的异步并行的实现快1.33倍。

内存计算研究进展-针对机器学习的近数据计算架构,智能计算,架构,人工智能,近数据计算,存内计算

2 Neurocube

    Neurocube是一个针对神经网络计算设计的可编程、可扩展,且节能的近数据计算系统架构。图18 是 Neurocube架构,左边是普遍使用的NDC cube结构,右边是逻辑层设计。逻辑层采用了细粒度可编程的设计模型,以灵活支持祌经网络计算.其中,每 个 P E 有 多 个 M AC单元支持神经网络中最常用的乘加操作,同时还有存储权值的寄存器和缓存以及相应的计数器。

内存计算研究进展-针对机器学习的近数据计算架构,智能计算,架构,人工智能,近数据计算,存内计算

    图19 是 Neurocube的执行流程.它首先将神经网络存储到NDC cube的存储单元中,包括每层数据、神经元状态、连接权值.当一个层处理好之后,与中央处理器交互一次,然后执行下一层。Neurocube通过对逻辑层硬件、数据映射方式、片上互联,以及编程方式的精心设计,使得祌经网络计算在NDC cube中能够高效执行。

内存计算研究进展-针对机器学习的近数据计算架构,智能计算,架构,人工智能,近数据计算,存内计算

    实验显示,相比于GPU系统,Neurocube有 4 倍的每瓦计算效率提升,与 ASIC系统相比,灵活性更好、扩展能力更强。

    不同于针对机器学习设计的注重优化乘加(MAC) 操作的近数据计算系统,C oM L lM 提出,虽然包含MAC操作的卷积层等计算占整个机器学习过程的比例大,但这些计算是计算密集型的,数据复用性好,计算/字节比率高(即一个字节从内存中读出来之后用来计算的次数多);事实上,机器学习过程中,约32%的时间用于数据密集型计算,这些计算的计算/字节比率低。图 2 0 展示了神经网络中低计算/字节比率的计算部分。CoM L 将这些低计算/字节比率的计算部分放在近数据计算端,把MAC等操作放在主处理器上做。

内存计算研究进展-针对机器学习的近数据计算架构,智能计算,架构,人工智能,近数据计算,存内计算

     实验显示,C oM L 在机器学习的数据密集型计算上的加速达到了 2 0 倍,总体有14%的性能提升。

参考文献

毛海宇,舒继武,李飞,等. 内存计算研究进展. 中国科学:信息科学,2021, 51: 173-206, doi: 10.1360/SSI-2020-0037 M ao H Y, Shu J W , Li F , et al. D evelopm ent of processing-in-m em ory (in C hinese). Sci Sin Inform , 2021, 51: 173-206, doi: 10.1360/SSI-2020-0037文章来源地址https://www.toymoban.com/news/detail-832546.html

到了这里,关于内存计算研究进展-针对机器学习的近数据计算架构的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 论文解读 | 基于视觉的水果采摘机器人识别与定位方法研究进展

    原创 | 文 BFT机器人  01 背景 在复杂的农业环境中,利用机器视觉及其相关算法可以提高收割机器人的效率、功能性、智能化和远程互动性。对于水果采摘机器人系统来说,主要的挑战包括免提导航和水果定位,以及大多数果园中常见的崎岖地形和大型障碍物。这些挑战会在

    2024年02月04日
    浏览(41)
  • 读论文:大数据计算环境下的隐私保护技术研究进展

    标题 : 大数据计算环境下的隐私保护技术研究进展 作者 : 钱文君, 沈晴霓,吴鹏飞 , 董春涛 , 吴中海 批处理、流式计算和机器学习等 分布式的大数据计算环境 在 云 上的广泛部署与应用,给云用户带来许多前所未有的便利的同时,也使得信息泄露时间越来越频繁。 如何

    2024年02月03日
    浏览(49)
  • 【计算机视觉】小目标检测研究进展:小目标定义及难点分析(详细讲解)

    目标检测是计算机视觉领域中的一个重要研究方向,也是其他复杂视觉任务的基础。作为图像理解和计算机视觉的基石,目标检测是解决分割、场景理解、目标跟踪、图像描述和事件检测等更高层次视觉任务的基础。 小目标检测长期以来是目标检测中的一个难点,其旨在精准

    2024年01月23日
    浏览(53)
  • AIGC原理:扩散模型diffusion综述一:面向视觉计算的扩散模型研究进展

    论文地址:State of the Art on Diffusion Models for Visual Computing 👉 贴一幅SGM(Score-based Generative Model)的原因是宋飏博士将他2019年提出的SMLD模型和2020年Jonathan Ho提出的DDPM采用SDE进行一统这两大极为相似的生成式模型。殊途同归,基于概率的扩散模型DDPM和基于分数的扩散模型SMLD都是

    2024年02月05日
    浏览(50)
  • 【计算机视觉】小目标检测研究进展:数据集介绍及性能评估(详细讲解)

    在常规目标检测数据集上,现有研究对大/中尺寸的目标已取得了不错的成效。但是,小目标的检测仍然是不尽人意的,一方面是由小目标自身特性所导致的的,另一方面是因为常规目标检测数据集中小目标存在占比少、分布不均匀等问题。接下来本文将按照时间顺序简要介绍

    2024年01月22日
    浏览(40)
  • 《多智能体博弈学习研究进展--罗俊仁,张万鹏》论文笔记

    目录 一、引言 二、多智能体学习简介 2.1多智能体学习系统组成  2.2 多智能体学习概述  2.3 多智能体学习研究方法分类   三、 多智能体博弈学习框架  3.1 多智能体博弈基础模型及元博弈  3.1.1 多智能体博弈基础模型   3.1.2 元博弈模型 3.2 均衡解概念与博弈动力学 3.2.1 均

    2024年02月02日
    浏览(42)
  • 【论文阅读】异构联邦学习综述:最新进展与研究挑战

    这是关于一篇异构联邦学习的综述,希望能从这篇文章对联邦学习有一个大致的了解。作者从一开始就呈现了文章总体的思维导图,非常具有指引效果。 这是论文地址: Heterogeneous Federated Learning: State-of-the-art and Research Challenges 通俗的来说就是: 允许多个设备或数据源在不共

    2024年02月04日
    浏览(46)
  • 大语言模型研究进展综述

           自20世纪50年代 图灵测试 被提出以来,研究人员一直在探索和开发能够理解并掌握语言的人工智能技术。       作为重要的研究方向之一, 语言模型 得到了学术界的广泛研究,从早期的 统计 语言模型和 神经 语言模型开始,发展到基于 Transformer的预训练 语言模型。

    2024年02月05日
    浏览(43)
  • 5G信道建模研究进展与展望

    信道建模就是通过数学的方式来刻画信道特性, 揭示多径的传播机理 ,探索和掌握信道变化的规律、精确模型和容量机理,为移动通信系统设计与技术优化提供基础。 5G信道建模的研究主要有三个方面:理论框架;测量平台与场景;信道特性分析与建模 信道在传播过程中会

    2024年02月06日
    浏览(36)
  • 文献研读|AIGC溯源场景及研究进展

    前言 :本文介绍关于AIGC生成阶段针对不同溯源场景的几篇相关工作。 如下图所示,在AIGC生成阶段,有4种溯源场景: 1)生成模型溯源训练数据 2)微调模型溯源预训练模型 3)AIGC溯源训练数据/训练概念 4)AIGC溯源生成模型 下面分别对不同溯源场景下的相关工作进行介绍。

    2024年04月17日
    浏览(29)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包