AI算力碎片化:矩阵乘法的启示

这篇具有很好参考价值的文章主要介绍了AI算力碎片化:矩阵乘法的启示。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

AI算力碎片化:矩阵乘法的启示

尽管AI的发展取得了巨大进步,但编译器LLVM之父Chris Lattner认为,AI技术应用并不深入,远远没有发挥出已有机器学习研究的所有潜力。而AI系统和工具的单一化和碎片化正是造成这一问题的根源。

为了让AI发挥其真正的潜力,计算碎片化是需要解决的重点问题之一,目标是让AI软件开发人员能够无缝地充分利用现有硬件和下一代创新硬件。但解决这一问题并不容易,硬件、模型和数据的多样性使得当前市场上的现有解决方案都只是单点性质的,Chris Lattner创立的Modular团队从矩阵算法的角度对此进行了深入分析。

(以下内容由OneFlow编译发布,译文转载请联系OneFlow获得授权。https://www.modular.com/blog/ais-compute-fragmentation-what-matrix-multiplication-teaches-us)

作者|Eric Johnson、Abdul Dakkak、Chad Jarvis

OneFlow编译
翻译|徐佳渝、杨婷

 

1

算力碎片化正在阻碍AI的发展

AI由数据、算法(即模型)和算力驱动,三者之间形成了良性循环。其中任意一方的发展会推动其他方面需求的增长,从而严重影响开发者在可用性和性能等方面的体验。如今,我们拥有更多的数据,做了更多的AI模型研究,但算力的扩展速度却没有跟上,这主要是由于物理限制。

如果你一直在关注AI和硬件的发展,可能听说过摩尔定律时代即将结束。过去60年,单核处理器每18个月翻一倍性能提升速度的情况已然改变。除了继续制造越来越小的晶体管的物理限制之外(例如,电流泄漏会导致功耗过高,从而引起发热),性能也越来越多地受到内存延迟的限制,而这种限制的增长速度比处理速度要缓慢得多。

AI算力碎片化:矩阵乘法的启示

Hennessy和Patterson的图灵演讲:不同时期CPU处理器性能提升的分析(性能提升的速度保持稳定))

然而,随着模型不断扩大,在边缘计算中创建和处理的企业数据更多,对AI计算的需求也在不断增加。因此,尽可能地利用硬件设备的性能已成为业界的关注焦点。

AI算力碎片化:矩阵乘法的启示

 (‍机器学习三个时代的算力走向(https://arxiv.org/pdf/2202.05924.pdf),Sevilla:计算需求随时间呈对数方式变化的分析。其中,2010年左文章来源地址https://www.toymoban.com/news/detail-448919.html

到了这里,关于AI算力碎片化:矩阵乘法的启示的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【矩阵乘法】C++实现外部矩阵乘法

    ​ 使用文件和内存模拟系统缓存,并利用矩阵乘法验证实际和理论情况。 设计一个 Matrix 类,其中 Matrix 是存在磁盘中的一个二进制文件,类通过保存的矩阵属性来读取磁盘。前八个字节为两个 int32 ,保存矩阵的行列数。 Matrix中有一个 buffer 成员为读取到的数据缓存,通过

    2024年02月11日
    浏览(37)
  • python矩阵乘法全面解读,python矩阵乘法常用代码

      矩阵乘法,顾名思义是矩阵的乘法,矩阵相乘的含义是两个向量的积,在 Python中一般以乘号或括号表示。与常用的加、减、乘、除运算不同,矩阵乘法只能用于对给定矩阵进行乘法运算,不能进行除法运算。若要计算矩阵乘法的值,必须先进行矩阵分解。 在上一篇文章中

    2024年02月08日
    浏览(38)
  • 算力提升+AIGC,是驱动元宇宙发展的核心引擎|数据猿直播干货分享

    ‍数据智能产业创新服务媒体 ——聚焦数智 · 改变商业 “元宇宙”是美国科幻小说家尼奥·斯蒂文森1992年在《雪崩》中提出的概念,书中设定现实世界中的人在网络世界中都有一个分身,这个由分身组成的世界就是“元宇宙”。如今,随着虚拟现实技术的发展,元宇宙从科

    2024年02月10日
    浏览(44)
  • 云卷云舒:算力网络+云原生(下):云数据库发展的新篇章

    云卷云舒:算力网络+云原生(中):探索构建算力网络数据库_云卷云舒 csdn-CSDN博客 云原生数据库发展的的未来方向:“四化” 一、整体趋势 四化,即 “云原生化、平台化、一体化和智能化 ”。必须基于云的能力和生态,去构建数据库的平台化能力,促进软硬协同体系,

    2024年02月03日
    浏览(36)
  • Stable Diffusion 30分钟打造AI 写真照片生成器|海马体照相馆这次真的要木得了

    这次,海马体照相馆可能真的要木得了!! 前有妙鸭相机这种付费傻瓜式的 AI 写真程序,后有 Stable Diffusion 定制属于自己的 Lora 模型的围攻。 但今天要分享的确实一个叫 EasyPhoto 的 AI 写真照片生成器! 免费,使用起来却非常简单。 EasyPhoto 是一款 Stable diffusion 插件,用于生

    2024年02月21日
    浏览(81)
  • 矩阵乘法(矩阵乘矩阵)

    首先理了解矩阵是什么: 矩阵是一个按照长方阵列排列的复数或实数集合。(相信大家都懂) 关于矩阵的基本概念: 1.方阵:n 阶方阵 (正方形嘛) 2.同型矩阵:两个矩阵,行数与列数对应相同,称为同型矩阵 矩阵加减法: 在了解矩阵乘法前先看看矩阵加减法: 1.两个矩阵

    2024年02月08日
    浏览(52)
  • 探索AIGC未来:CPU源码优化、多GPU编程与中国算力瓶颈与发展

    ★人工智能;大数据技术;AIGC;Turbo;DALL·E 3;多模态大模型;MLLM;LLM;Agent;Llama2;国产GPU芯片;GPU;CPU;高性能计算机;边缘计算;大模型显存占用;5G;深度学习;A100;H100;A800;H800;L40s;Intel;英伟达;算力 近年来,AIGC的技术取得了长足的进步,其中最为重要的技术之一是

    2024年02月03日
    浏览(54)
  • 矩阵算法之矩阵乘法

    矩阵算法在图像处理、神经网络、模式识别等领域有着广泛的用途。 在矩阵乘法中,A矩阵和B矩阵可以做乘法运算必须满足A矩阵的列的数量等于B矩阵的行的数量。 运算规则:A的每一行中的数字对应乘以B的每一列的数字把结果相加起来。 1、当矩阵A的列数(column)等于矩阵

    2024年02月11日
    浏览(38)
  • 【线性代数】从矩阵分块的角度理解矩阵乘法

    概念: 例: 1. 分块矩阵计算的数学步骤 使用Numpy计算例1 按列分块 按行分块 分块后的计算公式 矩阵分块法提供了行数和列数较多的矩阵相乘的一种计算方法,以此来简化矩阵相乘的运算次数; 按行列分块将矩阵A分为n个列向量和m个行向量,利用矩阵乘法的定义,殊途同归

    2024年02月13日
    浏览(61)
  • 矩阵乘法优化:4x4矩阵块优化方法

    MMult_4x4_3.h 一次计算C中的4x4小块 0.24gflops 2.1% 1 MMult_4x4_4.h 一次计算C中的4x4小块 0.24gflops 2.1% 1 MMult_4x4_5.h 一次计算C中的4x4小块,将16个循环合并一个 0.25gflops 2.2% 1 MMult_4x4_6.h 一次计算C中的4x4小块(我们在寄存器中累加C的元素,并对a的元素使用寄存器) 1.75gflops 16.0% 1 MMult_4x4_7.h 在

    2024年02月15日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包