CMU DLSys 课程笔记 1 - Introduction and Logistics

这篇具有很好参考价值的文章主要介绍了CMU DLSys 课程笔记 1 - Introduction and Logistics。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

CMU DLSys 课程笔记 1 - Introduction and Logistics

CMU Deep Learning System,教你如何实现一个深度学习系统。

CS 自学指南课程介绍页面 | 课程主页

本节 Slides | 本节课程视频

目前(2024.01.06)课程在线评测账号和课程论坛的注册时间已经结束,只剩下框架代码里的本地测试供大家调试代码。

目录

  • CMU DLSys 课程笔记 1 - Introduction and Logistics
    • 目录
    • 为什么要学习 deep learning?
    • 为什么要学习 dlsys?
    • dlsys 的组成部分
    • 课程教师
    • 学习目标和课程主题
    • 课程前置条件
    • 课程内容

为什么要学习 deep learning?

Deep learning 极大地拓宽了当前 AI 的应用范围,例如计算机视觉、自然语言处理、语音识别等等。
许多现实世界的非常 Amazing 的 deep learning 应用,Alexnet、AlphaGo、StyleGAN、GPT-3、AlphaFold 2、Stable Diffusion 等等。
除了这些非常大型的应用,还有很多小型的项目同样非常有趣,例如 Llama.cpp、Pytorch Image Models 还有许多其他社区驱动的项目和框架。

为什么要学习 dlsys?

每一次易用的 deep learning 框架的出现,都会带来一次新的 deep learning 热度的爆发,例如 TensorFlow、Pytorch、JAX 等等。

CMU DLSys 课程笔记 1 - Introduction and Logistics

三个具体的理由:

  1. 开发 dlsys
  2. 更高效地利用现有系统
  3. dlsys 非常有趣

dlsys 的组成部分

  • 组合多个张量操作以构建现代机器学习模型
  • 通过自动微分来执行一系列操作
  • 通过专用硬件加速计算
  • 扩展更多硬件后端,更多操作符

课程教师

CMU DLSys 课程笔记 1 - Introduction and Logistics

CMU DLSys 课程笔记 1 - Introduction and Logistics

学习目标和课程主题

在本课程结束时,您将会…
… 理解现代深度学习库的基本功能,包括自动微分、基于梯度的优化等概念
… 能够从零开始实现几种标准的深度学习架构(MLP、ConvNets、RNNs、Transformers)
… 理解现代深度学习架构中硬件加速(例如在 GPU 上)的工作原理,并能够开发高效的自己的代码

广泛的主题包括:机器学习复习/背景知识、自动微分、全连接网络、优化、神经网络库、卷积神经网络、硬件和 GPU 加速、序列模型、训练大型模型、Transformers 和注意力机制、生成模型

课程前置条件

学习这门课需要了解的前置知识

  1. 系统编程
  2. 线性代数
  3. 一些其他数学基础:微积分、概率论、基本的证明知识
  4. Python 和 C++ 编程
  5. Machine Learning 的基础知识

课程内容

这门课程将包括四个主要元素

  1. 课堂讲座
  2. 编程作业(个人)
  3. (小组)期末项目
  4. 在课程论坛中的互动/讨论

成绩分配:作业占 55%,项目占 35%,课堂参与占 10%。

目前(2024.01.06)无法进行在线公开注册,无法参与课程论坛,课程作业无法提交到在线评测系统,只能在本地调试代码。

编程作业:
该课程将包括四个基于编程的作业,另外还有一个作业 0,用于回顾/测试您的背景知识。
作业完全基于编码:在作业中,您将逐步开发一个名为 Needle 的类似于 PyTorch 的深度学习库,具有自动微分、基于梯度的模型优化、支持标准运算符(如卷积、循环结构、自注意力)以及(手动编写的)在 CPU 和 GPU 设备上高效的线性代数运算。
作业将使用我们为本课程开发的自定义系统进行自动评分(在下一节课中进行演示和说明)

期末项目:
除了作业外,还将有一个期末项目,由 2-3 名学生组成的小组完成(仅限 2-3 人,不能是 1 人或 4 人组)。
期末项目应涉及在 Needle 中开发一个重要的新功能,或在框架中实现一些新的架构(请注意,您必须在 Needle 中实现,不能使用 PyTorch 或 TensorFlow 等其他框架进行期末项目)。
在期末项目提案/团队组建截止日期之前,我们将发布一系列可能的项目主题/想法。文章来源地址https://www.toymoban.com/news/detail-777056.html

到了这里,关于CMU DLSys 课程笔记 1 - Introduction and Logistics的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • BITCOIN AND CRYPTOCURRENCY TECHNOLOGIES - chapter 1 -Introduction

    In fiat currencies, law enforcement is necessary for stopping people from breaking the rules of the system.Howerver,Cryptocurrencies need to be enforced purely technologically and without relying on a central authority. 传统法定货币(fiat currencies),使用法律手段来确保安全性。但加密货币(cryptocurrencies)采用存粹的技术手段来保

    2023年04月20日
    浏览(28)
  • 教程学习:Introduction to Structure Preparation and Visualization

    0、写在开始: 这个教程介绍如何准备配体和蛋白结构,这是建模工程必要的第一步。 教程的组成: 建立项目和导入结构 准备蛋白质结构 准备配体结构 可视化蛋白质-配体复合物 1、建立项目和导入结构: 分子结构可以是pdb格式。导入的结构可以在Entry List栏目中查看,也可

    2024年02月16日
    浏览(45)
  • [ECE] Introduction to Digital Logic and Systems

    This course gives science and engineering students exposure to the basic concepts and techniques in digital logic and system design. Topics include digital system concepts, numbering systems and codes, Boolean algebra, logic gates and logic circuit elements, logic functions and simplification, logic circuits design, latches and flip-flops, counters, register

    2024年01月16日
    浏览(56)
  • Introduction to Computer Vision and Image Processing wi

    作者:禅与计算机程序设计艺术 OpenCV (Open Source Computer Vision)是一个开源计算机视觉库。在本文中,我们将会介绍OpenCV的一些基本概念、术语、算法原理,并通过实例展示OpenCV库的具体操作,最后总结提出一些扩展阅读建议。 2.相关知识储备要求 1.熟练使用C/C++语言。 2.了解基

    2024年02月07日
    浏览(41)
  • MIT6.S081 - Lecture1: Introduction and Examples

    理解操作系统的设计和实现 通过 XV6 操作系统动手实验,可以扩展或改进操作系统 Abstraction: 对硬件进行抽象 Multiplex: 在多个应用程序之间共用硬件资源 Isolation: 隔离性,程序出现故障时,不同程序之间不能相互干扰 Sharing: 实现共享,如数据交互或协同完成任务 Securi

    2024年04月15日
    浏览(48)
  • 【软件分析/静态分析】学习笔记01——Introduction

    🔗 课程链接:李樾老师和谭天老师的:南京大学《软件分析》课程01(Introduction)_哔哩哔哩_bilibili 目录 一、静态程序分析介绍 1.1 PL and Static Analysis 程序语言和静态分析 1.2 为什么要学 Static Analysis? 1.3 什么是静态分析 ? 1.4 静态分析的特征和例子 1.4.1 sound and complete (no p

    2024年02月06日
    浏览(39)
  • 《Reinforcement Learning: An Introduction》第6章笔记

    If one had to identify one idea as central and novel to reinforcement learning, it would undoubtedly be temporal-difference (TD) learning. 时序差分学习(temporal-difference (TD) learning)组合了Monte Carlo和DP的思想;它像Monte Carlo方法一样不需要环境动态模型,可以直接从经验中学习;它像DP方法一样是自举(boo

    2024年02月10日
    浏览(42)
  • Introduction to modern Cryptography 现代密码学原理与协议第二章笔记

    M表示明文空间,K表示密钥空间,C表示所有可能的密文集合 完善保密加密 的概念: 简化约定,不再特殊声明 ,除数为0无意义 完全保密加密的等价公式: 证明: 必要性证明略,此证明为条件概率的简单应用 完全不可区分性 : 完善保密加密的另一形式:  证明:   敌手不可区分性

    2024年02月03日
    浏览(38)
  • 【现代密码学】笔记6--伪随机对象的理论构造《introduction to modern cryphtography》

    主要在 哈工大密码学课程 张宇老师课件 的基础上学习记录笔记。 内容补充:骆婷老师的PPT 《introduction to modern cryphtography》–Jonathan Katz, Yehuda Lindell(现代密码学——原理与协议)中相关章节 密码学复习笔记 这个博主好有意思 初步笔记,如有错误请指正 快速补充一些密码

    2024年01月16日
    浏览(38)
  • 【现代密码学】笔记 补充7-- CCA安全与认证加密《introduction to modern cryphtography》

    主要在 哈工大密码学课程 张宇老师课件 的基础上学习记录笔记。 内容补充:骆婷老师的PPT 《introduction to modern cryphtography》–Jonathan Katz, Yehuda Lindell(现代密码学——原理与协议)中相关章节 密码学复习笔记 这个博主好有意思 初步笔记,如有错误请指正 快速补充一些密码

    2024年01月17日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包