GitHub - hpcaitech/Open-Sora: Unofficial implementation of OpenAI's Sora
Open-Sora已涵盖：
提供完整的Sora复现架构方案，包含从数据处理到训练推理全流程。
支持动态分辨率，训练时可直接训练任意分辨率的视频，无需进行缩放。
支持多种模型结构。由于Sora实际模型结构未知，我们实现了adaLN-zero、cross attention、in-context conditioning(token concat)等三种常见的多模态模型结构。
支持多种视频压缩方法。用户可自行选择使用原始视频、VQVAE（视频原生的模型）、SD-VAE（图像原生的模型）进行训练。
支持多种并行训练优化。包括结合Colossal-AI的AI大模型系统优化能力，及Ulysses和FastSeq的混合序列并行。文章来源：https://www.toymoban.com/news/detail-838187.html
1、Sora算法复现方案
在Sora的技术报告中，Sora使用了一个视频压缩网络将各种尺寸的视频压缩成一个隐空间(latent space)的时空块序列(a sequence of patial temporal patch文章来源地址https://www.toymoban.com/news/detail-838187.html
到了这里，关于[论文笔记] Open-Sora 1、sora复现方案概览的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
![[ai笔记8] 聊聊openAI最新文生视频产品-Sora](https://imgs.yssmx.com/Uploads/2024/02/828158-1.png)
![[ai笔记9] openAI Sora技术文档引用文献汇总](https://imgs.yssmx.com/Uploads/2024/02/834839-1.png)
