1. Toy模板网首页
  2. > Toy博客

在 FPGA 上通过 2D CNN 进行高效视频理解的 TSM 网络

10月前 作者：碎碎思 分类：Toy博客 阅读(34) 违法举报

这篇具有很好参考价值的文章主要介绍了在 FPGA 上通过 2D CNN 进行高效视频理解的 TSM 网络。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

在这个项目中，将在线和离线 TSM 网络部署到 FPGA，通过 2D CNN 执行视频理解任务。

在 FPGA 上通过 2D CNN 进行高效视频理解的 TSM 网络,优秀的 Verilog/FPGA开源项目介绍,fpga开发,cnn,网络,人工智能,神经网络

介绍

在这个项目中，展示了 Temporal-Shift-Module ( https://hanlab.mit.edu/projects/tsm/)在 FPGA 上解决视频理解问题的实用性和性能。

TSM 是一种网络结构，可以通过 2D CNN 有效学习时间关系。在较高级别上，这是通过一次对单个帧（在线 TSM）或多个帧（离线 TSM）执行推理并在这些张量流经网络时在这些张量之间转移激活来完成的。这是通过将shift操作插入 2D 主干网的bottleneck层（在本例中为 mobilenetv2 和 resnet50）来完成的。然后，该shift操作会打乱时间相邻帧之间的部分输入通道。

详细的解析可以看下面的文章：

❝

https://zhuanlan.zhihu.com/p/64525610

❞

将这样的模型部署到 FPGA 可以带来许多好处。首先，由于 TSM 已经在功效方面带来了巨大优势，部署到 FPGA 可以进一步推动这一点。

TSM网络结构

我们将首先回顾这些 TSM 网络的底层结构以及到 DPU 兼容实现的转换。TSM 网络的核心结构是插入骨干模型bottleneck层中的时间shift模块，以实现时间建模。例如，插入shift操作后，TSM Mobilene文章来源地址https://www.toymoban.com/news/detail-682882.html

到了这里，关于在 FPGA 上通过 2D CNN 进行高效视频理解的 TSM 网络的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包