Bi-Level Routing Attention
为了缓解多头自注意力(Multi-Head Self-Attention, MHSA)的可扩展性问题，先前的一些方法提出了不同的稀疏注意力机制，其中每个查询只关注少量的键值对，而非全部。然而，这些方法有两个共性问题：
- 要么使用手工制作的静态模式（无法自适应）；
- 要么在所有查询中共享键值对的采样子集（无法做到互不干扰）；
为此，作者探索了一种动态的、查询感知的稀疏注意力机制，其关键思想是在粗糙区域级别过滤掉大部分不相关的键值对，以便只保留一小部分路由区域（这不就把冗余的信息干掉了吗老铁们）。其次，作者在这些路由区域的联合中应用细粒度的token-to-token注意力。
文章来源：https://www.toymoban.com/news/detail-481980.html
本文以yolov7-tiny.yaml为基础网络结构进行修改文章来源地址https://www.toymoban.com/news/detail-481980.html
到了这里，关于YOLOv7改进：在不同位置添加biformer的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
![[YOLOv7/YOLOv5系列算法改进NO.4]添加ECA通道注意力机制](https://imgs.yssmx.com/Uploads/2024/02/449324-1.png)
