出发点：“通过绝对位置编码的方式实现相对位置编码”
操作步骤
1.假设一个函数f（）通过他能让q，k带上绝对位置信息
对q,k进行操作（f（））使得他们带上位置m,n的绝对位置信息，
通过内积后，希望结果带上相对位置信息，因此假设存在下列恒等关系
2.根据以上的恒等式求出f（）
假设f(q,0)=q 和f(k,0)=k
先求出在二维情景下的情况，在推广到高纬度
借助复数来求解。在复数中有⟨q,k⟩=Re[qk∗]，Re[] 代表复数的实部，所以我们有
简单起见，我们假设存在复数g(q,k,m−n)，使得f(q,m)f∗(k,n)=g(q,k,m−n)，然后我们用复数的指数形式，设
那么代入方程后就得到方程组
推广到高维
另一种理解方法
文章来源：https://www.toymoban.com/news/detail-515554.html
文章来源地址https://www.toymoban.com/news/detail-515554.html
到了这里，关于RoPE（旋转式位置编码）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
