1 引言
常见的求导有，标量对标量求导，向量对标量，矩阵对标量，标量对向量，向量对向量，标量对矩阵。求导的几种形式：
字符标示:
A 大写粗体表示矩阵
a 小写粗体表示向量
a 小写粗体表示标量
tr(X) 表示迹，主对角线之和
det(X) or |X| 表示
字母表前面部分表示常量(如 a,b,c…),字母表后面部分表示变量(如 t,x,y,…)
2 向量的导数
2.1 向量对标量求导 Vector-by-scalar
y 向量为 y = [ y 1 y 2 ⋯ y m ] T {\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}} y=[y1y2⋯ym]T， 对 x 求导，结果为列
∂ y ∂ x = [ ∂ y 1 ∂ x ∂ y 2 ∂ x ⋮ ∂ y m ∂ x ] {\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}} ∂x∂y=⎣⎢⎢⎢⎡∂x∂y1∂x∂y2⋮∂x∂ym⎦⎥⎥⎥⎤
2.2 标量对向量求导 Scalar-by-vector
y 为标量，对向量
x
=
[
x
1
x
2
⋯
x
n
]
T
{\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}
x=[x1x2⋯xn]T 求导，结果为行
2.3 向量对向量求导 Vector-by-vector
输出向量为
y
=
[
y
1
y
2
⋯
y
m
]
T
{\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}
y=[y1y2⋯ym]T，
输入向量为
x
=
[
x
1
x
2
⋯
x
n
]
T
{\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}
x=[x1x2⋯xn]T
神经网络中全连接层的形式就是如此
这种矩阵也称为雅各布矩阵
3 矩阵的导数
3.1 矩阵对标量求导 Matrix-by-scalar
3.2 标量对矩阵求导 Scalar-by-matrix
4 常用求导公式
字符标示:
a, b, c, d, and e 为常量, 标量 u, and v 由 x, x, or X中的一个计算而来;
a, b, c, d, and e 为常量向量, 向量 u, and v 由 x, x, or X中的一个计算而来;
A, B, B, D, and E 为常量矩阵, 向量 U, and V 由 x, x, or X中的一个计算而来;
4.1 向量对向量求导
4.2 标量对向量求导
4.3 向量对标量求导
4.4 标量对矩阵求导
4.5 矩阵对标量求导
4.6 标量对标量求导
文章来源：https://www.toymoban.com/news/detail-409891.html
参考
Matrix calculus文章来源地址https://www.toymoban.com/news/detail-409891.html
到了这里，关于矩阵求导常用公式的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
