【AI】数学基础——高数(函数&微分部分)

这篇具有很好参考价值的文章主要介绍了【AI】数学基础——高数(函数&微分部分)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

参考:https://www.bilibili.com/video/BV1mM411r7ko?p=1&vd_source=260d5bbbf395fd4a9b3e978c7abde437

唐宇迪:机器学习数学基础

高数(积分部分)

1.1 函数

表示量与量之间的关系: A = π r 2 A=\pi r^2 A=πr2

一组输入输出关系:一组输入唯一对应一组输出

y = f ( x ) { x : 自变量 y 0 = y ∣ x = x 0 = f ( x 0 ) y=f(x)\left\{ \begin{aligned} &x:自变量\\ &y_0=y\vert_{x=x_0}=f(x_0) \end{aligned} \right. y=f(x){x:自变量y0=yx=x0=f(x0)

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

1.1.1 函数分类

输入是否与时间有关

  • 是:动态函数
  • 否:静态函数

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

输入是否为标量

  • 是:一元函数
  • 否:多元函数

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

1.1.2 常见函数

指/对数函数

f ( x ) = e x f(x)=e^x f(x)=ex

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

f ( x ) = l o g ( x ) f(x)=log(x) f(x)=log(x)

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

分段函数

f ( x ) = { x , x ≥ 0 − x , x < 0 f(x)=\left\{ \begin{aligned} &\sqrt{x}&,x\ge0\\ &-\sqrt{x}&,x<0 \end{aligned} \right. f(x)={x x ,x0,x<0

原函数&反函数

原函数 h = h ( t ) h=h(t) h=h(t) h = 1 2 g t 2 h=\frac{1}{2}gt^2 h=21gt2

反函数 t = t ( h ) t=t(h) t=t(h) t = 2 h g / t = − 2 h g ( 需要附加条件,才能确定具体反函数 ) t=\sqrt{\frac{2h}{g}}\quad/\quad t=-\sqrt{\frac{2h}{g}}(需要附加条件,才能确定具体反函数) t=g2h /t=g2h (需要附加条件,才能确定具体反函数)

sigmod函数

s ( x ) = 1 1 + e − x = e x e x + 1 , x ∈ ( − ∞ , + ∞ ) , y ∈ ( 0 , 1 ) s(x)=\frac{1}{1+e^{-x}}=\frac{e^x}{e^x+1},x\in (-\infty,+\infty),y\in (0,1) s(x)=1+ex1=ex+1exx(,+),y(0,1)

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

Relu函数(非负函数)

f ( x ) = x + = m a x { 0 , x } f(x)=x^+=max\{0,x\} f(x)=x+=max{0,x}

  • 无梯度消失问题

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

复合函数

( g ∘ f ) ( x ) (g\circ f)(x) (gf)(x) 表示 g ( f ( x ) ) g(f(x)) g(f(x)) ——通道

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

向量到张量

a ⃗ = ( σ 1 σ 2 σ 3 ) , b ⃗ = ( σ 1 ′ , σ 2 ′ , σ 3 ′ ) \vec{a}=\left(\begin{aligned}\sigma_1\\\sigma_2\\\sigma_3\end{aligned}\right),\vec{b}=\left(\sigma_1',\sigma_2',\sigma_3'\right) a = σ1σ2σ3 ,b =(σ1,σ2,σ3)

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

张量:
σ = a ⃗ ⊗ b ⃗ = ( σ 1 1 ′ σ 1 2 ′ σ 1 3 ′ σ 2 1 ′ σ 2 2 ′ σ 2 3 ′ σ 3 1 ′ σ 3 2 ′ σ 3 3 ′ ) \sigma=\vec{a}\otimes \vec{b}=\left( \begin{matrix} \sigma_{11'}&\sigma_{12'}&\sigma_{13'}\\ \sigma_{21'}&\sigma_{22'}&\sigma_{23'}\\ \sigma_{31'}&\sigma_{32'}&\sigma_{33'} \end{matrix} \right) σ=a b = σ11σ21σ31σ12σ22σ32σ13σ23σ33

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

1.1.3 性质

奇偶性

  • 关于y轴对称, f ( x ) = f ( − x ) f(x)=f(-x) f(x)=f(x) ,偶函数
  • 关于原点对称, f ( − x ) = − f ( x ) f(-x)=-f(x) f(x)=f(x),奇函数

周期性

f ( x + T ) = f ( x ) f(x+T)=f(x) f(x+T)=f(x)

单调性

1.2 极限

1.2.1 数列极限

a n a_n an 同项

  • 等差数列: a n = a 1 + ( n − 1 ) q a_n=a_1+(n-1)q an=a1+(n1)q S n = n a 1 + n ( n − 1 ) q 2 S_n=na_1+\frac{n(n-1)q}{2} Sn=na1+2n(n1)q

  • 等比数列: a n = a 1 q a_n=a_1q an=a1q S n = a 1 − a n q 1 − q = a 1 ( 1 − q n ) 1 − q S_n=\frac{a_1-a_nq}{1-q}=\frac{a_1(1-q^n)}{1-q} Sn=1qa1anq=1qa1(1qn)

数列的收敛表示为:

lim ⁡ n → ∞ a n = A 或 a n → A ( n → ∞ ) \lim_{n\rightarrow \infty} a_{n}=A 或 a_n \rightarrow A(n \rightarrow \infty) nliman=AanA(n)

eg:

lim ⁡ n → ∞ 1 3 n = 0 \lim_{n\rightarrow \infty} \frac{1}{3^n}=0 limn3n1=0 , lim ⁡ n → ∞ = n n + 1 = 1 \lim_{n\rightarrow \infty}=\frac{n}{n+1}=1 limn=n+1n=1

lim ⁡ n → ∞ 2 n = ∞ \lim_{n\rightarrow \infty}2^n=\infty limn2n= 发散

1.2.2 函数极限

lim ⁡ x → + ∞ e − x = 0 \lim_{x\rightarrow +\infty}e^{-x}=0 limx+ex=0

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

lim ⁡ x → + ∞ 1 x = 0 \lim_{x\rightarrow +\infty}\frac{1}{x}=0 limx+x1=0

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

lim ⁡ x → + ∞ a r c t a n x = π 2 \lim_{x\rightarrow +\infty}arctanx=\frac{\pi}{2} limx+arctanx=2π

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

极限定义

左右极限

函数在左半邻域 ( x 0 − σ , x 0 ) (x_0-\sigma,x_0) (x0σ,x0),右半邻域 ( x 0 , x 0 + σ ) (x_0,x_0+\sigma) (x0,x0+σ) 有定义

左极限: lim ⁡ x → x 0 − f ( x ) = A \lim_{x\rightarrow x_0^-}f(x)=A limxx0f(x)=A / f ( x ) → A ( x → x 0 − ) f(x)\rightarrow A(x\rightarrow x_0^-) f(x)A(xx0) / f ( x − x 0 ) = A f(x-x_0)=A f(xx0)=A

右极限: lim ⁡ x → x 0 + f ( x ) = A \lim_{x\rightarrow x_0^+}f(x)=A limxx0+f(x)=A / f ( x ) → A ( x → x 0 + ) f(x)\rightarrow A(x\rightarrow x_0^+) f(x)A(xx0+) / f ( x + x 0 ) = A f(x+x_0)=A f(x+x0)=A

极限

函数在 x 0 x_0 x0 的邻域内有定义,且左极限=右极限 lim ⁡ x → x 0 f ( x ) = A \lim_{x\rightarrow x_0}f(x)=A limxx0f(x)=A f ( x ) → A ( x → x 0 ) f(x)\rightarrow A(x\rightarrow x_0) f(x)A(xx0)

充要条件: lim ⁡ x → x 0 − f ( x ) = lim ⁡ x → x 0 + f ( x ) = A \lim_{x\rightarrow x_0^-}f(x)=\lim_{x\rightarrow x_0^+}f(x)=A limxx0f(x)=limxx0+f(x)=A

eg:
f ( x ) = { x − 1 , x < 0 0 , x = 0 x + 1 , x > 0 f(x)=\left\{ \begin{aligned} &x-1&,x<0\\ &0&,x=0\\ &x+1&,x>0 \end{aligned} \right. f(x)= x10x+1,x<0,x=0,x>0
由于 lim ⁡ x → 0 − f ( x ) = − 1 ≠ lim ⁡ x → 0 + f ( x ) = 1 \lim_{x\rightarrow 0^-}f(x)=-1\neq \lim_{x\rightarrow 0^+}f(x)=1 limx0f(x)=1=limx0+f(x)=1 ,故 lim ⁡ x → 0 f ( x ) \lim_{x\rightarrow 0}f(x) limx0f(x) 不存在

1.2.3 无穷大

表示无限增大,没有上界(收敛点)

无穷大与无穷小关系:在x的同一变换过程中, f ( x ) = ∞ ⇒ 1 f ( x ) = 0 f(x)=\infty\Rightarrow \frac{1}{f(x)}=0 f(x)=f(x)1=0

1.2.4 无穷小

以零为极限( x → a x\rightarrow a xa 时, lim ⁡ x → a f ( x ) = 0 \lim_{x\rightarrow a}f(x)=0 limxaf(x)=0

性质

  • 有限个无穷小的和、积是无穷小

    无穷小个无穷小未必是无穷小

    • lim ⁡ n → ∞ 1 n 2 + 2 n 2 + ⋯ + n n 2 = lim ⁡ n → ∞ n ( n + 1 ) 2 n 2 = 1 2 \lim_{n\rightarrow \infty}\frac{1}{n^2}+\frac{2}{n^2}+\cdots+\frac{n}{n^2}=\lim_{n\rightarrow \infty}\frac{\frac{n(n+1)}{2}}{n^2}=\frac{1}{2} limnn21+n22++n2n=limnn22n(n+1)=21
  • 有界变量x无穷小    ⟺    \iff 无穷小

  • 无穷小的商未必无穷小

    lim ⁡ x → 0 x 2 x = 1 2 \lim_{x\rightarrow 0}\frac{x}{2x}=\frac{1}{2} limx02xx=21 lim ⁡ x → 0 2 x x 2 = ∞ \lim_{x\rightarrow 0}\frac{2x}{x^2}=\infty limx0x22x=

  • 极限有无穷小的充要条件: lim ⁡ x → x 0 f ( x ) = A    ⟺    A + α ( x ) \lim_{x\rightarrow x_0}f(x)=A\iff A+\alpha(x) limxx0f(x)=AA+α(x) α ( x ) \alpha(x) α(x) x → x 0 x\rightarrow x_0 xx0 时的无穷小

无穷小比较

α ( x ) , β ( x ) \alpha(x),\beta(x) α(x),β(x) 为无穷小

  • lim ⁡ x → x 0 β ( x ) α ( x ) = 0 , β ( x ) 为 α ( x ) 的高阶无穷小 \lim_{x\rightarrow x_0}\frac{\beta(x)}{\alpha(x)}=0,\beta(x)为\alpha(x)的高阶无穷小 limxx0α(x)β(x)=0,β(x)α(x)的高阶无穷小
  • lim ⁡ x → x 0 β ( x ) α ( x ) = ∞ , β ( x ) 为 α ( x ) 的低阶无穷小 \lim_{x\rightarrow x_0}\frac{\beta(x)}{\alpha(x)}=\infty,\beta(x)为\alpha(x)的低阶无穷小 limxx0α(x)β(x)=,β(x)α(x)的低阶无穷小
  • lim ⁡ x → x 0 β ( x ) α ( x ) = C ≠ 0 , β ( x ) 与 α ( x ) 为同阶无穷小 \lim_{x\rightarrow x_0} \frac{\beta(x)}{\alpha(x)}=C\neq 0,\beta(x)与\alpha(x)为同阶无穷小 limxx0α(x)β(x)=C=0,β(x)α(x)为同阶无穷小

1.2.5 连续性

f ( x ) f(x) f(x) 在x的邻域内有定义,当 Δ x → 0 \Delta x\rightarrow0 Δx0 ,有 Δ y → 0 \Delta y\rightarrow 0 Δy0,则 f ( x ) f(x) f(x) x 0 x_0 x0 处连续, lim ⁡ Δ x → 0 Δ y = lim ⁡ Δ x → 0 ( f ( x + Δ x ) − f ( x ) ) = 0 \lim_{\Delta x\rightarrow 0}\Delta y=\lim_{\Delta x\rightarrow0}(f(x+\Delta x)-f(x))=0 limΔx0Δy=limΔx0(f(x+Δx)f(x))=0

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

函数 f ( x ) f(x) f(x) x 0 x_0 x0 处连续,三个条件都满足 :

  • x 0 x_0 x0 处有定义
  • lim ⁡ x → x 0 f ( x ) \lim_{x\rightarrow x_0}f(x) limxx0f(x) 存在
  • lim ⁡ x → x 0 f ( x ) = f ( x 0 ) \lim_{x\rightarrow x_0}f(x)=f(x_0) limxx0f(x)=f(x0) 极限=函数值

1.2.6 间断点

f ( x ) f(x) f(x) x = x 0 x=x_0 x=x0 处不连续,则 x 0 x_0 x0 处为 f ( x ) f(x) f(x) 的间断点,以下条件满足一个即为间断点

  • f ( x ) f(x) f(x) x 0 x_0 x0 处无定义
  • lim ⁡ x → x 0 f ( x ) \lim_{x\rightarrow x_0}f(x) limxx0f(x) 不存在
  • lim ⁡ x → x 0 f ( x ) ≠ f ( x 0 ) \lim_{x\rightarrow x_0}f(x)\neq f(x_0) limxx0f(x)=f(x0)

分类

第一类间断点: x → x 0 x\rightarrow x_0 xx0 时, f ( x ) f(x) f(x) 左右极限都存在

  • 跳跃间断点: f ( x 0 − 0 ) f(x_0-0) f(x00) f ( x 0 + 0 ) f(x_0+0) f(x0+0) 都存在但不相同
  • 可去间断点: lim ⁡ x → x 0 f ( x ) \lim_{x\rightarrow x_0}f(x) limxx0f(x) 存在但 ≠ f ( x 0 ) \neq f(x_0) =f(x0)

第二类间断点:至少一侧极限不存在

eg:

f ( x ) = x 2 − 1 x 2 − 3 x + 2 f(x)=\frac{x^2-1}{x^2-3x+2} f(x)=x23x+2x21 ,在 x = 1 , 2 x=1,2 x=1,2 处无定义,故不连续

lim ⁡ x → 1 + f ( x ) = lim ⁡ x → 1 + x + 1 x − 2 = − 2 \lim_{x\rightarrow 1^+}f(x)=\lim_{x\rightarrow 1^+}\frac{x+1}{x-2}=-2 limx1+f(x)=limx1+x2x+1=2 lim ⁡ x → 1 − f ( x ) = lim ⁡ x → 1 − x + 1 x − 2 = − 2 \lim_{x\rightarrow 1^-}f(x)=\lim_{x\rightarrow 1^-}\frac{x+1}{x-2}=-2 limx1f(x)=limx1x2x+1=2 ,所以 x = 1 x=1 x=1 为可去间断点

lim ⁡ x → 2 − f ( x ) = lim ⁡ x → 2 − x + 1 x − 2 = − ∞ \lim_{x\rightarrow 2^-}f(x)=\lim_{x\rightarrow 2^-}\frac{x+1}{x-2}=-\infty limx2f(x)=limx2x2x+1= lim ⁡ x → 2 + f ( x ) = lim ⁡ x → 2 + x + 1 x − 2 = + ∞ \lim_{x\rightarrow 2^+}f(x)=\lim_{x\rightarrow 2^+}\frac{x+1}{x-2}=+\infty limx2+f(x)=limx2+x2x+1=+ ,所以 x = 2 x=2 x=2 为第二类间断点

1.3 导数

表示平均变化率的极限 , lim ⁡ Δ x → 0 Δ y Δ x = lim ⁡ Δ x → 0 f ( x 0 + Δ x ) − f ( x 0 ) Δ x \lim_{\Delta x\rightarrow 0}\frac{\Delta y}{\Delta x}=\lim_{\Delta x\rightarrow 0}\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x} limΔx0ΔxΔy=limΔx0Δxf(x0+Δx)f(x0) ,记为 f ′ ( x ) f'(x) f(x)

1.3.1 运算律

( u ± v ) ′ = u ′ ± v ′ (u\pm v)'=u'\pm v' (u±v)=u±v

( u v ) ′ = u ′ v − u v ′ v 2 ( v ≠ 0 ) (\frac{u}{v})'=\frac{u'v-uv'}{v^2}(v\neq 0) (vu)=v2uvuv(v=0)

( u v ) ′ = u ′ v + u v ′ (uv)'=u'v+uv' (uv)=uv+uv

( c u ) ′ = c u ′ (cu)'=cu' (cu)=cu

( c v ) ′ = − c v ′ v 2 (\frac{c}{v})'=-\frac{cv'}{v^2} (vc)=v2cv

1.3.2 导数的几何意义

lim ⁡ Δ x → 0 Δ y Δ x \lim_{\Delta x\rightarrow 0}\frac{\Delta y}{\Delta x} limΔx0ΔxΔy

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

1.3.3 可微

y = f ( x ) y=f(x) y=f(x) x 0 x_0 x0 的某邻域内有定义, x + Δ x ∈ ( x 0 − σ , x 0 + σ ) x+\Delta x\in (x_0-\sigma,x_0+\sigma) x+Δx(x0σ,x0+σ) ,若 Δ y = f ( x 0 + Δ x ) − f ( x 0 ) \Delta y=f(x_0+\Delta x)-f(x_0) Δy=f(x0+Δx)f(x0) 可表示为 Δ y = A Δ x + o ( x ) \Delta y=A\Delta x+o(x) Δy=AΔx+o(x) ,则称 y = f ( x ) y=f(x) y=f(x) x 0 x_0 x0 处可微,记为 d y = A Δ x dy=A\Delta x dy=AΔx

几何意义:

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

  • dy:切线上纵坐标的增量

y = f ( x ) y=f(x) y=f(x) 可微,则有 Δ y − d y = o ( Δ x ) \Delta y-dy=o(\Delta x) Δydy=o(Δx)

1.3.4 二元函数的导数

一元函数的导数: y = f ( x ) y=f(x) y=f(x) y ′ ( x ) = f ′ ( x ) y'(x)=f'(x) y(x)=f(x) ,只随一个变量x变化

二元函数导数: z = f ( x , y ) z=f(x,y) z=f(x,y) z = { 随 x 变 随 y 变 随 x , y 变 z=\left\{\begin{aligned}&随x变\\&随y变\\&随x,y变\end{aligned}\right. z= xyx,y

偏导(随一个变量变)

z = f ( x , y ) z=f(x,y) z=f(x,y) ( x 0 , y 0 ) (x_0,y_0) (x0,y0) 的某个邻域内有定义, y = y 0 y=y_0 y=y0 时, f ( x , y 0 ) f(x,y_0) f(x,y0) x = x 0 x=x_0 x=x0 处可导,即 lim ⁡ Δ x → x 0 f ( x 0 + Δ x , y 0 ) − f ( x 0 , y 0 ) Δ x = A \lim_{\Delta x\rightarrow x_0}\frac{f(x_0+\Delta x,y_0)-f(x_0,y_0)}{\Delta x}=A limΔxx0Δxf(x0+Δx,y0)f(x0,y0)=A ,则 z = f ( x , y ) z=f(x,y) z=f(x,y) ( x 0 , y 0 ) (x_0,y_0) (x0,y0) 处关于 x x x 的偏导为 A A A 。记为 f x ( x 0 , y 0 ) f_x(x_0,y_0) fx(x0,y0) ∂ z ∂ x ∣ y = y 0 , x = x 0 \frac{\partial z}{\partial x}\vert_{y=y_0,x=x_0} xzy=y0,x=x0

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

∂ u ∂ x ∣ x = x 0 \frac{\partial u}{\partial x}\vert_{x=x_0} xux=x0几何意义

曲线 Γ : { z = f ( x , y ) x = x 0 \Gamma:\left\{\begin{aligned}&z=f(x,y)\\&x=x_0\end{aligned}\right. Γ:{z=f(x,y)x=x0 x = x 0 x=x_0 x=x0 处的切线:

  • Γ \Gamma Γ :平面 Π \Pi Π( x = x 0 x=x_0 x=x0)与 z = f ( x , y ) z=f(x,y) z=f(x,y) 交线为 Γ \Gamma Γ

y y y 的不同取值,斜率有不同取值

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数
【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

eg

f ( x , y ) = x 2 + 3 x y + y 2 f(x,y)=x^2+3xy+y^2 f(x,y)=x2+3xy+y2 ,在 ( 1 , 2 ) (1,2) (1,2) 处偏导, f x = 2 x + 3 y f_x=2x+3y fx=2x+3y f y = 3 x + 2 y f_y=3x+2y fy=3x+2y f x ( 1 , 2 ) = 8 f_x(1,2)=8 fx(1,2)=8

y ( x ) ∣ y = 2 = f ( x , 2 ) = x 2 + 6 x + 2 , y ′ ( x ) = 2 x + 6 , y ′ ( 1 ) = 8 y(x)\vert_{y=2}=f(x,2)=x^2+6x+2,y'(x)=2x+6,y'(1)=8 y(x)y=2=f(x,2)=x2+6x+2,y(x)=2x+6,y(1)=8

方向导(沿方向向量)

方向

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

u = f ( x , y , z ) u=f(x,y,z) u=f(x,y,z) D ∈ R 3 D\in R^3 DR3 内有定义, R 3 R^3 R3 内有一个确定点 P 0 ( x 0 , y 0 , z 0 ) P_0(x_0,y_0,z_0) P0(x0,y0,z0) 和一个动点 P ( x , y , z ) P(x,y,z) P(x,y,z) 确定方向向量 l ⃗ = ( a , b , c ) ⇒ 单位化 l 0 ⃗ = ( a a 2 + b 2 + c 2 , b a 2 + b 2 + c 2 , c a 2 + b 2 + c 2 ) = ( c o s α , c o s β , c o s γ ) \vec{l}=(a,b,c)\xRightarrow{单位化}\vec{l^0}=\left(\frac{a}{\sqrt{a^2+b^2+c^2}},\frac{b}{\sqrt{a^2+b^2+c^2}},\frac{c}{\sqrt{a^2+b^2+c^2}}\right)=(cos\alpha,cos\beta,cos\gamma) l =(a,b,c)单位化 l0 =(a2+b2+c2 a,a2+b2+c2 b,a2+b2+c2 c)=(cosα,cosβ,cosγ)

方向向量 l ⃗ = P 0 P ⃗ = ( x − x 0 , y − y 0 , z − z 0 ) \vec{l}=\vec{P_0P}=(x-x_0,y-y_0,z-z_0) l =P0P =(xx0,yy0,zz0) ,模长 ∣ l ⃗ ∣ = ∣ P 0 P ∣ = Δ x 2 , Δ y 2 , Δ z 2 = t \vert \vec{l}\vert=\vert P_0P\vert=\sqrt{\Delta x^2,\Delta y^2,\Delta z^2}=t l =P0P=Δx2,Δy2,Δz2 =t

方向余弦

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

{ c o s α = Δ x t = x − x 0 ( x − x 0 ) 2 + ( y − y 0 ) 2 + ( z − z 0 ) 2 c o s β = Δ y t = y − y 0 ( x − x 0 ) 2 + ( y − y 0 ) 2 + ( z − z 0 ) 2 c o s γ = Δ z t = z − z 0 ( x − x 0 ) 2 + ( y − y 0 ) 2 + ( z − z 0 ) 2 \left\{ \begin{aligned} &cos\alpha=\frac{\Delta x}{t}=\frac{x-x_0}{\sqrt{(x-x_0)^2+(y-y_0)^2+(z-z_0)^2}}\\ &cos\beta=\frac{\Delta y}{t}=\frac{y-y_0}{\sqrt{(x-x_0)^2+(y-y_0)^2+(z-z_0)^2}}\\ &cos\gamma=\frac{\Delta z}{t}=\frac{z-z_0}{\sqrt{(x-x_0)^2+(y-y_0)^2+(z-z_0)^2}} \end{aligned} \right. cosα=tΔx=(xx0)2+(yy0)2+(zz0)2 xx0cosβ=tΔy=(xx0)2+(yy0)2+(zz0)2 yy0cosγ=tΔz=(xx0)2+(yy0)2+(zz0)2 zz0
方向导

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

lim ⁡ Δ 自变量 → 0 = Δ 因变量 Δ 自变量 \lim_{\Delta 自变量\rightarrow 0}=\frac{\Delta 因变量}{\Delta 自变量} limΔ自变量0=Δ自变量Δ因变量

lim ⁡ Δ l → 0 f ( x 0 + Δ l c o s α , y 0 + Δ l c o s β , z 0 + Δ l c o s γ ) − f ( x 0 , y 0 , z 0 ) Δ l \lim_{\Delta l\rightarrow 0}\frac{f(x_0+\Delta lcos\alpha,y_0+\Delta lcos\beta,z_0+\Delta lcos\gamma)-f(x_0,y_0,z_0)}{\Delta l} limΔl0Δlf(x0+Δlcosα,y0+Δlcosβ,z0+Δlcosγ)f(x0,y0,z0) 存在,则称其为 u = f ( x , y , z ) u=f(x,y,z) u=f(x,y,z) P ( x 0 , y 0 , z 0 ) P(x_0,y_0,z_0) P(x0,y0,z0) 沿 e l ⃗ \vec{e_l} el 方向的方向导数,记为 ∂ u ∂ l ∣ P 0 \frac{\partial u}{\partial l}\vert_{P_0} luP0 ∂ f ∂ l ∣ P 0 \frac{\partial f}{\partial l}\vert_{P_0} lfP0

方向导几何意义

曲线 Γ \Gamma Γ P ( x 0 , y 0 ) P(x_0,y_0) P(x0,y0) 处切线

  • Γ \Gamma Γ :过方向向量 e l ⃗ = ( x − x 0 ( x − x 0 ) 2 + ( y − y 0 ) 2 , y − y 0 ( x − x 0 ) 2 + ( y − y 0 ) 2 ) \vec{e_l}=\left(\frac{x-x_0}{\sqrt{(x-x_0)^2+(y-y_0)^2}},\frac{y-y_0}{\sqrt{(x-x_0)^2+(y-y_0)^2}}\right) el =((xx0)2+(yy0)2 xx0,(xx0)2+(yy0)2 yy0) x o y xoy xoy 面的垂面 Π \Pi Π u = f ( x , y , z ) u=f(x,y,z) u=f(x,y,z) 有交线 Γ \Gamma Γ

    【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

P ( x , y ) P(x,y) P(x,y) 沿 e l ⃗ \vec{e_l} el 变化,对应不同的坐标点 P,方向导为 z = f ( x , y ) z=f(x,y) z=f(x,y) P 0 P_0 P0 点切线

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

特殊方向导

沿 x x x 轴方向 e l ⃗ = ( 1 , 0 ) \vec{e_l}=(1,0) el =(1,0) ∂ f ∂ l = lim ⁡ Δ l → 0 f ( x 0 + Δ x , y 0 ) − f ( x 0 , y 0 ) Δ x 2 = f x ( x 0 , y 0 ) \frac{\partial f}{\partial l}=\lim_{\Delta l\rightarrow 0}\frac{f(x_0+\Delta x,y_0)-f(x_0,y_0)}{\sqrt{\Delta x^2}}=f_x(x_0,y_0) lf=limΔl0Δx2 f(x0+Δx,y0)f(x0,y0)=fx(x0,y0)

沿 y y y 轴方向 e l ⃗ = ( 0 , 1 ) \vec{e_l}=(0,1) el =(0,1) ∂ f ∂ l = lim ⁡ Δ l → 0 f ( x 0 , y 0 + Δ y ) − f ( x 0 , y 0 ) Δ y 2 = f y ( x 0 , y 0 ) \frac{\partial f}{\partial l}=\lim_{\Delta l\rightarrow 0}\frac{f(x_0,y_0+\Delta y)-f(x_0,y_0)}{\sqrt{\Delta y^2}}=f_y(x_0,y_0) lf=limΔl0Δy2 f(x0,y0+Δy)f(x0,y0)=fy(x0,y0)

方向导计算

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

u = f ( x , y ) u=f(x,y) u=f(x,y) P 0 ( x 0 , y 0 ) P_0(x_0,y_0) P0(x0,y0) 处可微,则 f f f P 0 P_0 P0 处沿任一方向导都存在,且有
∂ f ∂ l = ∂ u ∂ x c o s α + ∂ u ∂ y c o s β = ( ∂ u ∂ x , ∂ u ∂ y ) ⋅ ( c o s α c o s β ) = ( g r a d u ) ⋅ e l ⃗ = ▽ f ⋅ e l ⃗ = ∣ ▽ f ∣ ⋅ ∣ e l ⃗ ∣ ⋅ c o s θ \begin{aligned} \frac{\partial f}{\partial l}&=\frac{\partial u}{\partial x}cos\alpha+\frac{\partial u}{\partial y}cos\beta\\ &=\left(\frac{\partial u}{\partial x},\frac{\partial u}{\partial y}\right)\cdot\left(\begin{aligned}cos\alpha\\cos\beta\end{aligned}\right)\\ &=(grad\quad u)\cdot\vec{e_l}=\bigtriangledown f\cdot\vec{e_l}=\vert \bigtriangledown f\vert\cdot\vert \vec{e_l}\vert\cdot cos\theta \end{aligned} lf=xucosα+yucosβ=(xu,yu)(cosαcosβ)=(gradu)el =fel =fel cosθ
eg:

z = x e 2 y z=xe^{2y} z=xe2y P ( 1 , 0 ) P(1,0) P(1,0) 处沿 P ( 1 , 0 ) P(1,0) P(1,0) Q ( 2 , − 1 ) Q(2,-1) Q(2,1) 方向的方向导

l ⃗ = P Q → = ( 1 , − 1 ) \vec{l}=\overrightarrow{PQ}=(1,-1) l =PQ =(1,1) ,方向向量 e l ⃗ = ( 2 2 , − 2 2 ) \vec{e_l}=\left(\frac{\sqrt{2}}{2},-\frac{\sqrt{2}}{2}\right) el =(22 ,22 ) ,方向余弦 c o s α = 2 2 , c o s β = − 2 2 cos\alpha=\frac{\sqrt{2}}{2},cos\beta=-\frac{\sqrt{2}}{2} cosα=22 ,cosβ=22

∂ z ∂ l = ∂ z ∂ x c o s α + ∂ z ∂ y c o s β = 2 2 ∂ z ∂ x − 2 2 ∂ z ∂ y = 2 2 e 2 y − 2 2 2 x e 2 y = 2 2 e 2 y ( 1 − 2 x ) \frac{\partial z}{\partial l}=\frac{\partial z}{\partial x}cos\alpha+\frac{\partial z}{\partial y}cos\beta=\frac{\sqrt{2}}{2}\frac{\partial z}{\partial x}-\frac{\sqrt{2}}{2}\frac{\partial z}{\partial y}=\frac{\sqrt{2}}{2}e^{2y}-\frac{\sqrt{2}}{2}2xe^{2y}=\frac{\sqrt{2}}{2}e^{2y}(1-2x) lz=xzcosα+yzcosβ=22 xz22 yz=22 e2y22 2xe2y=22 e2y(12x)

P ( 1 , 0 ) P(1,0) P(1,0) 的方向导为 ∂ z ∂ l ∣ ( 1 , 0 ) = − 2 2 \frac{\partial z}{\partial l}\vert_{(1,0)}=-\frac{\sqrt{2}}{2} lz(1,0)=22

1.3.5 梯度 gradient

使方向导数最大的方向向量:
{ 方向: g r a d f ∣ P 0 = { f x ′ ( x 0 , y 0 ) , f y ′ ( x 0 , y 0 ) } = ▽ f ∣ P 0 大小: ∣ g r a d f ∣ P 0 ∣ = ∣ ▽ f ∣ P 0 ∣ = [ f x ′ ( x 0 , y 0 ) ] 2 + [ f y ′ ( x 0 , y 0 ) ] 2 \left\{ \begin{aligned} &方向:grad\quad f\vert_{P_0}=\{f_{x}'(x_0,y_0),f_y'(x_0,y_0)\}=\bigtriangledown f\vert_{P_0}\\ &大小:\vert grad\quad f\vert_{P_0}\vert=\vert \bigtriangledown f\vert_{P_0}\vert=\sqrt{[f_x'(x_0,y_0)]^2+[f_y'(x_0,y_0)]^2} \end{aligned} \right. 方向:gradfP0={fx(x0,y0),fy(x0,y0)}=fP0大小:gradfP0=fP0=[fx(x0,y0)]2+[fy(x0,y0)]2

  • z = f ( x , y ) z=f(x,y) z=f(x,y) 沿梯度方向递增(假设方向向量的起点为原点)

方向导:
∂ f ∂ l = ∂ u ∂ x c o s α + ∂ u ∂ y c o s β = ( ∂ u ∂ x , ∂ u ∂ y ) ( c o s α , c o s β ) = ( g r a d u ) e l ⃗ = ▽ f ⋅ e l ⃗ = ∣ ▽ f ∣ ⋅ ∣ e l ⃗ ∣ ⋅ c o s θ \begin{aligned} \frac{\partial f}{\partial l}&=\frac{\partial u}{\partial x}cos\alpha+\frac{\partial u}{\partial y}cos\beta\\ &=\left(\frac{\partial u}{\partial x},\frac{\partial u}{\partial y}\right)\left(cos\alpha,cos\beta\right)\\ &=(grad\quad u)\vec{e_l}=\bigtriangledown f\cdot\vec{e_l}=\vert \bigtriangledown f\vert\cdot\vert \vec{e_l}\vert\cdot cos\theta \end{aligned} lf=xucosα+yucosβ=(xu,yu)(cosα,cosβ)=(gradu)el =fel =fel cosθ
θ = 0 \theta=0 θ=0 时,有 ∂ z ∂ l ∣ m a x = ∣ ▽ f ∣ \frac{\partial z}{\partial l}\vert_{max}=\vert \bigtriangledown f\vert lzmax=f

  • 某一方向上的方向到为 Γ \Gamma Γ 的切线

  • 某一点沿着不同方向有不同的方向导,方向导最大的方向为梯度方向 ▽ f = Δ ( f x ′ , f y ′ ) \bigtriangledown f\overset{\Delta}{=}(f_x',f_y') f=Δ(fx,fy) ,且为 ∣ ▽ f ∣ = ( f x ′ ) 2 + ( f y ′ ) 2 \vert \bigtriangledown f\vert=\sqrt{(f_x')^2+(f_y')^2} f=(fx)2+(fy)2

  • 梯度方向与 f f f 等值线垂直

    如: z = x 2 + y 2 z=x^2+y^2 z=x2+y2

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

梯度下降法(方向导与极值)

找极小值:

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

  1. 方向: 梯度反方向 ( − ▽ f ) 梯度反方向(-\bigtriangledown f) 梯度反方向(f)

    【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

  2. 大小

    【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

    【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

  3. 终止条件: ∣ ▽ f ∣ ≤ ϵ , 梯度随 z 下降,在最低点 ∣ ▽ f ∣ ≈ 0 \vert \bigtriangledown f\vert\le \epsilon,梯度随z下降,在最低点 \vert \bigtriangledown f\vert\approx 0 fϵ,梯度随z下降,在最低点f0

    【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

  • z = f ( x , y ) z=f(x,y) z=f(x,y) 沿梯度方向递增,沿梯度反方向递减

已知导数为沿曲线 Γ \Gamma Γ 运动的点的切线

  • 方向向量:运动方向
  • 方向向量 e l ⃗ \vec{e_l} el 上的点: Γ \Gamma Γ 上的点

根据可微, − ▽ f = Δ f e l ⃗    ⟺    z 1 − z 0 e l ⃗ = − ▽ f ⇒ z 1 − z 0 = − ▽ f ⋅ e l ⃗ = − ▽ f ⇒ z 1 − z 0 = − ▽ f -\bigtriangledown f=\frac{\Delta f}{\vec{e_l}}\iff \frac{z_1-z_0}{\vec{e_l}}=-\bigtriangledown f\Rightarrow z_1-z_0=-\bigtriangledown f\cdot \vec{e_l}=-\bigtriangledown f\Rightarrow z_1-z_0=-\bigtriangledown f f=el Δfel z1z0=fz1z0=fel =fz1z0=f

eg:

假设 z = f ( x , y ) = x 2 + y 2 z=f(x,y)=x^2+y^2 z=f(x,y)=x2+y2 z 0 = f ( 1 , 2 ) z_0=f(1,2) z0=f(1,2) 梯度 ▽ f = ( ∂ z ∂ x , ∂ z ∂ y ) = ( 2 x , 2 y ) \bigtriangledown f=\left(\frac{\partial z}{\partial x},\frac{\partial z}{\partial y}\right)=(2x,2y) f=(xz,yz)=(2x,2y)

z 1 = z 0 − ▽ f ∣ ( 1 , 2 ) = f ( 1 , 2 ) − f ( 2 , 4 ) = f ( − 1 , − 2 ) z_1=z_0-\bigtriangledown f\vert_{(1,2)}=f(1,2)-f(2,4)=f(-1,-2) z1=z0f(1,2)=f(1,2)f(2,4)=f(1,2)

z 2 = z 1 − ▽ f ∣ ( − 1 , − 2 ) = f ( − 1 , − 2 ) − f ( − 2 , − 4 ) = f ( 1 , 2 ) z_2=z_1-\bigtriangledown f\vert_{(-1,-2)}=f(-1,-2)-f(-2,-4)=f(1,2) z2=z1f(1,2)=f(1,2)f(2,4)=f(1,2)

会进入循环,所以需要引入学习率 η \eta η 来控制步长,即 z = z ′ − η ▽ f z=z'-\eta \bigtriangledown f z=zηf

η > 1 \eta > 1 η>1 z z z 上升

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

η = 1 \eta = 1 η=1 z z z 振荡

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

η < 1 \eta < 1 η<1 z z z 下降。且 η \eta η 越大,下降速度越快

  • η = 0.02 \eta = 0.02 η=0.02

    【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

  • η = 0.2 \eta = 0.2 η=0.2

    【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

eg:

u = f ( x , y ) = x 2 + 2 y 2 u=f(x,y)=x^2+2y^2 u=f(x,y)=x2+2y2 ( x 0 , y 0 ) = ( − 3.5 , − 3.5 ) , η = 0.1 (x_0,y_0)=(-3.5,-3.5),\eta=0.1 (x0,y0)=(3.5,3.5),η=0.1

【AI】数学基础——高数(函数&微分部分),数学,AI,机器学习,机器学习,AI,高数

▽ f = ( 2 x , 4 y ) , z 0 = f ( x 0 , y 0 ) = f ( − 3.5 , − 3.5 ) z 1 = f ( x 1 , y 1 ) = z 0 − η ▽ f = f ( − 3.5 − 3.5 ) − 0.1 f ( − 7 − 14 ) = ( − 2.8 − 2.1 ) z 2 = f ( x 2 , y 2 ) = z 1 − η ▽ f = f ( − 2.8 − 2.1 ) − 0.1 f ( − 5.6 − 8.4 ) = f ( − 2.24 − 1.26 ) ⋮ z k + 1 = f ( x k + 1 , y k + 1 ) = z k − η ▽ f ( x k , y k ) \begin{aligned} &\bigtriangledown f=(2x,4y),z_0=f(x_0,y_0)=f(-3.5,-3.5)\\ &z_1=f(x_1,y_1)=z_0-\eta \bigtriangledown f=f\left(\begin{aligned}-3.5\\-3.5\end{aligned}\right)-0.1f\left(\begin{aligned}-7\\-14\end{aligned}\right)=\left(\begin{aligned}-2.8\\-2.1\end{aligned}\right)\\ &z_2=f(x_2,y_2)=z_1-\eta \bigtriangledown f=f\left(\begin{aligned}-2.8\\-2.1\end{aligned}\right)-0.1f\left(\begin{aligned}-5.6\\-8.4\end{aligned}\right)=f\left( \begin{aligned} -2.24\\ -1.26 \end{aligned} \right)\\ &\vdots\\ &z_{k+1}=f(x_{k+1},y_{k+1})=z_k-\eta \bigtriangledown f(x_k,y_k) \end{aligned} f=(2x,4y),z0=f(x0,y0)=f(3.5,3.5)z1=f(x1,y1)=z0ηf=f(3.53.5)0.1f(714)=(2.82.1)z2=f(x2,y2)=z1ηf=f(2.82.1)0.1f(5.68.4)=f(2.241.26)zk+1=f(xk+1,yk+1)=zkηf(xk,yk)文章来源地址https://www.toymoban.com/news/detail-681884.html

到了这里,关于【AI】数学基础——高数(函数&微分部分)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 线性代数 | 机器学习数学基础

    前言 线性代数 (linear algebra)是关于向量空间和线性映射的一个数学分支。它包括对线、面和子空间的研究,同时也涉及到所有的向量空间的一般性质。 本文主要介绍 机器学习 中所用到的线性代数 核心基础概念 ,供读者学习阶段查漏补缺或是 快速学习参考 。 线性代数

    2024年01月21日
    浏览(69)
  • 【机器学习/深度学习】数学基础——矩阵求导

    A矩阵对B矩阵求导,实质是矩阵A中的每个元素对矩阵B中的每个元素进行求导。 广义上,矩阵可以认为是一个单独的标量(矩阵中只有一个元素)、一个向量(m 1矩阵或者1 n矩阵)。那么矩阵对矩阵求导实际上可以分为以下几种: 标量对向量求导 向量对标量求导 向量对向量

    2024年02月04日
    浏览(50)
  • 机器学习——支持向量机(数学基础推导篇【未完】)

    在一个周日下午,夏天的雨稀里哗啦地下着 我躺在床上,捧着ipad看支持向量机 睡了好几个觉…支持向量机太好睡了 拉格朗日乘数法太好睡了 几何函数太好睡了 在我看来,支持向量机是目前学下来,最难以理解的内容 希望日后不要太难…脑子不支持的 支持向量积的原理,

    2024年02月12日
    浏览(95)
  • 一、机器学习前的数学基础知识

    你说春天太短 还未来得及看见自己 就要粉碎成灯红酒绿的夏 那就开花呀 开他妈的 1.1 求和 假设现在我们要在纸上写下1加到100的简单求和运算: 1 + 2 +3 + 4 + 5 + ........ + 99 + 100 使用求和符号简化(读作“西格玛”): 对于不明确要加到多少的情况:  对集合使用求和符号:

    2024年02月16日
    浏览(64)
  • 机器学习的数学基础:从线性代数到梯度下降

    机器学习是人工智能的一个重要分支,它涉及到计算机程序自动化地学习或者预测事物的行为。机器学习的核心是算法,算法需要数学来支持。在本文中,我们将从线性代数到梯度下降的数学基础来讨论机器学习算法的核心。 机器学习的数学基础包括线性代数、微积分、概率

    2024年02月21日
    浏览(48)
  • Shell 编程快速入门 之 数学计算和函数基础

    整数之和 shell程序的数字类型只有整数类型一种,并不支持浮点数。如: 浮点数之和  在shell编程中,浮点数只能被用作字符串来操作,脚本语法本身不提供浮点数的操作方法,但可以调用bc, awk等外部命令来计算并返回结果。如: 两个或多个数的运算只有列出算式计算就行

    2024年02月11日
    浏览(42)
  • 图解AI数学基础 | 线性代数与矩阵论

    一个标量就是一个单独的数。 只具有数值大小,没有方向 (部分有正负之分),运算遵循一般的代数法则。 一般用小写的变量名称表示。 质量mmm、速率vvv、时间ttt、电阻ρrhoρ 等物理量,都是数据标量。 向量指具有大小和方向的量,形态上看就是一列数。 通常赋予向量

    2024年04月10日
    浏览(49)
  • 【数学建模竞赛】Matlab逻辑规则,结构基础及函数

    在Matlab中,逻辑变量是一种特殊类型的变量,用于表示逻辑值。逻辑变量只有两个可能的值: true (真)和 false (假)。在Matlab中,我们可以使用 0 和 1 来表示逻辑变量的值。 为了定义逻辑变量,可以使用syms函数来定义符号变量。符号变量是一种特殊类型的变量,用于表示

    2024年02月10日
    浏览(33)
  • 【人工智能的数学基础】瑞利商在机器学习中的应用

    Rayleigh Quotient and Generalized Rayleigh Quotient. 瑞利商的定义 瑞利商的性质 广义瑞利商 瑞利商在机器学习中的应用 对于一个 Hermitan 矩阵

    2024年02月07日
    浏览(64)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包