最优化方法Python计算:一元函数导数计算

这篇具有很好参考价值的文章主要介绍了最优化方法Python计算:一元函数导数计算。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

定义1 给定连续函数 f ( x ) f(x) f(x) x ∈ Ω ⊆ R x\in\Omega\subseteq\text{ℝ} xΩR。设 x , x 1 ∈ Ω x,x_1\in\Omega x,x1Ω
Δ x = x − x 1 \Delta x=x-x_1 Δx=xx1
称为变量 x x x差分。此时, x = x 1 + Δ x x=x_1+\Delta x x=x1+Δx。称
f ( x 1 + Δ x ) − f ( x 1 ) Δ x \frac{f(x_1+\Delta x)-f(x_1)}{\Delta x} Δxf(x1+Δx)f(x1)
f ( x ) f(x) f(x) x 1 x_1 x1处的前向差分。称
f ( x 1 ) − f ( x 1 − Δ x ) Δ x \frac{f(x_1)-f(x_1-\Delta x)}{\Delta x} Δxf(x1)f(x1Δx)
f ( x ) f(x) f(x) x 1 x_1 x1处的后向差分。称
f ( x 1 + Δ x / 2 ) − f ( x 1 − Δ x / 2 ) Δ x \frac{f(x_1+\Delta x/2)-f(x_1-\Delta x/2)}{\Delta x} Δxf(x1+Δx/2)f(x1Δx/2)
f ( x ) f(x) f(x) x 1 x_1 x1处的中心差分
若函数 f ( x ) f(x) f(x) x 1 x_1 x1处可微,则 f ( x ) f(x) f(x) x 1 x_1 x1处的导数为
f ′ ( x 1 ) = lim ⁡ Δ x → 0 f ( x ) − f ( x 1 ) Δ x = lim ⁡ Δ x → 0 f ( x 1 + Δ x ) − f ( x 1 ) Δ x f'(x_1)=\lim_{\Delta x\rightarrow0}\frac{f(x)-f(x_1)}{\Delta x}=\lim_{\Delta x\rightarrow0}\frac{f(x_1+\Delta x)-f(x_1)}{\Delta x} f(x1)=Δx0limΔxf(x)f(x1)=Δx0limΔxf(x1+Δx)f(x1)
f ( x ) f(x) f(x) x 1 x_1 x1处的导数 f ′ ( x 1 ) f'(x_1) f(x1) f ( x ) f(x) f(x) x 1 x_1 x1处的前向差分 f ( x 1 + Δ x ) − f ( x 1 ) Δ x \frac{f(x_1+\Delta x)-f(x_1)}{\Delta x} Δxf(x1+Δx)f(x1) x x x的差分 Δ x \Delta x Δx趋于0时的极限。因此,当 ∣ Δ x ∣ |\Delta x| ∣Δx充分小时,
f ′ ( x 1 ) ≈ f ( x 1 ) − f ( x 1 − Δ x ) Δ x . f'(x_1)\approx \frac{f(x_1)-f(x_1-\Delta x)}{\Delta x}. f(x1)Δxf(x1)f(x1Δx).
f ( x ) f(x) f(x) x 1 x_1 x1处的后向差分 f ( x 1 ) − f ( x 1 − Δ x ) Δ x \frac{f(x_1)-f(x_1-\Delta x)}{\Delta x} Δxf(x1)f(x1Δx)中对变量差分 Δ x \Delta x Δx作变换 Δ x ′ = − Δ x \Delta x'=-\Delta x Δx=Δx,得
f ( x 1 ) − f ( x 1 − Δ x ) Δ x = f ( x 1 ) − f ( x 1 + Δ ′ x ) − Δ x ′ = f ( x 1 + Δ x ′ ) − f ( x 1 ) Δ x ′ \frac{f(x_1)-f(x_1-\Delta x)}{\Delta x}=\frac{f(x_1)-f(x_1+\Delta'x)}{-\Delta x'}=\frac{f(x_1+\Delta x')-f(x_1)}{\Delta x'} Δxf(x1)f(x1Δx)=Δxf(x1)f(x1+Δx)=Δxf(x1+Δx)f(x1)
由于 Δ x ′ → 0 \Delta x'\rightarrow0 Δx0当且进当 Δ x → 0 \Delta x\rightarrow0 Δx0,故当 ∣ Δ x ∣ |\Delta x| ∣Δx充分小时,有
f ′ ( x 1 ) ≈ f ( x 1 ) − f ( x 1 − Δ x ) Δ x . f'(x_1)\approx\frac{f(x_1)-f(x_1-\Delta x)}{\Delta x}. f(x1)Δxf(x1)f(x1Δx).
对于 f ( x ) f(x) f(x) x 1 x_1 x1处的中心差分
f ( x 1 + Δ x / 2 ) − f ( x 1 − Δ x / 2 ) Δ x = f ( x 1 + Δ x / 2 ) − f ( x 1 ) + f ( x 1 ) − f ( x 1 − Δ x / 2 ) Δ x = 1 2 f ( x 1 + Δ x / 2 ) − f ( x 1 ) + f ( x 1 ) − f ( x 1 − Δ x / 2 ) Δ x / 2 = 1 2 [ f ( x 1 + Δ x / 2 ) − f ( x 1 ) Δ x / 2 + f ( x 1 ) − f ( x 1 − Δ x / 2 ) Δ x / 2 ] \frac{f(x_1+\Delta x/2)-f(x_1-\Delta x/2)}{\Delta x}=\frac{f(x_1+\Delta x/2)-f(x_1)+f(x_1)-f(x_1-\Delta x/2)}{\Delta x}\\ =\frac{1}{2}\frac{f(x_1+\Delta x/2)-f(x_1)+f(x_1)-f(x_1-\Delta x/2)}{\Delta x/2}\\ =\frac{1}{2}\left[\frac{f(x_1+\Delta x/2)-f(x_1)}{\Delta x/2}+\frac{f(x_1)-f(x_1-\Delta x/2)}{\Delta x/2}\right] Δxf(x1+Δx/2)f(x1Δx/2)=Δxf(x1+Δx/2)f(x1)+f(x1)f(x1Δx/2)=21Δx/2f(x1+Δx/2)f(x1)+f(x1)f(x1Δx/2)=21[Δx/2f(x1+Δx/2)f(x1)+Δx/2f(x1)f(x1Δx/2)]
所以
f ′ ( x 1 ) ≈ f ( x 1 + Δ x / 2 ) − f ( x 1 − Δ x / 2 ) Δ x . f'(x_1)\approx\frac{f(x_1+\Delta x/2)-f(x_1-\Delta x/2)}{\Delta x}. f(x1)Δxf(x1+Δx/2)f(x1Δx/2).

g ( x ) = f ( x + Δ x / 2 ) − f ( x − Δ x / 2 ) Δ x g(x)=\frac{f(x+\Delta x/2)-f(x-\Delta x/2)}{\Delta x} g(x)=Δxf(x+Δx/2)f(xΔx/2)
称其为 f ( x ) f(x) f(x)广义导数。对 f ( x ) f(x) f(x)的广义导数 g ( x ) g(x) g(x)计算其在 x 1 x_1 x1处的中心差分,可得 f ( x ) f(x) f(x) x 1 x_1 x1处的二阶导数近似计算公式
f ′ ′ ( x 1 ) ≈ f ( x 1 + Δ x ) + f ( x 1 − Δ x ) − 2 f ( x 1 ) Δ x 2 . f''(x_1)\approx\frac{f(x_1+\Delta x)+f(x_1-\Delta x)-2f(x_1)}{\Delta x^2}. f′′(x1)Δx2f(x1+Δx)+f(x1Δx)2f(x1).
利用 f ′ ( x 1 ) f'(x_1) f(x1) f " ( x 1 ) f"(x_1) f"(x1)的近似公式,实现一元函数二阶可微的一、二阶导数计算的Python函数定义如下

def der_scalar(f,x1):						#f表示函数,x1表示自变量值
   dx=1e-7									#设置Δx=0.0000001
   f1=(f(x1+dx/2)-f(x1-dx/2))/dx			#计算一阶导数
   f2=(f(x1+dx)+f(x1-dx)-2*f(x1))/dx**2		#计算二阶导数
   return f1,f2

程序中第1~5定义函数der_scalar。两个参数之一f表示二阶可微函数 f ( x ) f(x) f(x),x1表示自变量值 x 1 x_1 x1。第2行设置自变量增量 Δ x = 1 0 − 7 \Delta x=10^{-7} Δx=107为dx。第3行按 f ′ ( x 1 ) f'(x_1) f(x1)的中心差分近似式计算 x 1 x_1 x1处的一阶导数 f ′ ( x 1 ) f'(x_1) f(x1)为f1。第4行按广义导数的中心差分计算 x 1 x_1 x1处的二阶导数 f ′ ′ ( x 1 ) f''(x_1) f′′(x1)为f2。
例1 考虑函数 f ( x ) = sin ⁡ x 2 f(x)=\sin{x^2} f(x)=sinx2,其一阶导数 f ′ ( x ) = 2 x cos ⁡ x 2 f'(x)=2x\cos{x^2} f(x)=2xcosx2,二阶导数 f ′ ′ ( x ) = 2 ( cos ⁡ x 2 − 2 x 2 sin ⁡ x 2 ) f''(x)=2(\cos{x^2}-2x^2\sin{x^2}) f′′(x)=2(cosx22x2sinx2)。故对 x 1 = π 3 x_1=\frac{\pi}{3} x1=3π可算得 f ′ ( x 1 ) = 0.9563 f'(x_1)=0.9563 f(x1)=0.9563 f ′ ′ ( x 1 ) = − 2.9893 f''(x_1)=-2.9893 f′′(x1)=2.9893。下列代码比较直接由导函数解析式计算和调用上列程序定义的der_scalar函数计算的结果。

import numpy as np									#导入numpy
f=lambda x:np.sin(x**2)								#设置函数f(x)
f1=lambda x:2*x*np.cos(x**2)						#设置一阶导数f'(x)
f2=lambda x:2*(np.cos(x**2)-2*np.sin(x**2)*x**2)	#设置二阶导数f"(x)
x1=np.pi/3											#设置自变量x1
print((f1(x1),f2(x1)))								#解析计算
print(der_scalar(f,x1))								#数值计算

程序的2、3、4行分别设置 f ( x ) f(x) f(x) f ′ ( x ) f'(x) f(x) f ′ ′ ( x ) f''(x) f′′(x)的解析式。第5行设置自变量的值 x 1 = π 3 x_1=\frac{\pi}{3} x1=3π。第6行输出解析计算结果,第7行调用der_scalar函数数值地计算 f ′ ( x 1 ) f'(x_1) f(x1) f ′ ′ ( x 1 ) f''(x_1) f′′(x1)。运行程序,输出

(0.9563079109495481, -2.9893240816612874)
(0.9563079098976839, -3.0000693287648676)

输出的第1行为解析计算的结果,第2行为数值计算结果。比较两者可见der_scalar函数计算的一阶导数结果精度是很高的,二阶导数的计算精度稍差。这是因为,这是对“广义导数”进行差分计算的结果。换句话说,在计算二阶导数时,累积了两次计算误差,产生了误差的“放大”效应。尽管如此,der_scalar函数在大多数场合都能满足应用的要求。
例2: 下图给出了移动无线通信系统的简化模型。有两个同为 1 1 1个高度单位相矩 2 2 2个长度单位的相邻基站,手机用户所处位置为 x x x,手机收到的基站信号的功率与用户与基站之间的距离平方成反比。试确定用户最为合适的位置,使得信号干扰比最大,即用户接收到来自基站 1 1 1的信号功率与来自基站 2 2 2的信号功率之间的比值最大。
最优化方法Python计算:一元函数导数计算
:按题意,手机收到的基站信号的功率与用户与基站之间的距离平方成反比。即收到基站1和基站2的功率分别为
w 1 = 1 1 + x 2 w 2 = 1 1 + ( 2 − x ) 2 \begin{array}{l} w_1=\frac{1}{1+x^2}\\ w_2=\frac{1}{1+(2-x)^2} \end{array} w1=1+x21w2=1+(2x)21
为使得信号干扰比最大,即用户接收到来自基站1的信号功率与来自基站2的信号功率之间的比值最大,求函数 f ( x ) = w 1 w 2 = 1 + ( 2 − x ) 2 1 + x 2 f(x)=\frac{w_1}{w_2}=\frac{1+(2-x)^2}{1+x^2} f(x)=w2w1=1+x21+(2x)2的最大值点 x 0 x_0 x0
由于 f ( x ) f(x) f(x)二阶连续可微,为计算 f ( x ) f(x) f(x)的最大值点,先求得 f ( x ) f(x) f(x)驻点。
f ′ ( x ) = − 2 ( 2 − x ) ( 1 + x 2 ) − 2 x ( 1 + ( 2 − x ) 2 ) ( 1 + x 2 ) 2 = 4 ( x 2 − 2 x − 1 ) ( 1 + x 2 ) 2 = 4 ( ( x − 1 ) 2 − 2 ) ( 1 + x 2 ) 2 = 4 ( ( x − 1 − 2 ) ( x − 1 + 2 ) ) ( 1 + x 2 ) 2 f'(x)=\frac{-2(2-x)(1+x^2)-2x(1+(2-x)^2)}{(1+x^2)^2}\\ =\frac{4(x^2-2x-1)}{(1+x^2)^2}=\frac{4((x-1)^2-2)}{(1+x^2)^2}\\ =\frac{4((x-1-\sqrt{2})(x-1+\sqrt{2}))}{(1+x^2)^2} f(x)=(1+x2)22(2x)(1+x2)2x(1+(2x)2)=(1+x2)24(x22x1)=(1+x2)24((x1)22)=(1+x2)24((x12 )(x1+2 ))
f ′ ( x ) = 0 f'(x)=0 f(x)=0,即得驻点 x 1 = 1 − 2 x_1=1-\sqrt{2} x1=12 x 2 = 1 + 2 x_2=1+\sqrt{2} x2=1+2 。按二阶可微函数极值点的必要条件,需计算 f ( x ) f(x) f(x)的二阶导数 f ′ ′ ( x ) f''(x) f′′(x)在驻点处的值,通过二阶导数值的正负以判断是极大值点或是极小值点。下列代码完成计算过程。

import numpy as np					#导入numpy
f=lambda x:(1+(2-x)**2)/(1+x**2)	#设置函数f(x)
x1=1-np.sqrt(2)						#驻点x1
x2=1+np.sqrt(2)						#驻点x2
print('%.1f,%.4f'%der_scalar(f,x1))	#计算x1处一、二阶导数
print('%.1f,%.4f'%der_scalar(f,x2))	#计算x2处一、二阶导数

利用代码中的注释信息不难理解程序。仅提请注意第3、4行分别设置的是驻点 x 1 = 1 − 2 x_1=1-\sqrt{2} x1=12 x 2 = 1 + 2 x_2=1+\sqrt{2} x2=1+2 。运行程序,输出:

0.0,-8.2107
0.0,0.2566

第1行输出的是 f ( x ) f(x) f(x) x 1 = 1 − 2 x_1=1-\sqrt{2} x1=12 处的一、二阶导数值,说明 x 1 x_1 x1确实为驻点,且由于在 x 1 x_1 x1处的二阶导数值近似为-8.2107,根据极值点的充分条件知 x 1 x_1 x1 f ( x ) f(x) f(x)的唯一极大值点,即为本题所求。第二行的输出表明 x 2 = 1 + 2 x_2=1+\sqrt{2} x2=1+2 f ( x ) f(x) f(x)的极小值点,也是最小值点。文章来源地址https://www.toymoban.com/news/detail-421892.html

到了这里,关于最优化方法Python计算:一元函数导数计算的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 机器学习笔记之最优化理论与方法(一)最优化问题概述

    从本节开始,将对 最优化理论与方法 进行简单认识。 无论是 最优化理论 还是 最优化方法 ,讨论的 对象 都是 最优化问题 。 关于 最优化问题 的一种简单描述:最优化问题本质上属于 决策问题 。 例如 路径选择 问题:确定达到目的地最佳路径的计量标准 。其中问题的 目

    2024年02月11日
    浏览(32)
  • (最优化理论与方法)第一章最优化简介-第二节:最优化典型实例之稀疏优化和低秩矩阵恢复

    考虑下面线性方程组的求解问题,其中 x ∈ R n , b ∈ R m xin R^{n},bin R^{m} x ∈ R n , b ∈ R m ,矩阵 A ∈ R m × n Ain R^{m×n} A ∈ R m × n ,且向量 b b b 的维数远小于向量 x x x 的维数,也即 m m m n n n A x = b Ax=b A x = b 在相关问题中,当我们建立这样的模型后,常常希望 解出向量

    2024年02月08日
    浏览(31)
  • 无约束最优化方法

    求解无约束最优化的基本思路 给定初始点 x 0 ∈ R n , k = 0 x_0in mathbb{R}^n,k=0 x 0 ​ ∈ R n , k = 0 判断当前解是否满足终止准则,若满足则停止迭代,若不满足则转3. 确定 f ( x ) f(x) f ( x ) 在 x k x_k x k ​ 点的下降方向 确定步长 λ k lambda_k λ k ​ ,使 f ( x k + λ k d k ) f(x_k+lambda_

    2023年04月08日
    浏览(86)
  • 最优化方法

    1.最小生成树 图的生成树是它的一颗含有其所有顶点的无环连通子图,一 幅加权图的最小生成树(MST)是它的一颗权值(树中的所有边的权值之和) 最小的生成树 • 适用场景:道路规划、通讯网络规划、管道铺设、电线布设等 题目数据 kruskal算法 稀疏图,按边大小排序 prim 稠密图

    2024年02月15日
    浏览(29)
  • 数学学习——最优化问题引入、凸集、凸函数、凸优化、梯度、Jacobi矩阵、Hessian矩阵

    例如:有一根绳子,长度一定的情况下,需要如何围成一个面积最大的图像?这就是一个最优化的问题。就是我们高中数学中最常见的最值问题。 最优化问题的一般形式是: m i n ​ f ( x ) x ∈ C min​f(x) \\\\ x in C min ​ f ( x ) x ∈ C 其中, f f f 是目标函数, A A A 是约束条件,

    2024年02月15日
    浏览(30)
  • 最优化方法与数学建模

    目录 1. 梯度下降法 2. 牛顿法 3. 遗传算法 4. 数学建模案例

    2024年02月08日
    浏览(28)
  • 最优化方法(三)——矩阵QR分解

    1.熟练掌握 QR 分解 Gram–Schmidt方法; 2.掌握 Householder 方 法 ; 3. 能够判断 矩阵是否可逆 ,并 求出其逆矩阵 。 读取附件 MatrixA.mat 文件中的 矩阵 A , 利用 Gram–Schmidt(GS) 算法对A进行QR分解 。 (1)   验证GS是否 能稳定 进行QR分解矩阵A ,其 Q矩阵 是否正交? (2) 实现 Householder

    2024年01月24日
    浏览(29)
  • 最优化方法-牛顿法一维搜索

    导言: 在最优化问题中,找到函数的最小值或最大值是一个重要的任务。牛顿法是一种经典的迭代方法,常用于优化问题的求解。本文将详细介绍最优化方法中的牛顿法一维搜索,包括其基本原理、算法步骤以及应用场景。 牛顿法,也称为牛顿-拉夫逊方法,是一种迭代的优

    2024年02月06日
    浏览(27)
  • 最优化方法实验三--矩阵QR分解

    1.熟练掌握 QR 分解 Gram–Schmidt方法; 2.掌握 Householder 方 法 ; 3. 能够判断 矩阵是否可逆 ,并 求出其逆矩阵 。 1 .1向量投影 向量的投影包含了两层意思:①正交关系:矢量与投影的差称为误差,误差和投影正交;②最短距离:投影空间中所有矢量中,与原矢量距离最近的,

    2024年02月22日
    浏览(32)
  • 机器学习笔记之最优化理论与方法(五)凸优化问题(上)

    本节将介绍 凸优化问题 ,主要介绍 凸优化问题的基本定义 、 凸优化与非凸优化问题的区分 。 关于最优化问题 P mathcal P P 描述如下: P ⇒ { min ⁡ f ( x 1 , x 2 , ⋯   , x n ) s.t.  { G i ( x 1 , x 2 , ⋯   , x n ) ≤ 0 i = 1 , 2 , ⋯   , m H j ( x 1 , x 2 , ⋯   , x n ) = 0 j = 1 , 2 , ⋯   ,

    2024年02月09日
    浏览(31)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包