第五讲极值、临界点

未央软-11 鲁睿

梯度下降法

梯度反方向是函数值下降最快的方向，在 \(\mathbf{v}_{1}=-\nabla f\left(\mathbf{x}_{1}\right)\) 方向上找一个具有更小函数值的点 \(\mathbf{x}_{2}=\mathbf{x}_{1}+t \mathbf{v}_{1}\)

对多元函数泰勒展开有

\[ f\left(\mathbf{x}_{1}+t \mathbf{v}_{1}\right) \approx f\left(\mathbf{x}_{1}\right)+t\left\langle\nabla f\left(\mathbf{x}_{1}\right), \mathbf{v}_{1}\right\rangle+\frac{t^{2}}{2} \mathbf{v}_{1}^{T} H_{f}\left(\mathbf{x}_{1}\right) \mathbf{v}_{1} \quad \]

当且仅当 \(t=-\dfrac{\left\langle\nabla f\left(\mathbf{x}_{1}\right), \mathbf{v}_{1}\right\rangle}{\mathbf{v}_{1}^{T} H_{f}\left(\mathbf{x}_{1}\right) \mathbf{v}_{1}}\) 时，\(f\left(\mathbf{x}_{1}+t \mathbf{v}_{1}\right)\) 近似取得最小，得到以下迭代算法

\[ \mathbf{x}_{n+1}=\mathbf{x}_{n}-\frac{\left\langle\nabla f\left(\mathbf{x}_{n}\right), \nabla f\left(\mathbf{x}_{n}\right)\right\rangle}{\nabla f\left(\mathbf{x}_{n}\right)^{T} H_{f}\left(\mathbf{x}_{n}\right) \nabla f\left(\mathbf{x}_{n}\right)} \nabla f\left(\mathbf{x}_{n}\right) \]

\(Legendre\) 变换

凸函数的 \(Legendre\) 变换定义为

\[ f^{*}(\mathbf{u})=\sup _{\mathbf{x}}(\langle\mathbf{u}, \mathbf{x}\rangle-f(\mathbf{x})) . \]

几何解释: 给定向量 \(\mathbf{u}\), 找到相应的 \(\mathbf{x}_{\mathbf{u}}\), 使得函数图像 \(y=f(\mathbf{x})\) 在点 \(\left(\mathbf{x}_{\mathbf{u}}, f\left(\mathrm{x}_{\mathrm{u}}\right)\right)\) 处的切平面

\[ y=f\left(\mathbf{x}_{\mathbf{u}}\right)+\left\langle\nabla f\left(\mathbf{x}_{\mathbf{u}}\right), \mathbf{x}-\mathbf{x}_{\mathbf{u}}\right\rangle \]

的法向量为 \((\mathbf{u},-1)\), 此时切平面在 \(\mathbf{x}=0\) 处的 \(y\) 值为 \(-f^{*}(\mathbf{u})\) 。

隐函数定理

给定一个特解 \(\left(\mathbf{x}^{*}, \mathbf{y}^{*}\right)\), 在特解处做线性近似,

\[ \partial_{\mathbf{x}} F\left(\mathbf{x}^{*}, \mathbf{y}^{*}\right)\left(\mathbf{x}-\mathbf{x}^{*}\right)+\partial_{\mathbf{y}} F\left(\mathbf{x}^{*}, \mathbf{y}^{*}\right)\left(\mathbf{y}-\mathbf{y}^{*}\right)=0 . \]

当矩阵 \(\partial_{\mathbf{y}} F\left(\mathbf{x}^{*}, \mathbf{y}^{*}\right)\) 可逆时, 线性方程有唯一解

\[ \mathbf{y}=\mathbf{y}^{*}-\left(\partial_{\mathbf{y}} F\left(\mathbf{x}^{*}, \mathbf{y}^{*}\right)\right)^{-1} \partial_{\mathbf{x}} F\left(\mathbf{x}^{*}, \mathbf{y}^{*}\right)\left(\mathbf{x}-\mathbf{x}^{*}\right) \]

由此, 我们可以猜测原方程 (在特解 \(\left(\mathbf{x}^{*}, \mathbf{y}^{*}\right)\) 附近) 有唯一解, 上述线性方程的解是非线性方程的近似解。

经过一系列证明，可以得到隐函数定理：

设 \(F(x, y)\) 是 \(\mathscr{C}^{r}\) 映射, 满足 1. \(F\left(\mathbf{x}^{*}, \mathbf{y}^{*}\right)=0\), 2. \(\partial_{\mathbf{y}} F\left(\mathbf{x}^{*}, \mathbf{y}^{*}\right)\) 可逆。则存在 \(\mathbf{x}^{*}\) 的邻域 \(U\) 和 \(\mathbf{y}^{*}\) 的邻域 \(V\), 以及 \(\mathscr{C}^{r}\) 映射 \(g: U \rightarrow V\), 使得 \(\forall \mathbf{x} \in U, \forall \mathbf{y} \in V: F(\mathbf{x}, \mathbf{y})=0\) 当且仅当 \(\mathbf{y}=g(\mathbf{x})\) 。即对任意 \(\mathbf{x} \in U, \mathbf{y}=g(\mathbf{x})\) 是方程 \(F(\mathbf{x}, \mathbf{y})=0\) 关于 \(\mathbf{y}\) 在 \(V\) 中的唯一解。而且,

\[ \operatorname{Dg}(\mathbf{x})=-\left[\partial_{\mathbf{y}} G(\mathbf{x}, g(\mathbf{x}))\right]^{-1} \partial_{\mathbf{x}} G(\mathbf{x}, g(\mathbf{x})) \]

例：\(F(x, y)=x y\left[(x-1)^{2}+(y+1)^{2}-9\right]+8\)

验证 \(F(-1,2)=0\), 并在 \((-1,2)\) 附近求 \(F(x, y)=0\) 的所有解。

只需验证在该点处对 \(y\) 的偏导 \(\partial_{y} F(-1,2)=-16<0\)，则存在 \(\mathscr{C}^{\infty}\) 函数 \(y=g(x)\) 使得在 \((-1,2)\) 附近原方程的所有解都该函数上，记 \(x=-1+u,y=2+v\) 则代入

\[ F(-1+u, 2+v)=16 u-16 v-10 u^{2}+20 u v-8 v^{2}+o\left(u^{2}+v^{2}\right) \]

近似有在直线 \(u=v\) 上，即 \(y=g(x)=3+x+o(x+1)(x \rightarrow-1)\)

继续令 \(x=-1+u,y=2+u+w\) 代入有

\[ F(-1+u, 2+u+w)=-16 w+2 u^{2}+o\left(u^{2}\right)+o(w)=0 \]

从而 \(w=\dfrac{u^2}{8}\)，由此 \(w=\dfrac{(1+x)^2}{8}\)，代入得到二阶展开项

\[ y=g(x)=2+(x+1)+\frac{(x+1)^{2}}{8}+o\left((x+1)^{2}\right), \quad x \rightarrow-1 \]

逆映射定理

设 \(U \subseteq \mathbb{R}^{m}\) 是开集, \(F: U \rightarrow \mathbb{R}^{m}\) 是 \(\mathscr{C}^{r}\) 映射, 满足 \(D F\left(\mathbf{x}^{*}\right)\) 可逆。则存在 \(\mathbf{y}^{*}=F\left(\mathbf{x}^{*}\right)\) 的邻域 \(V\) 以及 \(\mathbf{x}^{*}\) 的邻域 \(W\) 以及 \(\mathscr{C}^{r}\) 映射 \(g: V \rightarrow W\), 使得: 对任意 \(\mathbf{y} \in V\) 和任意 \(\mathbf{x} \in W, F(\mathbf{x})=\mathbf{y}\) 当且仅当 \(\mathbf{x}=g(\mathbf{y})\) 。

Newton 法

迭代 \(T(\mathbf{y})=\mathbf{y}-\left(\partial_{\mathbf{y}} G(\mathbf{x}, \mathbf{y})\right)^{-1} G(\mathbf{x}, \mathbf{y})\) 可以得到 \(f(\mathbf{x},\mathbf{y})=0\) 的解

参数方程与函数图像

对高维空间中的参数方程组，\(\left\{\begin{array}{l}x^{1}=x^{1}(t) \\ \vdots \\ x^{m}=x^{m}(t)\end{array}\right.\)，由逆映射定理在 \(t_0\) 附近存在反函数 \(t=t\left(x^{1}\right)\)，代入有 \(\left\{\begin{array}{l}x^{1}=x^{1}(t)=x^{1} \\ x^{2}=x^{2}\left(t\left(x^{1}\right)\right)=g^{2}\left(x^{1}\right) \\ \vdots \\ x^{m}=x^{m}\left(t\left(x^{1}\right)\right)=g^{m}\left(x^{1}\right)\end{array}\right.\) 位于

本站总访问量次