Skip to content

Commit

Permalink
Update optimization-intro.md
Browse files Browse the repository at this point in the history
  • Loading branch information
weiyaowu-md committed Feb 14, 2019
1 parent 0ec0d23 commit 451fdf1
Showing 1 changed file with 4 additions and 4 deletions.
8 changes: 4 additions & 4 deletions chapter_optimization/optimization-intro.md
Original file line number Diff line number Diff line change
Expand Up @@ -94,11 +94,11 @@ d2l.plt.ylabel('y');

在图的鞍点位置,目标函数在$x$轴方向上是局部最小值,但在$y$轴方向上是局部最大值。

假设一个函数的输入为$k$维向量,输出为标量,那么它的黑塞矩阵(Hessian matrix)有$k$个特征值(参见附录中[“数学基础”](../chapter_appendix/math.md)一节)。该函数在梯度为0的位置上可能是局部最小值、局部最大值或者鞍点。
假设一个函数的输入为$k$维向量,输出为标量,那么它的海森矩阵(Hessian matrix)有$k$个特征值(参见附录中[“数学基础”](../chapter_appendix/math.md)一节)。该函数在梯度为0的位置上可能是局部最小值、局部最大值或者鞍点。

* 当函数的黑塞矩阵在梯度为零的位置上的特征值全为正时,该函数得到局部最小值。
* 当函数的黑塞矩阵在梯度为零的位置上的特征值全为负时,该函数得到局部最大值。
* 当函数的黑塞矩阵在梯度为零的位置上的特征值有正有负时,该函数得到鞍点。
* 当函数的海森矩阵在梯度为零的位置上的特征值全为正时,该函数得到局部最小值。
* 当函数的海森矩阵在梯度为零的位置上的特征值全为负时,该函数得到局部最大值。
* 当函数的海森矩阵在梯度为零的位置上的特征值有正有负时,该函数得到鞍点。

随机矩阵理论告诉我们,对于一个大的高斯随机矩阵来说,任一特征值是正或者是负的概率都是0.5 [1]。那么,以上第一种情况的概率为 $0.5^k$。由于深度学习模型参数通常都是高维的($k$很大),目标函数的鞍点通常比局部最小值更常见。

Expand Down

0 comments on commit 451fdf1

Please sign in to comment.