feat: update nwtwork's depth and width definition

4-machine_learning/2-西瓜书笔记.md

@@ -396,7 +396,6 @@ $$
 ![v_{ih} 梯度的详细推导公式](../data/images/ml/v_ih梯度的详细推导公式.png)
 
 > 最后一层激活使用 `softmax` 激活和交叉熵损失函数的反向传播推导，可参考[这里](https://blog.csdn.net/DaVinciL/article/details/90898194)。
-> 最后一层激活使用 `sigmoid` 激活和交叉熵损失函数的反向传播推导，可参考[这里](https://www.cnblogs.com/nowgood/p/sigmoidcrossentropy.html)。
 
 学习率 $\eta \in (0,1)$ 控制着算法每一轮迭代中更新的步长，若太大则容易振荡，太小则收敛速度幽会过慢。有时为了做精细调节，可令式$(5.11)$与$(5.12)$使用 $\eta_1$， 式$(5.13)$与$(5.14)$使用 $\eta_2$，两者未必相等。
 

7-model_compression/轻量级网络论文解析/轻量级模型设计与部署总结.md

@@ -95,11 +95,12 @@
 
 ## CNN 架构的理解
 
-在一定的程度上，网络越深越宽，性能越好。**网络宽度**，即通道(`channel`)的数量，也是滤波器（3 维）的数量；**网络深度**，即 `layer` 的层数，如 `resnet18` 有 `18` 层网络。注意我们这里说的网络宽度和宽度学习一类的模型没有关系，而是特指深度卷积神经网络的（通道）宽度。
+**网络宽度**，即通道(`channel`)的数量，也是滤波器（3 维）的数量；**网络深度**，即 `layer` 的层数，如 `resnet18` 有 `18` 层网络。注意我们这里说的网络宽度和宽度学习一类的模型没有关系，而是特指深度卷积神经网络的（通道）宽度。
 
-- **网络深度的意义**：`CNN` 的网络层能够对输入图像数据进行逐层抽象，比如第一层学习到了图像边缘特征，第二层学习到了简单形状特征，第三层学习到了目标形状的特征，网络深度增加也提高了模型的抽象能力。
-- **网络宽度的意义**：网络的宽度（通道数）代表了滤波器（`3` 维）的数量，滤波器越多，对目标特征的提取能力越强，即这一层网络能学习到更加丰富的特征，比如不同方向、不同频率的纹理特征等。
+- **网络深度的意义**：`CNN` 的网络层能够对输入图像数据进行逐层抽象，比如第一层学习到了图像边缘特征，第二层学习到了简单形状特征，第三层学习到了目标形状的特征。即**深度决定了网络的表达（抽象）能力，网络越深学习能力越强**。
+- **网络宽度的意义**：网络越宽，对目标特征的提取能力越强，即这一层网络能学习到更加丰富的特征，比如不同方向、不同频率的纹理特征等。即**宽度决定了网络在某一层学到的信息量**。
 
+总而言之，在一定的程度上，网络越深越宽，性能越好，但关键在于如何取 `trade-off`。
 ## 手动设计高效 CNN 架构建议
 
 ### 一些结论