Skip to content

Commit

Permalink
[Doc]: update summary
Browse files Browse the repository at this point in the history
  • Loading branch information
HarleysZhang committed Feb 6, 2023
1 parent 2b97f49 commit 57597b5
Showing 1 changed file with 2 additions and 2 deletions.
4 changes: 2 additions & 2 deletions 7-model_compression/卷积网络压缩方法总结.md
Original file line number Diff line number Diff line change
Expand Up @@ -7,9 +7,9 @@
+ [五,知识蒸馏](#五,知识蒸馏)
+ [六,浅层网络](#六,浅层网络)

我们知道,在一定程度上,网络越深,参数越多,模型越复杂,其最终效果越好。神经网络的压缩算法是,旨在将一个庞大而复杂的预训练模型(pre-trained model)转化为一个精简的小模型。
按照压缩过程对网络结构的破坏程度,我们将模型压缩技术分为“前端压缩”和“后端压缩”两部分。
在一定程度上,网络越深,参数越多,模型也会越复杂,但其最终效果也越好。而模型压缩算法是旨在将一个庞大而复杂的预训练模型转化为一个精简的小模型。本文介绍了卷积神经网络常见的几种压缩方法。

按照压缩过程对网络结构的破坏程度,我们将模型压缩技术分为“前端压缩”和“后端压缩”两部分:
+ 前端压缩,是指在不改变原网络结构的压缩技术,主要包括`知识蒸馏`、轻量级网络(紧凑的模型结构设计)以及`滤波器(filter)层面的剪枝(结构化剪枝)`等;
+ 后端压缩,是指包括`低秩近似`、未加限制的剪枝(非结构化剪枝/稀疏)、`参数量化`以及二值网络等,目标在于尽可能减少模型大小,会对原始网络结构造成极大程度的改造。

Expand Down

0 comments on commit 57597b5

Please sign in to comment.