当前位置：网站首页>AI简报-模型集成 SAM 和SWA

AI简报-模型集成 SAM 和SWA

2022-07-15 12:43:00 【InfoQ】

1.SAM

1.1背景

SAM即Sharpness-Aware Minimization for Effciently Improving Generalization，是一种提高模型泛化的loss策略，该文章基于的思想还是flat minimum比sharp minimun更具有泛化性。设计了一个loss 来构建；这种flat minimum的效果。

1.2. 解读

如何设计这样的loss呢？

文章分析了传统的SGD在如交叉熵的loss，在损失空间中可能存在许许多多的局部和全局的最小值。有的是尖锐的深沟，这种不利用泛化，如下中间的图示

设计的思路

考虑如果是flat的minimum，那临近的损失和最优的损失差距不会很大，相较于sharp minimum。文章在原来loss的权重加入一个eps噪声，来代表周围的最优解的情况。然就计算最大差距的最小化

1.3.方法和实现细节

文章提供的github实现，不过loss部分是统计jax方式实现的。

https://github.com/google-research/sam

2.SWA

2.1.背景

AveragingWeights Leads to Wider Optima and Better Generalization；该论文是承袭FGE（Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNN），提出不是在模型空间上做融合，而是权重空间上做权重平均化的融合。以单模型就可以达到FGE多模型融合的效果，提高推理的效率。