C＆W(Carlini ＆ Wagner)

C&W(Carlini & Wagner)

Carlini and Wagner引入了一系列攻击来寻找最小化不同相似性度量的对抗扰动：$L_0,L_2,L_{\infty }$。核心观点是将类似于BFGS攻击的一般约束优化策略转化为无约束优化公式中经验选择的损失函数:
$${\mathcal{L}}_{CW}(x^{\prime },t)=\max (\underset{i\ne t}{\max }\{Z(x^{\prime }{)}_{(i)}\}-Z(x^{\prime }{)}_{(t)},-k)$$
其中 $Z(x_{(i)}^{\prime })$ 表示分类器logits向量的第 $i$ 个分量，$t$ 表示目标标签，而 $k$ 表示反映对样本的最小期望置信度的参数。

从概念上讲，这个损失函数最小化了$t$ 类和第二大类之间的logit值的距离。如果 $t$ 当前具有最高的logit值，则logit的差值将为负，因此当$t$和第二类之间的logit差值超过阈值 $k$ 时，优化将停止。如果$t$不具有最高logit值，则最小化 $L(x_0,t)$ 使得和目标类别的logit之间的差距更接近，即，降低最高类别预测置信度和/或增加目标类别置信度。

此外，$\kappa$ 参数建立了最佳情况下的停止准则，其中对抗类的logit至少比第二大类的logit要大。因此，$\kappa$ 明确地为目标对手编码了最小期望的鲁棒性程度。$L_2$ 的 $C\&W$ 攻击公式如下所示：
$$\begin{gathered} \underset{w}{\mathrm{argmin}}(\Vert x^{\prime }(w)-x{\Vert }_2+c\cdot {\mathcal{L}}_{CW}(x^{\prime }(w),t)) \\ {x}^{\prime }(w)=\frac{1}{2}(\tanh (w)+1) \end{gathered}$$
其中 $w$ 是样本变量，例如 $x^{\prime }=\frac{1}{2}(\tanh (w)+1)$，这样可以使得样本 $x^{\prime }$ 控制在区间 $[0,1]$ 之间。超参数 $c$ 的最小值通过外部优化循环程序来选择。$L_0\&W$攻击比 $L_2$​变体复杂得多，因为它的相关距离度量是不可微分的。作者提出了一种迭代策略来连续地消除不重要的输入特征，从而可以通过扰动尽可能少的输入特征来实现明模型误分类。在初始化期间，一个允许的集合$S$被定义为包括$x$中的所有输入特征。接下来，在每次迭代时，在仅扰动$S$中的特征的约束下，执行$L_2$攻击。

如果攻击成功，则识别下一个非重要特征$i$并从$S$集合中被移除，其中$i^{\ast }={\mathrm{argmin}}_i{g}_{(i)}\cdot r_{(i)},g={\nabla }_{x^{\prime }}{\mathcal{L}}_{CW}\left(x^{\prime },t\right)$ ，并且有 $r=x^{\prime }-x$。

类似于$L_0$的$C\&W$攻击，$L_{\infty }$攻击变体也需要迭代算法，因为$L_{\infty }$ 度量不是完全可微的。其优化目标如下:
$$\underset{r}{\mathrm{argmin}}(c\cdot {\mathcal{L}}_{CW}(x+r,t)+\sum _i\max (0,r(i)-\eta ))$$

其中参数 $\kappa$被初始化为1，如果 $r_{(i)}<\kappa$，则每次迭代后参数 $\kappa$减少0.9倍，直到没有发现对抗样本。简言之，该策略连续地将对抗扰动的大小限制在连续更小的$\kappa$上。