BIM | Basic Iterative Method👀

又称 I-FGSM (Iterative Fast Gradient Sign Method)

BIM👀

• 与 FGSM 类似，都是基于梯度的攻击方法。不同的是，BIM 是一种迭代攻击方法：
  • 对于 FGSM，每次寻找对抗样本，改变量是 $ϵ\cdot sign({\mathrm{\nabla }}_{x}J(\mathit{\theta },\mathit{x},y))$，这样是把每个像素点都改变了 $ϵ$ 的量
  • 由于 FGSM 提出的假设是：目标损失函数是近似线性的，即 $J(\mathit{\theta },\mathit{x},y)\approx {\mathit{w}}^T\mathit{x}$。之后在 $\mathit{x}$ 上加一个扰动 $\mathit{\eta }$，使得 $J(\mathit{\theta },\mathit{x},y)$ 变化最大，由 $J(\mathit{\theta },\mathit{x}\mathbf{+}\mathit{\eta },y)-J(\mathit{\theta },\mathit{x},y)\approx {\mathit{w}}^T\mathit{\eta }$ 要最大，故而 $\mathit{\eta }=ϵ\cdot sign({\mathrm{\nabla }}_{x}J(\mathit{\theta },\mathit{x},y))$
• 但 BIM 作者表示 $J$ 和 $\mathit{x}$ 很可能不是高度线性关系，那么就可能存在一个在 $(0,\mathit{\eta })$ 间的扰动，使得 $J(\mathit{\theta },\mathit{x},y)$ 变化更大且此时 $\mathit{x}$ 的改变量小于 $ϵ$
• 基于此，作者提出迭代寻找各个像素点的扰动，即 I-FGSM or BIM，每次迭代都在上一次迭代的基础上进行扰动，这样总能砸到较好的步调使梯度上升，最差的情况就是迭代总改变量为 $ϵ$，这样就和 FGSM 一样

• ${\mathit{X}}_{N+1}^{{}^{\prime }}$ 是第 $N+1$ 次迭代后的得到的对抗样本
• $\alpha$: 控制扰动大小的参数
• $sign$: 符号函数
• $J$: 损失函数
• $\mathit{\theta }$: 模型参数
• $y_{true}$: 正确标签

• $Clip$: 裁剪函数，将值限制在不大于 $ϵ$ 的范围内

  • 在迭代更新过程中，随迭代次数增加，部分像素值可能溢出，例如超出 (0,1) 的范围，此时需要进行裁剪，将其用最接近的值代替，例如超出 1 的值用 1 代替，超出 0 的值用 0 代替。这样确保了新样本的各像素在原样本的邻域内，使图像免于失真
  • 其具体公式如下 ($\mathit{X}(x,y,z)$ 表示图像 $X$ 在坐标 $(x,y)$ 处的第 $z$ 个通道的像素值)：
  $$Cli{p}_{X,ϵ}\{{\mathit{X}}^{{}^{\prime }}\}(x,y,z)=min\{255,\mathit{X}(x,y,z)+ϵ,max\{0,\mathit{X}(x,y,z)-ϵ,{\mathit{X}}^{{}^{\prime }}(x,y,z)\}\}$$

• 迭代的含义：每次迭代都会在上一次迭代的基础上进行扰动，各个像素改变量为 $\alpha$, 且每次迭代都会裁剪，保证了新样本的扰动不会超过 $ϵ$

Info-ILCM👀

ICLM(Iterative Least-likely Class Method) 算法是 BIM 的一个变种，将输入图像分类到最不可能的类别

• 由公式可看出，其与 BIM 的区别是 $\alpha$ 的符号不同，即 ILCM 是在原样本的基础上减去梯度，而 BIM 是在原样本的基础上加上梯度
• 同时原本的真实标签 $y_{true}$ 被替换为最不可能的标签 $y_{LL}$ (此修改使模型优化的目标是最终对应类别为 $y_{LL}$ 的分类标签的概率越来越大)

该算法和常规分类模型训练类似，只是监督信息并不是真实标签了

该算法主要在于选择 $y_{LL}$(原输入图像在分类模型中分类概率最小的类别), 其可由一下公式得到：

• $p(y|\mathit{X})$ 表示在给定输入 $\mathit{X}$ 的情况下，模型预测为 $y$ 的概率