观后感
Source The 6th Lecture
深度神经网络的对抗鲁棒性
攻击
ZO-SGD
对于黑盒的对抗攻击，优化问题不能求导，便将其转化为一个零阶(ZO zero-order)优化问题，他们证明了收敛性。
但是存在收敛速度慢的问题：
- 有偏差bias
- 方差较大
- 容易受到维度的影响，高维下收敛速度太慢。
ZO-signSGD
相比于ZO-SGD，ZO-signSGD对估计的梯度取了正负。
效果：
- 减少了估计的方差
- 收敛速度增加
但是同时也引入了新的问题：收敛精度下降，难以取得和ZO-SGD一样的最值。
ZO-Adam
sign减少估计的方差，而换一种思路，自适应的学习率adaptive learning rate也可以降低估计方差。因此可以采用ZO-Adam优化方法。
防御
对抗攻击会修改图片的interpretation maps （CAM），造成了可解释性上的差异。
由此，刘思佳教授设计相应的可解释性上的距离度量，并证明了该距离大于图片对原本类和目标类的激活值之差。
将可解释性距离度量用于对抗训练，对有较大扰动的对抗攻击的鲁棒性提高效果很好，但是会使模型的精确性下降。
未来
- 不同领域之间的鲁棒性的迁移性
- 大规模鲁棒训练
- 与传统信息安全领域交叉的鲁棒机器学习
- 攻击逆向工程与对攻击者意图探明
- 对抗鲁棒性与神经网络多种性质之间的关系