前沿研究丨深度学习中的对抗性攻击和防御
本文选自中国工程院院刊《Engineering》2020年第3期
作者：任奎，Tianhang Zheng，秦湛，Xue Liu
来源：Adversarial Attacks and Defenses in Deep Learning[J].Engineering,2020,6(3):346-360.
编者按
在深度学习算法驱动的数据计算时代，深度学习算法在音视频识别、自然语言处理和博弈论等领域得到了广泛应用，为此，确保深度学习算法具有安全性和鲁棒性至关重要。最近，研究发现深度学习算法无法有效地处理对抗样本，此问题是所有基于深度学习系统的安全隐患。
中国工程院院刊《Engineering》刊发的《深度学习中的对抗性攻击和防御》一文，将总结对抗性攻击和防御研究领域中最前沿的研究成果，介绍深度学习对抗攻击技术的理论基础、算法和应用，并根据目前的研究进展对攻击和防御方式的有效性进行评述，介绍防御方法中的一些代表性研究成果。这些攻击和防御机制可以为该领域的前沿研究提供参考。此外，文章进一步提出了一些开放性的技术挑战，并希望读者能够从所提出的评述和讨论中受益。
视频介绍丨深度学习中的对抗性攻击和防御
视频来源：任奎
随着计算机产业的发展带来的计算性能与处理能力的大幅提高，深度学习算法在音视频识别、自然语言处理和博弈论等领域得到了广泛应用。在此背景下，确保深度学习算法具有安全性和鲁棒性至关重要。
然而，近年来研究者发现深度学习模型存在着易受对抗样本攻击的安全隐患。攻击者可以通过向良性数据中添加特定的扰动生成对抗样本。附加轻微扰动的对抗样本不会影响人类的判断，却会使深度学习模型产生错误的结果。同时，对抗攻击在自动驾驶等场景中的成功实施更加表明了对抗攻击在现实世界中的可行性。因此有关对抗攻击和对抗防御技术的研究引起了机器学习和安全领域研究者越来越多的关注。
《深度学习中的对抗攻击和防御》一文围绕着对抗攻击和对抗防御领域中最前沿的研究成果，介绍了对抗攻击和防御技术的理论基础、经典算法以及在工业领域的应用等方面的内容。
首先，文章根据威胁模型、对抗扰动的测度以及应用场景等多角度系统地介绍了具有代表性的对抗攻击算法。根据攻击者可获得的信息不同，可将威胁模型划分成白盒、灰盒和黑盒攻击三类。白盒攻击下，攻击者可以获得目标模型的全部信息；灰盒攻击下，攻击者仅可获取模型的结构信息但无法获得模型参数，有模型的查询权限；黑盒攻击下，攻击者仅拥有模型的查询权限。多数攻击算法都是为白盒模型设计的，但是由对抗样本在模型之间的可传递性这一特性，它们同样适用于灰盒模型和黑盒模型。根据附加扰动的测度不同，文章中分别介绍了经典的对抗攻击算法，包括L-BFGS, Fast Gradient Sign Method, Projected Gradient Descent, Distributionally Adversarial Attack, Carlini and Wagner Attacks, Jacobian-based Saliency Map Attack, 以及DeepFool等。根据应用场景的变化，文章详细介绍了图像分割、3D识别、音频识别和强化学习等工业领域中对抗攻击实施的案例。
其次，文章介绍了多种有效的对抗防御技术，包括启发式防御和可证明式防御两类。启发式防御对某些特定攻击具有良好的防御性能，但没有给出防御性能的理论性保障。当前最成功的启发式防御是对抗训练，它试图通过将对抗样本纳入模型的训练阶段来提高模型的鲁棒性。根据经验结果，PGD对抗训练可在MNIST，CIFAR10和ImageNet等多个基准数据集上针对各种攻击保持最好的防御效果。与启发式防御对比，可证明式防御在明确知道对抗攻击类别的情况下，在能够做出有效防御的同时计算出模型性能的下界。但是根据实验结果，可证明式防御措施的实际性能仍然比对抗训练的性能差很多。
最后，文章中讨论了提出了对该研究领域的见解，并列举了该领域中尚未解决的开放问题，例如对抗样本产生的原因、一般鲁棒性边界的是否存在等。近两年来新的对抗攻击和防御迅速发展，同时针对对抗样本的因果关系、一般鲁棒边界的存在等基本问题还需要深入研究。此外我们还没有看到一种有效的对抗防御方法，目前最有效的防御是对抗性训练，但其在实际部署中计算成本太高。许多启发式防御都声称其是有效的，但这类防御目前还不能抵御自适应性白盒攻击者的攻击。简而言之，要达到有效防御的目标似乎还有很长的路要走。
图1 对抗攻击的爆发
改编丨秦湛
注：本文内容呈现形式略有调整，若需可查看原文。
改编原文：
Kui Ren, Tianhang Zheng, Zhan Qin, Xue Liu.Adversarial Attacks and Defenses in Deep Learning[J].Engineering,2020,6(3):346-360.
https://doi.org/10.1016/j.eng.2019.12.012
☟ 如需阅读全文，请扫描二维码或点击文末“阅读原文”
☟ “人工智能”专题更多相关文章，请点击标题链接或扫描二维码查看
Artificial Intelligence: Enabling Technology to Empower Society
吕跃广
扫描二维码，阅读阅文
Multiple Knowledge Representation of Artificial Intelligence
潘云鹤
扫描二维码，阅读阅文
如何解读机器知识
How to Interpret Machine Knowledge
李发伸，李廉，殷建平，张勇，周庆国，况琨
扫描二维码，阅读阅文
The General-Purpose Intelligent Agent
卢策吾，王世全
扫描二维码，阅读阅文
The Next Breakthroughs of Artificial Intelligence: The Interdisciplinary Nature of AI
庄越挺，蔡铭，李学龙，罗先刚，杨强，吴飞
扫描二维码，阅读阅文
From Brain Science to Artificial Intelligence
范静涛，方璐，吴嘉敏，郭雨晨，戴琼海
扫描二维码，阅读阅文
因果推理
Causal Inference
况琨，李廉，耿直，徐雷，张坤，廖备水，黄华新，丁鹏，苗旺，蒋智超
扫描二维码，阅读阅文
深度神经网络加速器体系结构概述
A Survey of Accelerator Architectures for Deep Neural Networks
陈怡然，谢源，宋凌皓，陈凡，唐天琪
扫描二维码，阅读阅文
神经自然语言处理最新进展——模型、训练和推理
Progress in Neural NLP: Modeling, Learning, and Reasoning
周明，段楠，刘树杰，沈向洋
扫描二维码，阅读阅文
Artificial Intelligence in Healthcare: Review and Prediction Case Studies
荣国光，Arnaldo Mendez，Elie Bou Assi，赵博，Mohamad Sawan
扫描二维码，阅读阅文
Ethical Principles and Governance Technology Development of AI in China
吴文峻，黄铁军，龚克
扫描二维码，阅读阅文
The Next Breakthroughs of Artificial Intelligence: The Interdisciplinary Nature of AI
朱毅鑫，高涛，范丽凤，黄思远，Mark Edmonds，刘航欣，高枫，张驰，Siyuan Qi，吴英年，Joshua B. Tenenbaum，朱松纯
扫描二维码，阅读阅文
深度学习中的对抗性攻击和防御
Adversarial Attacks and Defenses in Deep Learning
任奎，Tianhang Zheng，秦湛，Xue Liu
扫描二维码，阅读阅文
深度学习的几何学解释
A Geometric Understanding of Deep Learning
雷娜，安东生，郭洋，苏科华，刘世霞，罗钟铉，丘成桐，顾险峰
扫描二维码，阅读阅文
点击图片阅读丨人工智能专题
中国工程院院刊
工程造福人类
科技开创未来
微信公众号ID ：CAE-Engineering
说明：论文反映的是研究成果进展，不代表《中国工程科学》杂志社的观点。