AI安全
摘要
近年来，随着海量数据的积累、计算能力的发展、机器学习方法与系统的持续创新与演进，诸如图像识别、语音识别、自然语言翻译等人工智能技术得到普遍部署和广泛应用，人工智能正朝着历史性时刻迈进。与此同时，AI对于传统计算机安全领域的研究也产生了重大影响，除了利用AI来构建各种恶意检测、攻击识别系统外，黑客也可能利用AI达到更精准的攻击。除此之外，在关键的AI应用场景上，AI自身的安全性变得前所未有的重要，极需要构建一个不会被外界干扰而影响判断的健壮AI系统。可以说AI帮助了安全，安全也能帮助AI。
本文主要目的是探讨AI自身的安全，确保AI模型和数据的完整性与保密性，使其在不同的业务场景下，不会轻易地被攻击者影响而改变判断结果或泄露数据。不同于传统的系统安全漏洞，机器学习系统存在安全漏洞的根因是其工作原理极为复杂，缺乏可解释性。各种AI系统安全问题（恶意机器学习）随之产生，闪避攻击、药饵攻击以及各种后门漏洞攻击层出不穷。这些攻击不但精准，而且对不同的机器学习模型有很强的可传递性，使得基于深度神经网络（DNN）的一系列AI应用面临较大的安全威胁。例如，攻击者在训练阶段掺入恶意数据，影响AI模型推理能力；同样也可以在判断阶段对要判断的样本加入少量噪音，刻意改变判断结果；攻击者还可能在模型中植入后门并实施高级攻击；也能通过多次查询窃取模型和数据信息。
为了应对AI安全的新挑战，本文提出了将AI系统部署到业务场景中所需要的三个层次的防御手段：攻防安全，对已知攻击设计有针对性的防御机制；模型安全，通过模型验证等手段提升模型健壮性；架构安全，在部署AI的业务中设计不同的安全机制保证业务安全。
AI安全面临五大挑战
AI有巨大的潜能改变人类命运，但同样存在巨大的安全风险。这种安全风险存在的根本原因是AI算法设计之初普遍未考虑相关的安全威胁，使得AI算法的判断结果容易被恶意攻击者影响，导致AI系统判断失准。在工业、医疗、交通、监控等关键领域，安全危害尤为巨大；如果AI系统被恶意攻击，轻则造成财产损失，重则威胁人身安全。
AI安全风险不仅仅存在于理论分析，并且真实的存在于现今各种AI应用中。例如攻击者通过修改恶意文件绕开恶意文件检测或恶意流量检测等基于AI的检测工具；加入简单的噪音，致使家中的语音控制系统成功调用恶意应用；刻意修改终端回传的数据或刻意与聊天机器人进行某些恶意对话，导致后端AI系统预测错误；在交通指示牌或其他车辆上贴上或涂上一些小标记，致使自动驾驶车辆的判断错误。
应对上述AI安全风险，AI系统在设计上面临五大安全挑战：
- 软硬件的安全：在软件及硬件层面，包括应用、模型、平台和芯片，编码都可能存在漏洞或后门；攻击者能够利用这些漏洞或后门实施高级攻击。在AI模型层面上，攻击者同样可能在模型中植入后门并实施高级攻击；由于AI模型的不可解释性，在模型中植入的恶意后门难以被检测。
- 数据完整性：在数据层面，攻击者能够在训练阶段掺入恶意数据，影响AI模型推理能力；攻击者同样可以在判断阶段对要判断的样本加入少量噪音，刻意改变判断结果。
- 模型保密性：在模型参数层面，服务提供者往往只希望提供模型查询服务，而不希望曝露自己训练的模型；但通过多次查询，攻击者能够构建出一个相似的模型，进而获得模型的相关信息。
- 模型鲁棒性：训练模型时的样本往往覆盖性不足，使得模型鲁棒性不强；模型面对恶意样本时，无法给出正确的判断结果。
- 数据隐私：在用户提供训练数据的场景下，攻击者能够通过反复查询训练好的模型获得用户的隐私信息。
AI安全防御框架
图1，AI安全防御架构
图1描绘了AI系统部署到业务场景中所需要三个层次的防御手段：攻防安全、模型安全和架构安全。
攻防安全：针对已知攻击，设计有针对性的防御机制保护AI系统安全。目前主流的几种攻击方法包括闪避攻击、药饵攻击、后门攻击和模型/数据窃取攻击。针对这些攻击对应的防御技术包括对抗训练、网络蒸馏、对抗样本检测、DNN模型验证、训练数据过滤、集成分析、模型剪枝、隐私聚合教师模型等防御技术。
模型安全：恶意机器学习（Adversarial ML）广泛存在，闪避攻击（Evasion）、药饵攻击（Poisoning）以及各种后门漏洞攻击无往不利，攻击不但精准、也有很强的可传递性（Transferability），使得AI模型在实用中造成误判的危害极大。因此，除了针对那些已知攻击手段所做的防御之外，也应增强AI模型本身的安全性，避免其它可能的攻击方式造成的危害。关键技术包括模型可检测性、模型可验证性和模型可解释性。
架构安全：在大力发展人工智能的同时，必须高度重视AI系统引入可能带来的安全风险，加强前瞻预防与约束引导，最大限度降低风险，确保人工智能安全、可靠、可控发展。而在业务中使用AI模型，则需要结合具体业务自身特点和架构，分析判断AI模型使用风险，综合利用隔离、检测、熔断和冗余等安全机制设计AI安全架构与部署方案，增强业务产品健壮性。
