安全软件巨头联合发布新框架，针对破坏机器学习的恶意软件攻击
共 1331字，需浏览 3分钟
·
2020-10-30 03:56
技术编辑：芒果果丨发自 思否编辑部
公众号：SegmentFault
微软与 MITRE、IBM、NVIDIA 和 Bosch 合作发布了一个新的开放框架，旨在帮助安全分析人员检测、响应和补救针对机器学习（ML）系统的对抗性攻击。
这个被称为“对抗性机器学习威胁矩阵”的项目试图组织恶意对手在破坏机器学习系统时使用不同的技术。
恶意软件威胁 AI 应用程序的稳定性和安全性
正如人工智能和机器学习被部署在各种各样的新型应用程序中一样，威胁参与者不仅可以滥用该技术来增强其恶意软件的能力，还可以利用该技术欺骗机器学习模型，从而导致系统做出错误决定，并威胁到 AI 应用程序的稳定性和安全性。
知名安全软件公司 ESET 的研究人员去年发现，一种基于电子邮件的恶意软件 Emotet 正在利用机器学习来提高其目标锁定能力。Emotet 曾支持过几次僵尸网络驱动的垃圾邮件攻击和勒索软件攻击。
本月早些时候，微软警告了一种新的 Android 勒索软件病毒，其中包括一种机器学习模型，该模型虽然尚未集成到恶意软件中，但可以用于将勒索信息图像放入移动设备的屏幕内而不会产生任何失真。
此外，研究人员还研究了所谓的模型反转攻击，即滥用模型访问权限来推断有关训练数据的信息。
多数企业没有合适的工具保护机器学习系统
根据微软引用的 Gartner 报告，到 2022 年，预计 30% 的人工智能网络攻击将利用训练数据中毒、模型盗窃或对抗性样本来攻击机器学习驱动的系统。
微软表示，尽管有这些令人信服的理由来确保机器学习系统的安全，但微软对 28 家企业的调查发现，大多数行业从业者尚未接受对抗性的机器学习。微软称，“这 28 家企业中有 25 家表示它们没有合适的工具来保护自己的机器学习系统。”
对抗性的机器学习威胁矩阵希望通过一些列的漏洞和对手行为来解决数据武器化带来的威胁，微软和 MITRE 审查这些漏洞和行为对机器学习系统是有效的。
公司可以使用对抗性的机器学习威胁矩阵来测试他们的人工智能模型的适应能力，通过模拟真实的攻击场景，使用一系列策略来获得对环境的初始访问权限，执行不安全的机器学习模型，污染训练数据，并通过模型窃取攻击来窃取敏感信息。
新框架被广泛应用，简化安全分析人员学习过程
微软说：“对抗性机器学习威胁矩阵的目的是将对机器学习系统的攻击定位在一个框架之中，安全分析人员可以将自己定位在这些新的和即将来临的威胁中。”
他们还提到，这个矩阵的结构类似于 ATT&CK 框架，因为它在安全分析人员社区中得到了广泛的采用。这样，安全分析人员不必学习新的或不同框架来了解机器学习系统面临的威胁。
这是保护人工智能免受数据中毒和模型规避攻击的一系列措施中的最新进展。值得注意的是，来自约翰霍普金斯大学的研究人员开发了一个名为 TrojAI 的框架，旨在阻止木马攻击，其中对模型进行了修改，以响应导致其推断出错误响应的输入触发器。
