创建一个AI红色团队来保护关键基础架构

当今最强大的人工智能（AI）工具是机器学习。

就像该名称所暗示的那样，机器学习（ML）程序在接触到足够的数据时，可以学会识别面孔，导航拥挤的高速公路和转录口语句子。

然而，就像人类一样，他们也会犯错，坏演员可以欺骗他们。

对于许多人来说，这是一个日益关注的问题，尤其是因为我们越来越依赖于国家的机器学习关键基础设施，包括运输，医疗保健和能源部门。

例如，通过在他的翻领上贴上一个小的贴纸，人眼几乎看不到，坏演员就可以欺骗面部识别系统以将他识别为其他人，从而绕开或逃避了从机器学习系统中绕过或逃避检测。

负责MITER决策科学研究计划的Mikel Rodriguez说：“ AI攻击与网络攻击不同，插入代码会发生变化。”“对ML系统的攻击以原始算法的作者甚至可能不清楚的方式欺骗​​人工智能逻辑。”

这些漏洞在机器学习的几乎每个应用领域都得到了证明，包括计算机视觉，语音识别和自然语言处理。大量研究表明，潜在的攻击者如何逃避和混淆面部和物体识别系统，并具有特殊易于察觉的图像变化。贴纸停车标志可能会使自动驾驶汽车的视觉系统误认为其屈服标志。AI攻击者可以巧妙地修改音频信号因此，这听起来像是人类的背景噪音，但是触发了像Alexa或Siri这样的语音助手来执行特定的命令。

为了应对机器学习中的这些漏洞，Miter正在开发一个供应商AI供应链供应链脆弱性评估工具的生态系统。罗德里格斯说：“这些创新将有助于公共部门定量评估反-AI漏洞，应用保障措施，为供应商提供透明度，并降低关键基础设施的风险。”

更重要的是，他说Miter在网络安全方面的深刻经验是答案的一部分。

红色队伍：采取对抗性的AI安全方法

罗德里格斯（Rodriguez）说，我们现在与AI处于类似的位置，与1990年代中期的网络安全相似。

他说，我们还可以从网络安全方面学到一课 - 对抗性方法或红色团队的力量。“红色团队”（或“道德黑客”）致力于暴露脆弱性，以使系统更强大。

作为我们的经验Miter的ATT＆CK（基于现实世界观察的对手策略和技术的全球知识基础）表明，良好的进攻确实是最好的防御。

罗德里格斯（Rodriguez）认为，不仅要在政府和行业中工作，还需要一个独立的AI红色团队。这尤其重要，因为AI（以及迄今为止最大的研发支出）的最大创新是在学术界和工业内部，而不是政府。

成功的AI红色团队的特征

Rodriguez说，为了使AI红色团队取得成功，必须：

• 独立运营以确保安全和新的视角。AI红色团队不应位于特定的政府机构或商业公司内。几乎所有的AI都建立在专有算法的基础上，私营部门的压倒性增长。红色团队必须能够确保敏感的数据安全，同时在识别风险方面透明。
• 了解AI攻击向量的快速发展的景观。AI红色团队必须知道真正的对手知道什么。真正的对手可能会在ML系统生命周期中的任何地方攻击，例如尽早中毒系统，或独立地设计和测试攻击以实现所需的效果并在准备就绪时释放它们，例如在停车标志上贴上贴纸以愚弄自动驾驶汽车。因此，红色团队必须收集并保留有关现有AI系统和攻击向量的所有可用信息。
• 开发和维护反-AI威胁模型。该模型将提供一个框架，以更好地了解依赖机器学习的系统的潜在威胁，脆弱性和风险。这种威胁模型确定了给定反对漏洞的可能性以及攻击对机器学习系统以及其支持的基础架构的影响。
• 定量证据的基本建议。当前，有关AI威胁的许多证据都是基于在实际操作中并不总是相关的学术指标。AI红色团队必须发明方法来衡量攻击现实世界系统的对手的脆弱性和潜在影响。

罗德里格斯说：“好消万博下载包息是，我们有机会在更早的阶段开始处理AI攻击。”

“全球网络是由安全性开发的，而不是核心设计组成部分，而我们今天仍在为此付出代价。考虑到社会面前的安全，安全性和隐私为止，还为时不晚越来越多地依靠这项技术。”

- 比尔·埃德森（Bill Eidson）