《人工智能的恶意使用：预测、预防和缓解》导读（一）

一、概述

人工智能和机器学习能力正在以前所未有的速度增长，并被广泛应用。但是，到目前为止，人们对人工智能被恶意使用的问题关注较少。

本报告调查了恶意使用人工智能技术的潜在安全威胁的情况，并提出了更好地预测、预防和缓解这些威胁的方法。

报告使用“恶意使用”（Malicious Use）等概念而不是“黑客攻击”，因为它们的表现形式并不一定是传统意义上的黑客攻击。我们将会看到，有些恶意使用的行为，完全看不到传统意义上的攻击表现。

报告在较高的层面上，提出了四项总体建议：

1. 合作：政策制定者应与技术研究人员紧密合作，调查、预防和缓解人工智能的潜在恶意使用。
2. 认识：人工智能领域的研究人员和工程师应认真对待其工作的双重用途（Dual-use，即双刃性——编者注）性质，把可能被滥用的考虑加入到研究的优先次序和规范中，并在可预见的有害应用中主动与相关行为者联系。
3. 方法：应在具有解决双重用途问题的更成熟方法的研究领域（如计算机安全）确定最佳做法，并在适用于人工智能的情况下引进。
4. 扩展：积极寻求扩大参与讨论这些挑战的利益相关者和领域专家的范围。

报告预计，随着人工智能的能力变得更加强大和广泛，可能受到的威胁会发生这些变化：

• 现有威胁的扩大。大规模使用人工智能系统来完成通常需要人类劳动、智慧和专业知识的任务，使得攻击成本可能会大幅度降低。
• 引入新的威胁。通过使用人工智能系统来完成对人类来说不切实际的任务，可能会产生新的攻击。而且，恶意行为者也可能利用防御者部署的人工智能系统的漏洞来达到攻击目的。
• 改变威胁的典型特征。研究者们相信，越来越多地使用人工智能而形成的攻击会更加有效、更为精准并难以归因，而且正常人工智能系统的漏洞也会被利用。

报告集中考虑三个方面的安全领域，并通过有代表性的例子说明这些领域内安全威胁的可能变化：

• 数字安全领域。使用人工智能使实施网络攻击的任务自动化，将使得现有攻击的规模和效率平衡的问题不再成为障碍。这可能会扩大密集型网络攻击相关的威胁（如鱼叉式网络钓鱼）。还可能利用人类的弱点（例如使用语音合成来冒充）、现有软件的弱点（例如通过自动黑客攻击）或人工智能系统的弱点，形成新型攻击（例如对抗数据或数据毒化）。
• 实体安全领域。使用人工智能来自动执行与无人机和其他物理系统有关的攻击任务（例如通过部署自主武器系统）可能会扩大与这些攻击有关的威胁。还可能有破坏网络的物理系统（如导致自动驾驶车辆崩溃），或涉及远程指挥不可行的物理系统（如成千上万的微型无人机群）的新型攻击。
• 政治安全领域。使用人工智能来实现监控（如分析大量收集的数据）、说服（如创建有针对性的宣传）和欺骗（如操纵视频）方面的自动化任务，可能会扩大与隐私侵犯和社会操纵有关的威胁。并且预计会有新的攻击，例如利用改进后的能力，在现有数据的基础上分析人类的行为、情绪和信仰。这些问题在专制国家的背景下最为严重，但也可能破坏民主国家维持真实的公共辩论的能力。

除了上面列出的高层面的四个总体建议，报告还提议在四个优先研究领域内探索几个开放性问题和潜在的干预措施：

• 向网络安全界学习并与之合作。在网络安全和人工智能攻击的交叠处，我们强调需要探索红色团队、形式验证、负责任的漏洞披露、安全工具和安全硬件等形式的方法，并在可能的情况下具体实施。
• 探讨不同的开放模式。随着人工智能和机器学习的双重用途性质变得明显，我们强调有必要围绕研究的开放性重新设想规范和制度，可以这几个方面开始：公开发表前的风险评估、集中的访问许可模式、有利于安全和保障的共享制度，以及其他双重用途技术的经验教训。
• 促进责任文化。人工智能研究人员和雇用他们的组织在塑造人工智能世界的安全景象方面处于独特的地位。报告强调了教育、道德声明和标准、框架、规范，以及期望的重要性。
• 开发技术和政策解决方案。除了上述内容外，报告还研究了一系列有希望的技术以及政策干预措施，这些技术和政策干预措施可以帮助用人工智能建立一个更安全的未来。需要进一步研究的高层次领域包括隐私保护、协调使用人工智能的公益安全、监测人工智能相关的资源，以及其他立法和监管对策。

拟议的干预措施不仅需要人工智能研究人员和公司的关注和行动，也需要立法者、公务员、监管者、安全研究人员和教育工作者的关注和行动。报告认为这些任务是十分艰巨的。