《人工智能的恶意使用：预测、预防和缓解》导读（全文）

2018年2月，来自牛津大学、剑桥大学、OpenAI、人类未来学院、风险研究中心等组织的联合团队，在Arxiv上发表了一篇长达100页研究报告，揭示了人工智能的另外一面 —— 恶意使用人工智能对我们这个世界可能产生的巨大危害。研究报告还提出了预防此类问题的相关建议。

也许在当时，这篇文章的重要性还没那么显著。甚至也许会有人会觉得他们是不是想太多了，或者因为《黑客帝国》或是各种各样的科幻电影看得太多了。

时间过去4年。元宇宙的横空出世，以及人们对元宇宙的巨大热情，让我们不得不更加认真地对这篇文章提出的问题进行审视。

文中提出的种种潜在的攻击手段，在我看来，在今天这个世界上随时都可能发生，也许此刻正在发生，也并不需要等待元宇宙的落地。

人工智能早已不是AlphaGo下下围棋那么简单，也不仅仅是大家熟知自动驾驶领域。实际上，人工智能不再局限在单纯的研究圈子或有限的几个领域，已经逐渐渗入到了我们工作和日常生活的方方面面。今天你上网的每一个行为，你在街上被摄像头每一次的拍摄，你在商店里的每一笔消费，你在远程会议中的一举一动，背后都有极大的可能有人工智能的影子。

套用一句话：Big brother is watching you！

如果说过去的黑客攻击行为其危害还相当有限的话，可以预见，涉及人工智能的恶意攻击，无论对虚拟网络世界还是真实物理世界，都会产生更大的危害，只不过可能更加隐蔽。在虚拟世界与真实世界结合的元宇宙，这种危害可能更加巨大，甚至可能是无限的。

今天，研究和预防相关问题的工作变得刻不容缓。

因此，我写这篇导读，是希望给相关研究人员和从业人员，也给我们普通网民但尤其是元宇宙的热衷者一个警示，及探索了解一些保护自身、保护社会的方法。

该研究报告题目为：The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation，即《人工智能的恶意使用：预测、预防和缓解》。

英文原版可以点击此处免费下载。中文版则暂时无处可寻，也许本系列文章可以起到一定的替代作用。

目录：

1. 概要
2. AI是一把双刃剑
3. AI提供了什么样的新能力？
4. 攻击变化：扩大现有危险、引入新的危险、改变攻击特征
5. 攻击场景：数字空间、物理世界、政治环境
6. 干预措施建议
7. 总结

一、概述

人工智能和机器学习能力正在以前所未有的速度增长，并被广泛应用。但是，到目前为止，人们对人工智能被恶意使用的问题关注较少。

本报告调查了恶意使用人工智能技术的潜在安全威胁的情况，并提出了更好地预测、预防和缓解这些威胁的方法。

报告使用“恶意使用”（Malicious Use）等概念而不是“黑客攻击”，因为它们的表现形式并不一定是传统意义上的黑客攻击。我们将会看到，有些恶意使用的行为，完全看不到传统意义上的攻击表现。

报告在较高的层面上，提出了四项总体建议：

1. 合作：政策制定者应与技术研究人员紧密合作，调查、预防和缓解人工智能的潜在恶意使用。
2. 认识：人工智能领域的研究人员和工程师应认真对待其工作的双重用途（Dual-use，即双刃性——编者注）性质，把可能被滥用的考虑加入到研究的优先次序和规范中，并在可预见的有害应用中主动与相关行为者联系。
3. 方法：应在具有解决双重用途问题的更成熟方法的研究领域（如计算机安全）确定最佳做法，并在适用于人工智能的情况下引进。
4. 扩展：积极寻求扩大参与讨论这些挑战的利益相关者和领域专家的范围。

报告预计，随着人工智能的能力变得更加强大和广泛，可能受到的威胁会发生这些变化：

• 现有威胁的扩大。大规模使用人工智能系统来完成通常需要人类劳动、智慧和专业知识的任务，使得攻击成本可能会大幅度降低。
• 引入新的威胁。通过使用人工智能系统来完成对人类来说不切实际的任务，可能会产生新的攻击。而且，恶意行为者也可能利用防御者部署的人工智能系统的漏洞来达到攻击目的。
• 改变威胁的典型特征。研究者们相信，越来越多地使用人工智能而形成的攻击会更加有效、更为精准并难以归因，而且正常人工智能系统的漏洞也会被利用。

报告集中考虑三个方面的安全领域，并通过有代表性的例子说明这些领域内安全威胁的可能变化：

• 数字安全领域。使用人工智能使实施网络攻击的任务自动化，将使得现有攻击的规模和效率平衡的问题不再成为障碍。这可能会扩大密集型网络攻击相关的威胁（如鱼叉式网络钓鱼）。还可能利用人类的弱点（例如使用语音合成来冒充）、现有软件的弱点（例如通过自动黑客攻击）或人工智能系统的弱点，形成新型攻击（例如对抗数据或数据毒化）。
• 实体安全领域。使用人工智能来自动执行与无人机和其他物理系统有关的攻击任务（例如通过部署自主武器系统）可能会扩大与这些攻击有关的威胁。还可能有破坏网络的物理系统（如导致自动驾驶车辆崩溃），或涉及远程指挥不可行的物理系统（如成千上万的微型无人机群）的新型攻击。
• 政治安全领域。使用人工智能来实现监控（如分析大量收集的数据）、说服（如创建有针对性的宣传）和欺骗（如操纵视频）方面的自动化任务，可能会扩大与隐私侵犯和社会操纵有关的威胁。并且预计会有新的攻击，例如利用改进后的能力，在现有数据的基础上分析人类的行为、情绪和信仰。这些问题在专制国家的背景下最为严重，但也可能破坏民主国家维持真实的公共辩论的能力。

除了上面列出的高层面的四个总体建议，报告还提议在四个优先研究领域内探索几个开放性问题和潜在的干预措施：

• 向网络安全界学习并与之合作。在网络安全和人工智能攻击的交叠处，我们强调需要探索红色团队、形式验证、负责任的漏洞披露、安全工具和安全硬件等形式的方法，并在可能的情况下具体实施。
• 探讨不同的开放模式。随着人工智能和机器学习的双重用途性质变得明显，我们强调有必要围绕研究的开放性重新设想规范和制度，可以这几个方面开始：公开发表前的风险评估、集中的访问许可模式、有利于安全和保障的共享制度，以及其他双重用途技术的经验教训。
• 促进责任文化。人工智能研究人员和雇用他们的组织在塑造人工智能世界的安全景象方面处于独特的地位。报告强调了教育、道德声明和标准、框架、规范，以及期望的重要性。
• 开发技术和政策解决方案。除了上述内容外，报告还研究了一系列有希望的技术以及政策干预措施，这些技术和政策干预措施可以帮助用人工智能建立一个更安全的未来。需要进一步研究的高层次领域包括隐私保护、协调使用人工智能的公益安全、监测人工智能相关的资源，以及其他立法和监管对策。

拟议的干预措施不仅需要人工智能研究人员和公司的关注和行动，也需要立法者、公务员、监管者、安全研究人员和教育工作者的关注和行动。报告认为这些任务是十分艰巨的。

二、AI是一把双刃剑

（编者按：在上一节亦即概要部分，已经基本按照原文列举了该报告的全部关键内容。为了更加突出重点和更好理解，本导读的正文并不完全按照原报告叙述。考虑到AI的Dual-use即双刃性质是贯穿全文的关键性质，因此本节从原文的第二章中抽取一部分内容，在本小节中专门阐述此问题。）

人工智能领域的目标是实现广泛任务的自动化。目前人工智能研究人员研究的典型人物主要是玩游戏、引导车辆和对图像进行分类（报告提出的时候，元宇宙概念还不热门——编者注）。但从原则上讲，人类或非人类动物利用其智慧完成的任何任务都可以成为人工智能努力的目标。

虽然人工智能领域可以追溯到20世纪50年代，但最近几年的快速进展和增长使其具有更大和更广泛的相关性。研究人员在其最常研究的一些任务上取得了突然的性能提升。例如，目前人工智能对图像的识别准确率，在最近的很短一段时间里突然明显超过了人类（98% vs. 95%）。除了竞技游戏，在语音合成、图像生成等方面也有惊人的成就。

图一显示了人工智能图像识别的进展过程，其中虚线代表人类的水平，可见人工智能已经超过人类水平。

下面的图二是人工智能自动产生的人脸图像示例，可以看到，它们与真实照片已经几乎看不出区别。（此图由编者添加，原文没有此图）

（在本报告发布后的短短几年里，AlphaGo系列AI取得更多长足的进展，例如MuZero已经可以自动学习围棋或其他棋类、游戏的规则，以及，AlphaFold识别了几乎全部蛋白质结构，再有，AI判罚在2022年卡塔尔世界杯中的应用，等等， 这些成就让人惊叹不已——编者注）

从安全的角度来看，这些成就中的一部分已经非常值得注意了。例如，能够识别目标的脸并具备空间导航的能力的人工智能，可以应用于自主武器系统；同样，生成合成图像、文本和音频的能力可以被用于冒充他人，或通过社交媒体渠道发布人工智能生成的内容来动摇公众舆论。

人工智能系统以及如何设计人工智能的知识，既可以被用于民用，也可以被用于军用。更广泛地说，既可能被用于有益目的，也可能被用于有害目的。

也可以这么说，需要智能的任务既可能是良性的，也可能是恶性的，这与人类智能的意义相同。所以作为模仿甚至会超越人类智能的人工智能来说，必然可能产生双重用途。而对于可能产生有害目的的研究和系统，AI研究人员可能无法简单地自我判断和规避，因此产生有害系统的可能性是存在的（在后面的应对策略章节，会提出教育研究人员的建议）。

许多有利于自动化的任务本身就是双重用途的。例如，检查软件漏洞的系统同时具有进攻性和防御性，用于运送包裹的自主无人机的能力和用于运送爆炸物的自主无人机的能力之间的差别不必很大。此外，关于人工智能的基础性研究，本质上也可以是双重用途的。

这就是为什么说：人工智能是一个双重用途的技术领域，它是一把双刃剑。

三、AI提供了什么样的新能力？

人工智能的安全性问题之所以需要特别关注，不仅因为AI的双重用途性质，更因为AI本身提供了很多强大的新的能力。

这些新的能力固然是AI的优点，也是我们发展AI的目的，但与此同时，这些扩展的新能力又让AI相关的安全性问题可能会更加严重。

让我们来看看有AI提供了怎样的新能力。

1. 人工智能系统通常非常高效又可扩展。人工智能系统一旦完成训练，往往能比人类更快且成本更低地完成某种任务；并且，通过增加其算力或通过复制副本，可以很容易地完成更多的此类任务。比如，一个典型的面部识别系统一旦被开发和训练，它就可以应用于许多不同的摄影画面，而其成本远远低于雇佣人类分析师来做同样的工作。
2. 人工智能系统可以超越人类的能力极限。人工智能系统可能比任何人类都能更好地完成一项特定的任务。最有名的人工智能系统AlphaGo已经在国际象棋和围棋等游戏方面大大优于世界上最优秀的选手。对于许多其他任务，无论是良性的还是潜在有害的，似乎没有根本性的理由说明目前观察到的人类水平的能力是可以实现的最高水平。
3. 人工智能系统可以增加匿名性和心理距离。人们的许多任务涉及到与其他人沟通、观察或被观察、做出响应他人行为的决定，或者必须当面完成的必要性。这些必要性会造成作为有血有肉有感情的人类完成任务的一些障碍，但人工智能通过让这些任务自动化，可以让原本执行这些任务的人保持匿名，并与他们所影响的人有更大程度的心理距离，从而减少障碍。例如，使用自主武器系统进行暗杀的人，而不是使用手枪，既避免了出现在现场，也避免看到受害者。
4. 人工智能的发展使其能够迅速扩散。虽然攻击者可能会发现获得或复制与人工智能系统相关的硬件，如强大的计算机或无人机，成本很高，但一般来说，获得软件或相关的科学发现则要容易得多。事实上，许多新的人工智能算法可以在几天或几周内复制出来。此外，人工智能研究文化的一个特点是高度开放，例如，许多论文都附有源代码。因此，即使证明了限制某些内容的扩散是必要的，实际上也可能很难实现。

这些新的能力，完全可能成为恶意攻击的放大器，使得AI安全的严重性大大超过传统信息安全问题。

不仅如此，今天的人工智能系统还存在着许多尚未解决的新形式的漏洞。比如，数据中毒（引入导致学习系统犯错的训练数据）、对抗性样本（设计成被机器学习系统错误分类的输入），以及利用自主系统目标设计中的缺陷。这些漏洞与传统的软件漏洞（如缓冲区溢出）完全不同。

不过有趣的是，这些新型的漏洞，表明AI虽然可以在许多方面超过人类，但也可能以人类身上永远不会发生的方式失败（就像许多科幻电影里人类总是能以某种奇特的方式打败貌似不可战胜的邪恶机器人一样——编者注）。

四、攻击变化预测：扩大现有威胁、引入新的威胁、改变攻击特征

基于前面关于AI双刃剑和AI新能力的讨论，报告预计，人工智能的安全攻击在高层面上可以归纳出三个方面的变化发展：

• 扩大现有威胁
• 引入新的威胁
• 改变攻击特征

报告特别强调，预计人工智能的安全攻击通常会更有效，目标更精细，更难以归因，并且更有可能利用人工智能系统本身的漏洞。

1、扩大现有威胁

对于许多人们熟知的攻击，报告预计人工智能的进步会让更多人具备攻击的能力，并且可以提高攻击速度，以及扩大攻击范围。这是因为人工智能系统的效率、可扩展性和扩散的便利性。并且，由于效率和可扩展性，从成本效益分析的角度来看，攻击那些原本没有意义的目标可能变得有价值。

下面将详细讨论可能以这些方式扩大的威胁的一个例子，即鱼叉式网络钓鱼攻击的威胁。这些攻击使用个性化的信息从个人那里获取敏感信息或金钱，攻击者通常会冒充目标的朋友、同事或专业人士。

通常，网络钓鱼攻击需要大量的熟练劳动力，因为攻击者必须识别适当的高价值目标，研究这些目标的社会和职业网络，然后在这种情况下生成可信的信息。如果一些相关的研究和综合任务能够自动化，那么就可能有更多组织从事网络钓鱼。例如，攻击者必须与目标讲相同的语言这项基本要求可能就不再存在了。通过人工智能，攻击者能获得大规模钓鱼的能力，并且在选择目标方面变得不那么有区别性。

类似的分析可以应用于大多数种类的网络攻击，以及目前需要非大量人力劳动的物理或政治安全威胁。

人工智能的进步也可能通过提高行为者实施某些攻击的意愿，来扩大现有威胁。这种说法来自于不断增加的匿名性和不断增加的心理距离的特性。如果行为人知道攻击不会被追踪到他们身上，或者如果他们对目标的同情心较少，并期望经历较少的创伤，那么他们可能更愿意实施攻击。一个例子是，即使是军事无人机操作员，他们仍然必须观察他们的目标并 "扣动扳机"，也经常因他们的工作而产生创伤后压力。而心理距离的增加可能会大大降低潜在攻击者的心理负担。

我们还应该注意到，一般来说，人工智能的进步并不是唯一帮助扩大现有威胁的力量。机器人技术的进步和硬件成本的下降，包括计算能力和机器人，也很重要。例如，廉价的业余无人机的扩散，可以很容易地装上炸药，直到最近才使伊斯兰国等非国家团体有可能发动空中袭击。

2、引入新的威胁

人工智能的进步将使一些新的攻击种类成为可能。这些攻击可能利用人工智能系统比任何人类更成功地完成某些任务的特性，或利用人工智能系统所具有的而人类不具有的漏洞。

首先，人工智能具备不受人类能力限制的特性，这意味着人工智能系统可以以前不可行的攻击。例如，大多数人没有能力逼真地模仿他人的声音，也没有能力手动创建类似于人类语音的音频。然而，最近模仿个人声音的语音合成系统方面取得了重大进展（这项技术已经被商业化）。在没有特别设计的认证措施的情况下，很难区分这些合成语音与人类语音的区别。这样的系统将开辟传播虚假信息和冒充他人的新方法。

此外，人工智能系统还可以用来控制机器人和恶意软件的行为，而这些行为对人类来说是不可能的。例如，没有一个人类团队可以现实地选择蜂群中每架无人机的飞行路线，以实施物理攻击，而用人工智能则是完全可行的。

还有很多情况，人类的控制也是不可行的，因为没有可靠的通信渠道可以用来指挥相关系统。例如在水下或者有信号干扰器的情况下，通信面临很大挑战，而人工智能则可自主决策，无需通信。这是自动驾驶车辆可能被部署的两个领域。这样的系统，同样是双重用途的——攻击者也可以利用人工智能在本来难以控制的环境中发起有效的攻击。

第二，人工智能存在尚未解决的漏洞的特性，这意味着，如果人们开始部署一些新的人工智能系统，那么就有可能有人专门利用这些漏洞进行攻击。例如，自动驾驶汽车的使用为攻击创造了机会，这些攻击通过向汽车提供对抗性的样本而导致撞车：一张以特定方式改变了几个像素的停车标志图像，人类可以很容易地识别它仍然是一张停车标志的图像，但却可能被人工智能系统错误地分类为完全不同的东西。

因攻击而导致人工智能系统的失误，可能导致大规模的安全问题。举例来说，这一类问题的最坏情况可能是对用于指导自主武器系统的服务器的攻击，这可能导致大规模的友军射击或针对平民的攻击。

（补充：在写这篇导读的时候，OpenAI正好发布了ChatGPT，这个聊天机器人经常在看似合理而流畅的回答中，暗含了一些误导甚至错误的信息。这些误导或者错误的信息欺骗性很强，如果广为流传，会造成很大的危害。另外，这个聊天机器人甚至在诱导下写出了毁灭世界的计划书，具体到如何入侵各国的计算机系统、控制武器等。这本身是一种新的威胁，并且不能排除被恶意攻击者利用的可能性。——编者注）

3、改变威胁特征

报告预计，威胁的典型特征将以几种不同的方式发生变化。

首先，由于人工智能效率、可扩展性，以及可以超过人类能力的特性，可以预期攻击者会以更高的频率和更大的规模进行更有效的攻击。

第二，效率和可扩展性的特性，特别是在识别和分析潜在目标的背景下，也表明精细的目标攻击将变得更加普遍。攻击者通常有兴趣将他们的攻击限制在具有某些属性的目标上，如高净值或与某些政治团体。一个例子可能是使用无人机群，利用面部识别技术杀死人群中的特定成员，以取代目标不那么明确的暴力形式。

第三，匿名性增加的特性表明，将有更多难以归因的攻击。一个例子是，攻击者使用自主武器系统进行攻击，而不是亲自进行攻击。

最后，可以预期利用人工智能系统的漏洞的攻击将变得更加典型。这一预测直接源于人工智能系统尚未解决的漏洞以及人工智能系统将变得越来越普遍的可能性。

总之，预计人工智能的进步所支持和促成的攻击将特别有效，目标精细，难以归因，并利用人工智能系统的漏洞。

五、攻击场景预测：数字空间、物理世界、政治环境

报告在分析了AI提供的新能力以及由此带来的安全攻击的变化后，进一步在以下三种场景下，列举了一些可能的具体攻击形式：

1. 数字安全
2. 物理安全
3. 政治安全

此外，报告还针对上述领域中安全形势带来的影响，以及相关机构和人员的反应等进行了讨论，本导读将略过此部分，读者有兴趣请自行查看原文第三章。

这里仅针对报告对攻击场景的预测做一些介绍。在这些场景中，原报告还生动地撰写了一些虚构的故事来增强读者的理解。这些虚构故事在本导读中也都略过了。

1. 数字安全

• 社会工程攻击的自动化。受害者的网上信息被用来自动生成他们可能会点击的定制的恶意网站/邮件/链接，这些网站/邮件/链接来自冒充其真实联系人的地址，并使用模仿这些联系人的写作风格。随着人工智能的进一步发展，有说服力的聊天机器人可能会通过与人进行更长时间的对话来获得人类的信任（最近发布的ChatGPT可能是一个潜在的例子——编者注），也许最终会在视频聊天中伪装成另一个人的样子。
• 漏洞发现的自动化。代码漏洞的历史模式被用来加速发现新的漏洞，以及创建利用这些漏洞的代码。
• 更复杂的黑客攻击自动化。人工智能被用来（自主地或与人类协同）改善目标的选择和优先次序，逃避检测，并创造性地应对目标行为的变化。自主软件能够利用系统中的漏洞已经有很长一段时间了，但更复杂的人工智能黑客工具可能会表现出更好的性能，与历史上可能出现的情况相比，最终（尽管可能在一段时间内不会出现），与人类相比，都是如此。
• 类似人类的DOS拒绝服务。模仿人类的行为(例如，通过人类速度的点击模式和网站导航），大量的自主代理人群压倒了一个在线服务，阻止了合法用户的访问，并可能使目标系统进入一个较不安全的状态。
• 网络犯罪中的服务任务自动化。网络犯罪分子利用人工智能技术将构成其攻击管道的各种任务自动化，如付款处理或与勒索软件受害者对话。
• 利用机器学习对网络攻击的目标进行优先排序。大型数据集被用来更有效地筛选目标受害者，例如通过估计个人财富和基于在线行为的支付意愿。
• 滥用人工智能的应用，特别是在信息安全方面。数据中毒攻击被用来偷偷地施害，或在消费者机器学习模型中创建后门。
• 提取专有人工智能系统能力的黑箱模型。通过系统地发送输入并观察其输出，推断出一个远程人工智能系统的参数。

2. 物理安全

• 恐怖分子对商业人工智能系统的再利用。商业系统被用于有害和非预期的方式，如使用无人机或自动驾驶汽车运送炸药和造成撞车。
• 赋予低技能的人以以前高技能的攻击能力。人工智能促成的高技能能力的自动化--如自动瞄准、远程狙击步枪--减少了执行某些类型的攻击所需的专业知识。
• 攻击规模的扩大。使用自主系统的人机合作增加了个人或小团体的破坏力：例如，一个人用许多武器化的自主无人机发起攻击。
• 蜂拥式攻击。自主机器人系统的分布式网络，以机器的速度进行合作，提供无处不在的监视，以监测大面积和群体，执行快速、协调的攻击。
• 攻击者在时间和空间上进一步分离。由于自主操作，包括在不可能与系统进行远程通信的环境中，物理攻击与发起攻击的行为者进一步分离。

3. 政治安全

• 国家利用自动化监控平台来压制异议。国家的监控权力通过图像和音频处理的自动化而得到扩展，允许为无数的目的，包括压制辩论，大规模地收集、处理和利用情报信息。
• 虚假的新闻报道与逼真的捏造的视频和音频。高度逼真的视频中，国家领导人似乎发表了他们实际上从未发表过的煽动性言论。
• 自动的、超级个性化的虚假信息活动。以摇摆区的个人为目标，提供个性化的信息，以影响他们的投票行为。
• 自动化地影响选举活动。利用人工智能对社交网络进行分析，以确定关键的影响者，然后用（恶意的）报价或虚假信息来接近他们。
• DOS拒绝信息攻击。利用机器人驱动的大规模信息生成攻击，用噪音（虚假或仅仅是分散注意力的信息）淹没信息渠道，使其更难获得真正的信息。
• 对信息可用性的操纵。媒体平台的内容策划算法被用来促使用户接近或远离某些内容，以操纵用户行为。

六、干预措施建议

本小节包括了原文第4章和第5章关于干预人工智能发展的一些建议，这些建议可以在一定程度上缓解人工智能带来的或面临的安全性问题。

本小节以列举的形式给出比较粗略的要点。建议阅读原文了解细节。

策略性建议：

1. 合作：政策制定者应与技术研究人员紧密合作，调查、预防和缓解人工智能的潜在恶意使用。政策制定者应该担负起他们的责任，对技术人员提出的担忧要积极响应，而不要麻痹大意。
2. 认识：人工智能领域的研究人员和工程师应认真对待其工作的双重用途性质，把可能被滥用的考虑加入到研究的优先次序和规范中，并在可预见的有害应用中主动与相关行为者联系。在认识到人工智能的双重用途性质后，研究人员应经常考虑在缓解AI的恶意使用方面自己的责任和可以做的事情。
3. 方法：应在具有解决双重用途问题的更成熟方法的研究领域（如计算机安全）确定最佳做法，并在适用于人工智能的情况下引进。最佳实践的例子包括红蓝队演习。
4. 扩展：积极寻求扩大参与讨论这些挑战的利益相关者和领域专家的范围。包括与民间团体、国家安全专家、尚未参与的人工智能和网络安全研究人员、将人工智能纳入其产品的企业，以及伦理学家、普通公众等。

由于人工智能的双重用途性质，在某些情况下，人工智能的合法和非法用途之间的区别可能只是程度上的区别。例如，监控工具可以用来抓捕恐怖分子，也可能用来压迫普通公民；信息内容过滤器可以用来剔除假新闻，也可能用来操纵公众舆论。政府和强大的机构有机会获得许多这样的人工智能工具，并可能将其用于公共利益，或者伤害公众利益。

这就是为什么就人工智能技术的适当使用进行公开对话是至关重要的。上述四项建议可以帮助促进人工智能研究人员、政策制定者和其他相关利益相关者之间的跨学科对话，以确保人工智能技术被用来造福社会而不是相反。

研究性建议（进一步研究的范围）：

1. 向网络安全界学习并与之合作。例如：如何进行红蓝队演习？如何负责任地公开AI系统的漏洞？如何预测一些AI系统可能被用于何种攻击？有哪些安全攻击可以使用？可以在哪些硬件中植入AI安全？
2. 探讨不同的开放模式。例如：事前评估，中央认证系统，共享的标准，AI相关机构的合作等。
3. 促进责任文化。例如：责任教育，道德规范教育，吹哨机制，叙事文化（用讲故事的方法设想一些使用场景的细节以发现潜在问题）等。
4. 制定技术和政策解决方案。例如：隐私保护，公众利益的协作，监控AI资源，以及其他政策和规范的制定。

对于上述问题，应建立一个奖励机制以鼓励机构和研究人员利用自己的专业知识展开这些方面的研究。

需特别关注的三个要点，影响到AI与安全的平衡：

1. 攻击者对AI新能力的接触能力。目前AI学界比较强调开放性，但实际上对一些最新AI技术的传播进行适当的限制对于减少攻击的可能性和严重程度是至关重要的。至于哪些AI技术应予以传播方面的现在，则回到上文所讲的研究内容。
2. 包含AI的防御措施。魔高一尺道高一丈，使用AI对可能的AI攻击进行防御，也是影响平衡的重要因素。小至垃圾邮件过滤、流氓软件侦测，大至犯罪调查、反恐斗争，都可以用AI来增强防御能力。
3. 防御的分发和普遍化。应鼓励研究机构和大型机构发展的防御系统，分发给中小企业甚至普通民众使用，以建立起更为广泛的屏障。

七、总结

虽然仍有许多不确定因素，但很明显，人工智能将在未来的安全领域占据重要地位，恶意使用的可能性无处不在，而我们可以做得更多，也应该做得更多。

人工智能与数字安全、物理安全和政治安全都有很深的联系，而且可能会变得更加紧密。

随着人工智能系统能力的提高，它们将首先在许多狭窄的领域达到并超过人类的能力，正如我们已经在西洋双陆棋、国际象棋、危险游戏、Dota和围棋等游戏中看到的那样，现在又在更多更重要的人类任务中看到了这一点，比如投资市场或自动驾驶。准备好面对与这一转变相关的AI恶意使用，是一项紧迫的任务。

随着人工智能系统进一步扩展到通常被认为是人类独有的领域（如社交互动），我们将看到利用这些能力进行的更复杂的社会工程攻击。这些攻击非常难以抵御，即便是网络安全专家也有可能成为有针对性的鱼叉式网络攻击的猎物。这可能会导致网络渗透的爆炸性增长、个人数据被盗，以及智能计算机病毒的泛滥。

报告认为，抵御自动化黑客攻击的最好希望之一也是通过人工智能。通过人工智能将网络防御系统自动化，事实上，越来越多地的公司采取这种策略。但基于人工智能的防御并不是万能的，特别是当我们把目光投向数字领域之外时。报告认为我们还应该做更多的工作：了解正确的人工智能平衡方式，开发改进的技术措施，并正式验证系统的稳健性，以及确保现在的政策框架能够改变和适应。

从长远来看，那些不需要什么专业知识就能开发或部署的高能力系统，最终可能会成为黑客攻击的新的、危险的目标。也就是说，先进的人工智能可能会在某些领域被恶意使用或攻击，造成前所未有的损害——无论从类型还是规模来看，这就要求我们在这些更强大的滥用成为现实之前就开始做好准备。

尽管在数字、物理和政治领域的恶意使用的具体风险是数不清的，但报告认为，了解这一领域的共同点，包括人工智能在促成更大规模和更多攻击方面的作用，有助于照亮未来的世界，并为更好的预防和缓解努力提供信息。

报告敦促读者考虑他们如何能够促进对人工智能与安全的关系的共同理解，并加入对话，确保人工智能的快速发展是公平的、安全的。

（全文完结）