自主武器、平民安全、监管与禁止

成群捕猎。在计算机网络中巡逻。陆、海、空、太空——到处都有部署。已部署的自主武器听起来当然很邪恶。但总体而言，此类武器是促进了还是有损于平民安全？

要回答这个问题，需要对“平民安全”这一术语有一个清晰的理解。如果这个词指的是在武装冲突期间保护平民生命安全，那么没错，自主武器未来很有可能促进其实现。然而，凭借现今的技术，还不足以能让自主武器区分战斗人员和非战斗人员，尤其是在叛乱和内战情况下。目前最佳的技术水平能实现的是识别雷达信号特征、热信号特征、形状——或者对于人而言，识别制服上的感应器。但是，这仅仅有助于识别自己一方的士兵，完全无益于提升平民安全。

假以时日，随着面部识别、手势识别、生物识别技术的进展，自主武器技术可能会更善于识别允许的目标。尽管如此，此类进展并不能保证平民不成为目标，也无法杜绝其他针对平民的威胁的兴起。例如，为了应对可能的威胁，自主武器未来可能对人群进行持续监视，类似于目前美国正在使用的空中监视系统“戈尔贡凝视”（Gorgon Stare）。如果类似的技术运用于自主武器，社会将面临一系列与武装冲突并非直接相关、但仍与平民安全相关的问题。

此外，“平民安全”的外延超越了敌对行为，也超越了国际人道主义法的范畴。即，无论在战争时期还是和平时期，都需要关注平民安全。在和平时期，适用的是另一种类型的法律——国际人权法，这是范围更广的一套关于“所有人类都应享有的公民、政治、经济、社会和文化权利”的条约、原则、法律和国家义务。

如果要让自主武器合乎国际人权法，此类武器必须至少符合所有国际、地区和双边人权条约，以及相应的国内立法。实际上，自主武器可能有必要促进人权。所以，一个国家只问自主武器能否保护其军事行动所在国家的平民，是不够的；自主武器还必须遵守其自己国家的法律。更微妙的是，自主武器还必须在战争法与和平法之间模棱两可的情况中通过法律的检验。

这一切都为自主武器设定了一个很高的标准。为了说明这一点，在此举例分析自主武器可能以何种形式违反《欧洲人权公约》。如果在欧洲境内部署自主武器，用于全方位监视，比如反恐行动，此类武器可能无法尊重私人和家庭生活权利（公约第8条保障的权利）。由于此类武器可能与网络而非机器人相关，所以也可能对思想、信仰和宗教自由（公约第9条保障的权利）造成负面影响。与网络相关的自主武器如果抑制了网上话语或表达，则有可能侵犯言论自由（第10条）。

当然，自主武器造成的最严重威胁是对生命权的威胁。有人可能认为“平民安全”指的正是生命权，而非私人和家庭生活权之类。但是，生命权——不仅由公约第2条保障，也由其他重要的国际法律文件保障——并非没有限制。很大程度上，生命权取决于使用致命武力的法律许可。

然而，在战争时期与和平时期，法律许可是有区别的。在和平时期（或者说“执法”）的情况下，要使用致命武力，前提是旁观者或警官受到了迫近的威胁。在战时，使用致命武力的门槛低很多。将这些区别运用于自主武器，意味着如果一个人被辨认为潜在或实际威胁，自主武器必须试图逮捕他（除非该威胁对于旁观者属于致命且迫近；对于机器则无威胁可言）。如果自主武器系统无法执行逮捕，比如因为是空中系统，那么选择似乎仅限于杀或不杀两种。但是，在此情况下杀死一个人，本身就是对生命权的侵犯。这样做还侵犯了公平审判权。剥夺人的公平审判权，是破坏法治，而法治本身正是创造和保护平民安全的最重要力量。

对每一个人的危险。超越这一切以外，潜在的自主武器和人工智能军备竞赛正威胁着平民安全以及相应的生命权。这样的竞赛会将全世界的平民暴露在过分的、潜在的生存风险之下。如果自主武器得到开发和部署，它们将最终驻扎于每一种空间——天空、太空、海洋、陆地和网络。它们将成群捕猎。它们将联入无人武器系统的系统网络中。他们将在计算机网络中巡逻。他们将无处不在。如此，认为只有一个国家会开发此类武器，未免太过妄自尊大。

许多国家都会得出结论，认为为了自己的国防，必须更快地开发更强大的人工智能和具有更高自主性的武器。但是，具有学习能力的自主系统可以迅速超越其创造者的控制范围。对于在其附近的任何人而言，它们都将成为一种危险。通过网络互相联系的自主武器，或者具有人工智能、联入互联网的自主代理，将不局限于单一地理疆域，也将不局限于武装冲突涉及的国家。建立和发动自主系统的副作用可能非常严重，以至于使用此类系统的风险大于任何可能的收益。

对于自主武器的开发，完全禁令是否是合理的回应，抑或有效的国际监管才是合适的途径？我在过去曾极力主张禁止自主武器——不禁止此类武器的风险太高。但是，无论有没有禁令，都需要有效的国际立法。许多信息和通信技术属于军民两用——既可用于军事，也可用于非军事用途。人工智能可以造福社会，其益处不应与其害处被一并抛弃。因此，各国必须走到一起，在专家和非政府组织的帮助下，制定务实可行的方案，应对机器人和网络安全领域中的自主技术，杜绝其武器化，允许对其加以有益的利用。因而，问题并不在于要不要禁止或监管，而在于如何尽可能将两方面都做好。

人工智能研究人员今年七月发布了一封公开信，呼吁禁止“超越人类有效控制范围的进攻性自主武器”，他们特别指出禁令可以阻止诸如“武装四轴飞行器”等有能力识别并“根据特定预设标准”杀人的武器。但这项禁令不会包括“所有目标均由人类决定的巡航导弹或遥控驾驶无人机”。所以，值得指出的是，这一禁令提议不会禁止一些已经部署的自主武器——因为这些武器被归入了防御性武器的类别。

其中包括美国海军的密集阵（Phalanx）——“一种快速开火、电脑控制、雷达引导的机炮系统”，该系统自1980年开始投入使用，而美国陆军此后也已采用其陆基形式。德国的全自动NBS Mantis防御系统也可以对导弹进行侦测、跟踪、交战和开火。以色列的铁穹导弹防御系统（Iron Dome）平时可自动运作，只有在感知到威胁时，会向人类征求是否开火的快速决定。

此类系统作为正规的战争工具一般得到接受。然而，完全自主的进攻性武器则是另一回事。能否在冲突中坚持保护平民的道德义务，是自主武器引发的难解之题。但是，在这场辩论中，很容易忽视另一种道德义务：保护那些因非国家行为体蓄意使用大规模暴力和恐怖手段而遭受威胁的无辜人民。

在我看来，任何禁止致命性自主武器的禁令提议，都必须考虑非国家跨国行为体实施的非常规、非对称、非典型战争，以及此类冲突对平民的影响。非国家行为体之所以能蓬勃发展，往往正是因为无法在当地平民人口中将其辨认出来。另外，他们还借助山地和沙漠等无人区，偷偷穿过容易渗透的国界线，并寻求同谋国家或国家行为体的帮助。军方有时可以胜过非国家行为体具备的优势，主要是通过善用技术，包括无人机（配以有效情报支持）。但是军方发现，要在常规意义上胜过非国家行为体，面临问题重重。相应地，军方在保护平民时步履维艰。

具备高度精密能力的全自主武器，能否改变这一状况？此类武器能否不对平民造成威胁，而是拯救暴力冲突地带中无辜的男女老少的性命？如果自主武器能使敌方目标丧失能力，同时将不想要的破坏降到最低，那么，是否应将此类武器用于打击非国家行为体和恐怖主义分子，就值得认真考虑。

现有的武器，还都算不上能杀死合理目标而不伤害平民的进攻性自主武器。现今的人工智能无法再造人类智能和判断，如果部署在战场上，会对平民安全造成根本性挑战。但是，非常重要的是，要认识到自主武器技术领域将与时俱进。通过未来的研究与开发，可能会让机器具备今天无法实现的定性判断能力。通过未来的技术进展，自主武器在战场上的表现或许可以更胜人类一筹。

最后，我支持对自主武器加以监管，而非完全禁止整个技术。但是，无论如何，地毯式的禁令似乎也不太可能实现。比如说，英国外交部已表示：“我们不认为有必要禁止”致命性自主武器，因为“国际人道主义法在此方面已提供了充分的监管”。在我看来，需要一个监管框架，对未来自主武器系统的致命性加以限制。还需要研发方法（例如程序设计的优化），有效限制与自主武器相关的平民死伤。

与当代冲突或战争的许多其他方面一样，最根本的考虑是成不成比例。事实上，我的观点是，只要致命性自主武器造成的附带损害，相较于此类武器对和平、安保、稳定以及对预防大规模平民死伤的贡献，并不显得不成比例，可以认为此类武器是合乎道德的。

能够选择和攻击目标、无须人类介入的自主武器已经成为现实。如今，此类武器主要局限于在无人地区瞄准军事目标，但是发展迅速、具有强大处理能力、具备先进人工智能算法的计算机系统，可能很快会迫使各国做出切实选择，决定是否在城市地区的战争中部署全自主武器。

但是，自动化战争是否会如一些观察者所称，将附带损害降到最低——抑或只会造成大规模杀伤？答案并不明确。明确的是，人类就攻击目标所做的决定，常常是极为糟糕的。当然，讨论自主武器的伦理问题，辩论是否应该予以禁止、监管或任其无限制发展，都是重要的事情。但是，所有形式的非人化的杀戮，才是归根到底的问题。

优化伤亡。首先，“自主武器”的含义到底是什么？这一术语的界定并不清晰。从某种意义而言，巡航导弹和遥控无人机都是自主武器，也都已在战场上广泛部署。但当人们谈到自主武器，通常指的是具有最先进的人工智能、机器人和自动控制能力的武器，它们不需人类干预，就能选择目标、决定是否进行打击。

另外，还有必要理解“人工智能”指的是什么——或者说，更关键的是，理解“人工智能”指的不是什么。每当电影和奇幻小说里描绘人工智能，少不了达到人类智能水平的机器。目前，这样的机器连有没有可能实现，都缺乏科学依据。实际上，人工智能关注的是开发适用于推理任务（即解决问题、决策、预测、诊断等）的计算算法。人工智能还涉及对数据加以归纳或分类——称为机器学习。智能系统可能包括计算机视觉软件，其最终目标是对图像进行有意义的阐释。此类功能对好莱坞而言并不是新鲜事，但对自主武器开发而言有着重大意义。

有人称，将人工智能运用于战争，尤其是通过自主武器，或许可以在战场上优化伤亡情况。这种观点认为，智能机器人系统可以准确、高效地识别目标。此类系统在交战时，可将附带损害降到最低——尤其是相较于许多由人来执行的战斗任务，例如10月3日一架美国空军武装直升机对阿富汗境内一座无国界医生组织医院实施攻击。自主武器可在提升战斗任务成功率的同时，将平民伤亡降到最低。

但是，类似的论点也可以用于武器历史中的大多数创新，从火药一直到第一次伊拉克战争中的“外科手术式袭击”（后者在电视上描绘得如此光辉）。而即便新式武器能够“优化”杀戮，它们也会使其非人化。千百年来，士兵瞄准的一直都是人。现在，士兵优势瞄准的是类似电子游戏中的目标。未来，他们可能根本无需瞄准，把这个任务留给机器就行了。但是，全自主武器系统与巡航导弹或遥控军事无人机之间的区别，其实与其说是伦理或道德方面的，不如说是技术方面的。如果现代社会愿意将战争当作电子游戏一般接受的话——正如人们在1990年代接受了“外科手术式袭击”一样——那么自主武器已经得到接受，成为了战争的一部分。

最近，一群科学家——包括笔者在内——联名签署了一封公开信，呼吁禁止“超越人类有效控制范围的进攻性自主武器”。现在重读这封信，我新注意到其中提议的禁令只是针对“可无需人类干预而选择目标交战”的武器，而排除了“所有目标均由人类决定的巡航导弹或遥控驾驶无人机”。从某种意义而言，这种方案暗示着，大量乱杀滥杀——不论是士兵还是平民，成人还是儿童——是可以的，只要目标由人决定。但是，审视人类历史，很难找出人类控制武器远优于自主控制的理由。举一个20世纪的例子——可选的例子太多——人类控制并未阻止1945年8月对广岛和长崎约20万平民的大规模杀戮（但是，如果科学家一意识到可以造出核武器，就开始对其开发和使用加以有效的国际监管，那么或许可以避免此类暴行。）

我是以和平主义者的身份签署这封公开信的。任何提议禁止开发和生产武器的信，我都愿意签名。但是，我并不认为，对自主武器的全面国际禁令可以阻止其开发——毕竟，对先进致命性智能机器人系统的研究已经进行了数十年。核武器和可用生物武器的开发，所需的实验室非常专门化且昂贵，所需的材料也很容易跟踪。相较于此，制造自主武器很容易。任何现有的智能机器人实验室，只需少量资金和几周时间，就能从零开始制作出一个可移动的、能对任何移动物体进行自主跟踪和开火的机器人。这样的机器人一遇到楼梯就会被卡住，但仍然是一个基本的自主武器。

没有可行的方法可以确保人们永远不会制造自主武器。对此类武器开发的禁令，无异于发出邀请，鼓励人们设立地下实验室，从而使我们无法控制此类武器，无法对开发此类武器的实体进行问责。可行的是——通过有效的国际监管——确保对自主武器的开发进行逐一的分析和跟踪。应有严格规则指导自主武器的目标选择，而此类武器的部署必须遵守国际人道主义法——如果事实证明无法遵守，那么就永远不应在战场上部署。最后，必须建立一套体系，对任何开发和部署自主武器、但未能遵守指导监管原则的组织进行问责。