区分自主武器和自动武器

在本轮圆桌讨论中，我的同行保罗·E·桑托斯和莫妮卡·詹索利亚都支持监管而非禁止自主武器。但他们都未能精确定义要监管的是什么。这是一个令人担忧的疏忽——凡是支持对武器或武器行为进行监管的人，都应该对监管将引发什么有一个非常清楚的概念。

根据美国国防部的定义，自主武器是不需人类操作员的干预，即可选择目标并开火的武器。但是，这里的“选择”到底是什么意思？“干预”又是什么？这些问题比表面看起来更微妙。

“选择”的意思可以是扫描某个空间，寻找一个传感器输入——例如雷达特征或面部图像。但是，在这种情况下，武器并非在选择目标，而是在搜捕一个预先选定的目标。实际上是有一个人通过设定目标参数程序，或者通过识别目标对象或区域，从而选定了目标。但是，此类武器并非真正自主，而是自动。

话说回来，“选择”也可以仅指感知一个目标。但是，现代军队会认为这样的解读有问题。许多现有的武器系统——巡航导弹、反火箭弹和迫击炮防御系统、鱼雷和水雷——感知目标并对其开火。不太可能有国家将这些系统归为自主武器。

那么，到底是什么将自主武器和自动武器区别开来——并使其受制于监管或者禁止？为了解答这个问题，让我来对复杂的自动武器与有限学习的自主武器系统作一区分。

复杂的自动武器没有学习能力，也没有改变目标的能力。但是，由于其行动能力，以及在某些情况下的自主导航能力，它们能够对平民人群造成灾难。进一步而言，它们无法坚持必要性、预防措施、相称分寸的原则。因此，它们最有可能被用作反器材武器，而不太可能被用作反人员武器。

与此同时，有限学习武器一经部署，既能学习，又能改变分支目标。它们是真正从一系列对象或人中选择一个目标。简而言之，它们追踪军事目标——正如士兵决定是否对一个人、一辆车、一栋建筑开火，或者如何最好地“攻占山头”。这些才是真正的自主武器系统。（顺带提一句，没有一个国家公开支持针对人类使用自主武器。即便是反对禁止或反对监管自主武器的国家，也坚持只能将自主武器系统用于“合适的行动中”和“有序的环境中”。所以，詹索利亚认为自主武器可用于反恐行动，是没有外交和军事依据的。）

我的同行们认为，我否认了人工智能有可能超越某些人类能力、比人类更适合进行某些任务。对以上内容，我并未有任何否认——而这正是为什么我担心有限学习武器如果被开发和部署，将造成风险。这些风险如此之大（包括不仅改变战争的面貌，更是改变和平时期平民安全和自由的面貌），以至于必须全面禁止造成这些风险的武器。为能够进行“定性判断”的未来武器鼓掌之前（詹索利亚似乎正在这样做），最好记住一点：自主技术将经过一段艰难、危险的中间地带，经历“有限的”智能以及几乎没有判断能力，只有在此之后，才可能出现“定性判断”。

艰巨的问题。所以，从实际层面而言，对于本次圆桌讨论研究的武器系统，应该做些什么？

就复杂的自动武器而言，各国政府必须仔细考虑是否应该在复杂环境中部署此类武器。各国应该对其使用方式进行监管。但是，真正的自主武器系统——有限学习甚或更先进的武器——应该禁止。使用此类武器将对平民会造成巨大风险，可能会使冲突升级，可能会引发人工智能领域的军备竞赛，还可能需要在所有作战空间（以及城市）中布置传感器网络。事实上，单单是渗透在各个角落的监控系统，就足以令人担忧，足以因此而禁止自主武器。

宣称禁令不太可能实施，或者说设立了禁令也不切实际——就像我的同行那样的说法，并不具有说服力。激光致盲武器等其他技术，也在开始使用之前就被禁止——为什么自主武器不能这样？正如化学武器在全世界的科学家和化学产业的支持下已被禁止，自主武器的挑战也可以通过科学家、机器人专家和技术产业的合作来应对。此外，一些军队已经有能力在武器中融入有限学习算法，但由于不确定性和风险，尚未部署此类能力。既然军方已经表现出克制，为什么不敦促他们完全拒绝自主武器？

自主武器将带来艰难问题和严峻挑战。应对这些问题和挑战，时不我待。对于未来冲突的本质宣扬盲目乐观的态度，于事无补。