Запрещение и контроль автономного оружия

Они охотятся стаей. Патрулируют компьютерные сети. Используются на суше, в воде, в воздухе, в космосе – везде. Применение автономного оружия действительно выглядит зловеще. Но, с другой стороны, усилит ли оно или, наоборот, снизит безопасность гражданского населения?

Ответ на этот вопрос требует четкого представления того, что обозначает термин «безопасность гражданского населения».  Если это значит защиту жизней гражданских лиц во время вооруженных конфликтов, то да, когда-нибудь автономное оружие сможет работать и на эту цель. Однако на сегодняшний день технологии не настолько развиты, чтобы автономное оружие отличало воюющих лиц от некомбатантов, особенно во время беспорядков или гражданских войн. Самое лучшее, чего могут достичь современные технологии, – это различать сигналы радаров, тепловые сигнатуры, геометрические формы, – или же, в случае людей – датчики на обмундировании.  Однако это позволит идентифицировать собственных солдат, но никоим образом не усилит безопасность мирного населения.

Со временем технологии автономного оружия, – по мере развития распознавания лиц, жестов, биометрических параметров и т.п., – позволят лучше идентифицировать допустимые цели. Тем не менее, подобные разработки не гарантируют, что гражданские лица не станут целями для огня. Аналогичным же образом, они не исключат появление других угроз безопасности мирных граждан. Например, для того, чтобы противостоять потенциальным опасностям, автономное оружие может однажды начать постоянное наблюдение за населением, что можно сравнить со «Взглядом Горгоны» ("GorgonStare") – системой воздушной разведки, которая в настоящее время используется Соединенными Штатами Америки.  Если подобные технологии будут использованы на автономном оружии, то общество столкнется с целым рядом проблем, не связанных напрямую с вооруженными конфликтами но, тем не менее, имеющим отношение к гражданской безопасностью.

«Гражданская безопасность», таким образом, распространяется далеко за пределы военных действий, – и за рамки международного гуманитарного законодательства. То есть, безопасность граждан касается как военного, так и к мирного времени. В мирное время применим другой закон, – о международных правах человека, который соединяет в себе договоры, принципы, законы и национальные обязательства в отношении «гражданских, политических, экономических, социальных и культурных прав, которыми должны пользоваться все люди».

Если автономное оружие должно соответствовать международному закону о правах человека, то оно также должно, по крайней мере, согласовываться и со всеми международными, местными и двусторонними договорами о правах человека, а также с соответствующими внутренними законами каждой конкретной страны. И автономному оружию стоит, в самом деле, стимулировать соблюдение прав человека. Таким образом, недостаточно, если какая-либо страна станет задаваться вопросом, будет ли автономное оружие защищать гражданские лица в каком-либо другом государстве, в котором эта страна вовлечена в военные действия; автономное оружие должно согласовываться с законами своей собственной страны. Выражая ту же идею более тонко, – автономное оружие также обязано пройти юридическое освидетельствование в условиях, которые оказываются неудобно расположенными на границе между законами военного и мирного времени.

Все эти требования ставят очень высокую планку перед автономным оружием. Чтобы понять это лучше, давайте изучим, как автономное оружие может нарушить, например, Европейскую конвенцию по правам человека. Если автономное оружие будет применено в Европе для повсеместной разведки наблюдением в ходе антитеррористических операций, не будет соблюдено право на личную и семейную жизнь, что гарантируется Статьей 8 Конвенции. Это оружие может быть кибернетическим, а не робототехническим, поэтому оно может иметь отрицательное влияние на свободу слова, совести и религии (гарантированные Статьей 9). Автономное кибер-оружие  может нарушить свободу самовыражения (Статья 10), если это оружие заморозит дискурс и самовыражение людей в сети интернет.

Конечно же, наиболее серьезная опасность, которую несет в себе автономное оружие, – это угроза праву на жизнь. Можно было бы предположить, что «безопасность гражданского населения» именно и означает право на жизнь, вместо, например, права на личную или семейную жизнь. Но право на жизнь – которое гарантируется не только Статьей 2 Конвенции, но также другими важными международными юридическими инструментами, – не безгранична. Право на жизнь  зависит в большой степени от юридического разрешения на использование смертоносной силы.

Такие юридические разрешения, однако, отличаются в зависимости от того, находится человек в условиях войны или в состоянии мира. В мирное время (или в ситуациях «неведения правопорядка») использование смертоносной силы требует наличия непосредственной угрозы случайным свидетелям или офицерскому составу. Во время войны порог использования смертоносной силы намного ниже. Применение таких различий к автономному оружию предполагает, что, если человек будет идентифицирован как потенциальная или реальная опасность, автономное оружие должно попытаться произвести его арест (кроме случаев, когда опасность эта смертельна и неминуема для случайных наблюдателей; при этом угрозы машине может и не существовать). Если система не способна произвести арест, – например, если это воздушная система, – выбор вариантов поведения ограничивается двумя – либо убивать, либо не убивать. Но убийство человека в таких обстоятельствах станет автоматическим нарушением права на жизнь. Более того, такое действие нарушит право на справедливый суд. Отказ в праве на судебное разбирательство подрывает верховенство закона, которое само по себе является важной силой в обеспечении и защите гражданской безопасности.

Опасность для каждого. Кроме всего выше сказанного, гражданская безопасность и, как следствие, право на жизнь, ставятся под угрозу потенциальной гонкой в сфере автономного оружия и искусственного интеллекта. Подобная гонка поставит гражданское население по всему миру перед совершенно ненужным, потенциально экзистенциональным риском. Если автономное оружие будет разработано и применено, оно рано или поздно войдет во все сферы жизни: в воздухе, космосе, на море, суше и в кибер-пространстве. Они будут охотиться в стаях. Они объединятся в особую сеть систем оружия без человеческого контроля. Они будут осуществлять контроль за компьютерными сетями. Они будут повсюду. Было бы высокомерной ошибкой полагать, что только одна страна будет проводить разработку такого оружия.

Многие государства решат, что их оборона нуждается во все укоряющемся развитии с каждым днем совершенствующегося искусственного интеллекта и оружия с постоянно растущей автономией. Но автономные системы с возможностью обучения могут очень быстро выйти из-под контроля их создателей. Они станут угрозой для любого в пределах их непосредственной досягаемости. А системы автономного оружия, связанные друг с другом через сеть, или автономные субъекты, обладающие искусственным интеллектом и имеющие доступ к сети интернет, не будут ограничены одной географической территорией или государствами, вовлеченными в военный конфликт. Непредусмотренные последствия создания и использования автономных систем могут быть настолько серьезными, что риски, связанные с их использованием, превысят все возможные преимущества.

Явится ли полное запрещение корректным ответом на разработку автономного оружия, или наиболее правильным подходом станет эффективное международное регулирование? В прошлом я призывала к тому, чтобы запретить автономное оружие, – опасности, которые повлечет за собой не запрещение его, слишком велики. Но независимо от того, будет наложен запрет или нет, соответствующее международное законодательство необходимо. Многие информационные и коммуникационные технологии являются средствами двойного назначения – то есть они могут быть использованы как в военных, так и в невоенных целях. Искусственный интеллект может принести немало пользы обществу, и эту пользу не следует отбрасывать вместе с вредными качествами. Таким образом, государства должны объединиться, при поддержке экспертов и неправительственных организаций, для создания практичного и работающего подхода к автономным технологиям, применяемым в робототехнике и кибер-безопасности, – такой подход исключает наращивание вооружения, но позволяет полезное использование. Другими словами, вопрос не в том, надо ли запрещать или регулировать. На самом деле вопрос в том, как наилучшим образом осуществить оба этих действия.