Провести грань между автономным и автоматическим оружием

Мои коллеги по круглому столу Пауло Сантос и Моника Чансория в один голос ратуют за регулирование, нежели запрещение автономного оружия. Но они ни разу не дали точного определения тому, что именно они собираются регулировать. А это – некоторый недосмотр, так как любой, кто выступает за регулирование оружия и того, как оно используется, должен иметь очень четкое понимание того, что именно такое регулирование подразумевает.

Автономное оружие, согласно определению Министерства обороны США, это оружие, которое выбирает цели и открывает огонь без вмешательства человека-оператора. Но что именно имеется в виду под термином «выбирает»? И что подразумевается под словом «вмешательство»? Эти вопросы более тонкие, чем кажутся на первый взгляд.

«Выбор» может означать сканирование определенного пространства на предмет входящего сигнала на датчик, – например, радиолокационной сигнатуры или физиогномического образа. Но в этом случае оружие не выбирает цель. Скорее, оно охотится за предзаданной целью. Фактически, именно человек выбирает цель, – либо программируя параметры цели, либо определяя объект цели или площадь цели. Но подобное оружие не является в полном смысле слова автономным; это автоматическое оружие.

С другой стороны, «выбор» может означать простое действие по обнаружению цели. Но современные вооруженные силы могут счесть такое обнаружение проблематичным. Многие уже существующие системы оружия, – крылатые ракеты,  противоракетные и минометные оборонительные системы, торпеды и глубинные бомбы, – обнаруживают цели и открывают по ним огонь. Вряд ли какое-либо государство охарактеризует эти системы как автономные.

Поэтому возникает вопрос – что именно отличает автономное оружие от автоматического, – и, таким образом, подвергает его регулированию или запрету? Я бы ответила на этот вопрос, проведя грань между усовершенствованным автоматическим оружием и автономным оружием с ограниченной обучаемостью.

Усовершенствованное автоматическое оружие не способно ни на обучение, ни на смену своих целей. Но из-за его мобильности и, в некоторых случаях, возможности автономной навигации, оно может причинять серьезный ущерб гражданскому населению. Кроме этого, оно не может придерживаться принципов необходимости, предупреждения и пропорциональности. Таким образом, оно, скорее всего, будет использоваться для уничтожения материальных объектов. И вряд ли оно будет использовано против личного состава.

Оружие с ограниченной обучаемостью, тем не менее, способно как обучаться, так и изменять свои промежуточные цели в процессе выполнения задач. Оно действительно выбирает цель среди множества объектов или лиц. Другими словами, оно выполняет военные задачи, – точно так же, как солдаты решают, стрелять ли в человека, транспортное средство или здание или, например, как лучше «взять высоту». Это системы автономного оружия в истинном смысле слова. (Ни одно государство, кстати, не поддержало использование автономного оружия против людей. Даже те государства, которые не согласны с запретом или регулированием автономного оружия, стоят на позиции, что системы автономного оружия могут использоваться лишь в «операционно уместных ситуациях» и «не имеющих помех обстановках». Таким образом, предложение г-жи Чанстория о том, чтобы автономное оружие использовалось в контртеррористических операциях, не имеет поддержки ни в дипломатических, ни в военных кругах.)

Мои коллеги предполагают, что я отрицаю потенциал искусственного интеллекта, способного превзойти определенные человеческие возможности, или же что я отрицаю тот факт, что искусственный интеллект более пригоден к выполнению определенных задач, чем люди. Я не отрицаю ни одну из этих идей, – и именно поэтому я озабочена рисками, которые станет представлять собой оружие с ограниченной обучаемостью, если оно будет разработано и использовано на полях боев. Такие риски, – которые включают в себя изменение не просто самого хода боевых действий, но также безопасности и свобод гражданского население в мирное время, – настолько значительны, что оружие, являющееся их источником, должно быть полностью запрещено. И, прежде чем кто-либо станет аплодировать, как, кажется, делает г-жа Чансория, способностям оружия будущего  к «качественному суждению», неплохо было бы осознать, что «качественное суждение» может появиться лишь после прохождения автономными технологиями жесткого и опасного промежуточного процесса «ограниченного» интеллекта и малого суждения.

Трудные вопросы. Таким образом, что должно быть сделано в практическом плане с оружием, обсуждаемым на данном круглом столе?

Что касается усовершенствованного автоматического оружия, мировые правительства должны обстоятельно рассмотреть, может ли это оружие применяться в сложных обстановках. Государствам необходимо принять регулятивную базу о его использовании. Но автономные системы в истинном смысле этого термина, – с ограниченной обучаемостью или же более совершенное оружие, – должны быть запрещены. Их использование подразумевает огромные риски для гражданского населения; оно может вызвать эскалацию конфликтов; может легко спровоцировать гонку интеллектуального вооружения; а также может привести к необходимости внедрения сети датчиков во всех районах боевых действий (и в городах). Фактически, уже сейчас системы всепроникающего наблюдения вызывают достаточно беспокойства, и одного этого достаточно для того, чтобы обосновать запрет автономного оружия.

Было бы неубедительно заявлять, как это сделали мои коллеги, что запрет вряд ли будет когда-либо применен или что он окажется непрактичным, если его все-таки примут. Другие технологии, такие как ослепляющие лазеры, были запрещены еще до того, как их стали применять, – почему же то же самое нельзя сделать с автономным оружием? Идентично тому, как при поддержке ученых мира и химической промышленности было запрещено химическое оружие, вызовы, которые бросает нам автономное оружие, можно разрешить с помощью сотрудничества ученых, ротоботехников и технологической промышленности. Более того, военные силы некоторых стран уже сейчас имеют возможность внедрить алгоритмы ограниченной обучаемости в оружейные системы, но они не применяют эти технологии из-за неопределенности и рисков. В связи с тем, что военные силы уже сейчас демонстрируют сдержанность, почему бы не вынудить их полностью отказаться от автономного оружия?

Автономное оружие таит в себе трудные вопросы и серьезные вызовы. Пришло время дать на них ответ. Но выдвигая полные наивного оптимизма утопические идеи о природе будущих конфликтов нельзя прийти к какому-либо положительному результату.