Автономное оружие и проклятие истории

Автономное оружие, способное выбирать и атаковать цели без вмешательства человека, уже является реальностью. Сегодня такое оружие в большинстве своем ограничено наведением на военные цели в ненаселенных районах, – но быстроразвивающиеся компьютерные системы с огромными возможностями процессоров и энергичными алгоритмами искусственного интеллекта очень скоро могут предоставить различным странам возможность принимать конкретные решения о применении полностью автономного оружия в городских боях.

Однако сможет ли автономное оружие, как заявляют некоторые специалисты, минимизировать косвенные жертвы, – или же оно приведет к массовым поражениям? Ответ на этот вопрос вовсе не ясен. Но очевидна важность обсуждения этических вопросов автономного оружия и дискуссий на тему того, должно ли это оружие быть запрещено, контролируемо, – или же можно позволить его разработку без ограничений. В конечном итоге все сводится к одному вопросу: о бесчеловечном убийстве во всех его формах.

Оптимизация потерь. Прежде всего, давайте определим, что такое «автономное оружие». Это термин с неясными границами. Крылатые ракеты и дроны с дистанционным управлением в некотором смысле являются автономными, и оба этих вида оружия уже широко применяются на полях сражений. Но когда говорят об автономном оружии, обычно имеется в виду оружие, обладающее новейшими возможностями искусственного интеллекта, робототехники, автоматического контроля, и которое может, независимо от вмешательства человека, выбирать цели и принимать решения об атаке на них.

Также важно понять, что означает термин «искусственный интеллект» – или, что важнее, – что этот термин не значит. Искусственный интеллект, как его изображают в кино и фантастических рассказах, часто имеет отношение к машинам, проявляющим интеллект человеческого уровня. В настоящий момент не существует научного доказательства, что подобное возможно даже теоретически. Вместо этого, искусственный интеллект касается разработки компьютерных алгоритмов, подходящих для обработки логических задач, – то есть разрешения проблем, принятия решений, прогнозирования, диагностики и т.п. Искусственный интеллект также включает в себя обобщение или классификацию данных – то, что известно как «обучение машины». Также системы искусственного интеллекта могут подразумевать программное обеспечение машинного зрения, направленное в конечном итоге на осмысленную интерпретацию образов. Такой функционал не слишком зрелищен для голливудских фильмов, но представляет собой огромный интерес для разработчиков автономного оружия.

Некоторые могут сказать, что, применяя искусственный интеллект в военных действиях, особенно с использованием автономного оружия, тем самым можно оптимизировать жертвы на поле битвы. Интеллектные системы робототехники, как следует из подобной аргументации, способны идентифицировать цели точно и эффективно. Они могут вступать в сражение таким образом, чтобы минимизировать сопутствующий урон, – особенно в сравнении со многими военными операциями, проводимыми людьми, например, атакой американских ВВС 3 октября на больницу организации «Врачи без границ» в Афганистане. Автономное оружие могло бы свести жертвы среди гражданского населения до минимума по мере увеличения шансов на успешность миссий.

Однако подобную аргументацию можно применять к любым инновациям в истории оружия, начиная прямо с пороха и заканчивая «точечными ударами» первой иракской войны (которые так эффектно рекламировались на телевидении). И даже если новое оружию может «оптимизировать» убийства, в то же время оно делает его более бесчеловечным. На протяжении многих веков солдаты целились в других человеческих существ. Теперь они прицеливаются в мишени, находясь как будто в компьютерной игре. В будущем они могут даже и не целится, делегируя это задание машинам. Но разница между, скажем, полностью автономной оружейной системой с одной стороны и крылатой ракетой или военным дроном с дистанционным управлением с другой заключается в технических моментах, нежели этических или моральных. Если современное общество будет рассматривать войну как видео игру, – также как это было с «точечными ударами» 1990-х, – то можно считать, что автономное оружие уже вошло в число общепринятых методов ведения военных действий.

Не так давно несколько ученых, – и автор данной статьи среди них, – подписали открытое письмо с призывом «запретить наступательное вооружение за пределами значимого человеческого контроля». После того, когда я сегодня перечитал это письмо, я заметил, что оно предлагает наложить запрет лишь на то оружие, которое «выбирает и атакует цели без вмешательства человека», в то же время исключая «крылатые ракеты или дроны с дистанционным управлением, для которых решения в выборе цели принимаются людьми». В некотором смысле такая формулировка подразумевает, что позволяется безразличное убийство значительного числа людей, – будь то солдаты или гражданские лица, взрослые или дети, – если только решение о выборе их в качестве цели принимается людьми. Но, анализируя историю человечества, трудно понять, почему человеческий контроль над оружием намного лучше, чем может стать автономный контроль. Возьмем один пример из ХХ века, – а подобных примеров в истории человечества слишком уж много, – человеческий контроль не предотвратил массовое убийство примерно 200000 гражданских лиц в Хиросиме и Нагасаки в августе 1945 года (хотя, возможно, эти злодеяния можно было бы предотвратить, если развитие и использование ядерного оружия попало бы под эффективный международный контроль как только ученые осознали возможность создания такого оружия).

Я подписал то открытое письмо как пацифист. Я подпишу любое письмо, которое предлагает запретить разработку и изготовление оружия. Но я не думаю, что прямой запрет автономного оружия сможет предотвратить его разработку, – в конце концов, исследования с сфере усовершенствованных интеллектуальных робототехнических систем поражающего действия ведется уже несколько десятилетий. По сравнению с ядерным и применимым биологическим оружием, разработка которого требуют высокоспециализированных и дорогих лабораторий и доступа к легко отслеживаемым материалам, автономное оружие легко изготовить. Любая существующая лаборатория интеллектуальной робототехники могла бы, – при достаточно скромном финансировании и в течение всего нескольких недель, – изготовить «с нуля» мобильный робот, способный в автономном режиме отслеживать и стрелять в любой движущийся объект. Такой робот может застрять на первой же лестнице, но, тем не менее, его уже можно будет назвать простейшим автономным оружием.

Не существует никакого реально работающего способа гарантировать, что автономное оружие никогда не будет изготовлено. Запрет на его разработку просто-напросто станет приглашением для создания подпольных лабораторий, что сделает невозможным ни контроль такого оружия, ни привлечение к ответственности разработчиков. Но то, что можно практически осуществить посредством эффективного международного регулирования, – это сделать так, чтобы разработка автономного оружия анализировалась и прослеживалась в индивидуальном порядке. Выбор целей для автономного оружия должен регулироваться жесткими правилами, а использование такого оружия должно проходить согласно международному гуманитарному законодательству, – при этом, если соответствие по всем требованиям окажется невозможным, это оружие никогда не сможет быть применимо в реальных условиях. И, наконец, необходимо создать систему привлечения к ответственности любой организации, которая не соблюдает соответствующие нормативы при создании и использовании автономного оружия.