Автономное оружие, гражданская безопасность и контроль вместо запретов

By Paulo E. Santos: RUS, Monika Chansoria: RUS, Heather Roff: RUS, December 8, 2015

В июле исследователи искусственного интеллекта и робототехники опубликовали открытое письмо, подписанное такими значимыми учеными,как, например, Стивен Хокинг, в котором они призывают «запретить наступательное автономное оружие за пределами значимого человеческого контроля». Это письмо дает отсылку на доводы, озвучиваемые «Кампанией за запрет роботов-убийц» начиная с 2013 года, относительно автономного оружия, которое видится как «принципиальный вызов безопасности гражданских лиц ... международным правам человека и гуманистическому законодательству». Но поддержка такого запрета не является единодушной. Некоторые говорят о том, что автономное оружие приведет к меньшим жертвам на поле боя по сравнению с военными действиями с участием людей, - и что их разработка может рассматриваться как моральная необходимость. На данном круглом столе авторы из Бразилии, Индии и США обсуждают следующий вопрос: приведет ли использование автономного оружия к увеличению или снижению гражданской безопасности; а также что является правильной реакцией на разработку автономного оружия – безоговорочное запрещение или же эффективное международное регулирование?

Round 1

Запрещение и контроль автономного оружия

By Heather Roff: RUS | Dec 8, 2015

Они охотятся стаей. Патрулируют компьютерные сети. Используются на суше, в воде, в воздухе, в космосе – везде. Применение автономного оружия действительно выглядит зловеще. Но, с другой стороны, усилит ли оно или, наоборот, снизит безопасность гражданского населения?

Ответ на этот вопрос требует четкого представления того, что обозначает термин «безопасность гражданского населения». Если это значит защиту жизней гражданских лиц во время вооруженных конфликтов, то да, когда-нибудь автономное оружие сможет работать и на эту цель. Однако на сегодняшний день технологии не настолько развиты, чтобы автономное оружие отличало воюющих лиц от некомбатантов, особенно во время беспорядков или гражданских войн. Самое лучшее, чего могут достичь современные технологии, – это различать сигналы радаров, тепловые сигнатуры, геометрические формы, – или же, в случае людей – датчики на обмундировании. Однако это позволит идентифицировать собственных солдат, но никоим образом не усилит безопасность мирного населения.

Со временем технологии автономного оружия, – по мере развития распознавания лиц, жестов, биометрических параметров и т.п., – позволят лучше идентифицировать допустимые цели. Тем не менее, подобные разработки не гарантируют, что гражданские лица не станут целями для огня. Аналогичным же образом, они не исключат появление других угроз безопасности мирных граждан. Например, для того, чтобы противостоять потенциальным опасностям, автономное оружие может однажды начать постоянное наблюдение за населением, что можно сравнить со «Взглядом Горгоны» ("GorgonStare") – системой воздушной разведки, которая в настоящее время используется Соединенными Штатами Америки. Если подобные технологии будут использованы на автономном оружии, то общество столкнется с целым рядом проблем, не связанных напрямую с вооруженными конфликтами но, тем не менее, имеющим отношение к гражданской безопасностью.

«Гражданская безопасность», таким образом, распространяется далеко за пределы военных действий, – и за рамки международного гуманитарного законодательства. То есть, безопасность граждан касается как военного, так и к мирного времени. В мирное время применим другой закон, – о международных правах человека, который соединяет в себе договоры, принципы, законы и национальные обязательства в отношении «гражданских, политических, экономических, социальных и культурных прав, которыми должны пользоваться все люди».

Если автономное оружие должно соответствовать международному закону о правах человека, то оно также должно, по крайней мере, согласовываться и со всеми международными, местными и двусторонними договорами о правах человека, а также с соответствующими внутренними законами каждой конкретной страны. И автономному оружию стоит, в самом деле, стимулировать соблюдение прав человека. Таким образом, недостаточно, если какая-либо страна станет задаваться вопросом, будет ли автономное оружие защищать гражданские лица в каком-либо другом государстве, в котором эта страна вовлечена в военные действия; автономное оружие должно согласовываться с законами своей собственной страны. Выражая ту же идею более тонко, – автономное оружие также обязано пройти юридическое освидетельствование в условиях, которые оказываются неудобно расположенными на границе между законами военного и мирного времени.

Все эти требования ставят очень высокую планку перед автономным оружием. Чтобы понять это лучше, давайте изучим, как автономное оружие может нарушить, например, Европейскую конвенцию по правам человека. Если автономное оружие будет применено в Европе для повсеместной разведки наблюдением в ходе антитеррористических операций, не будет соблюдено право на личную и семейную жизнь, что гарантируется Статьей 8 Конвенции. Это оружие может быть кибернетическим, а не робототехническим, поэтому оно может иметь отрицательное влияние на свободу слова, совести и религии (гарантированные Статьей 9). Автономное кибер-оружие может нарушить свободу самовыражения (Статья 10), если это оружие заморозит дискурс и самовыражение людей в сети интернет.

Конечно же, наиболее серьезная опасность, которую несет в себе автономное оружие, – это угроза праву на жизнь. Можно было бы предположить, что «безопасность гражданского населения» именно и означает право на жизнь, вместо, например, права на личную или семейную жизнь. Но право на жизнь – которое гарантируется не только Статьей 2 Конвенции, но также другими важными международными юридическими инструментами, – не безгранична. Право на жизнь зависит в большой степени от юридического разрешения на использование смертоносной силы.

Такие юридические разрешения, однако, отличаются в зависимости от того, находится человек в условиях войны или в состоянии мира. В мирное время (или в ситуациях «неведения правопорядка») использование смертоносной силы требует наличия непосредственной угрозы случайным свидетелям или офицерскому составу. Во время войны порог использования смертоносной силы намного ниже. Применение таких различий к автономному оружию предполагает, что, если человек будет идентифицирован как потенциальная или реальная опасность, автономное оружие должно попытаться произвести его арест (кроме случаев, когда опасность эта смертельна и неминуема для случайных наблюдателей; при этом угрозы машине может и не существовать). Если система не способна произвести арест, – например, если это воздушная система, – выбор вариантов поведения ограничивается двумя – либо убивать, либо не убивать. Но убийство человека в таких обстоятельствах станет автоматическим нарушением права на жизнь. Более того, такое действие нарушит право на справедливый суд. Отказ в праве на судебное разбирательство подрывает верховенство закона, которое само по себе является важной силой в обеспечении и защите гражданской безопасности.

Опасность для каждого. Кроме всего выше сказанного, гражданская безопасность и, как следствие, право на жизнь, ставятся под угрозу потенциальной гонкой в сфере автономного оружия и искусственного интеллекта. Подобная гонка поставит гражданское население по всему миру перед совершенно ненужным, потенциально экзистенциональным риском. Если автономное оружие будет разработано и применено, оно рано или поздно войдет во все сферы жизни: в воздухе, космосе, на море, суше и в кибер-пространстве. Они будут охотиться в стаях. Они объединятся в особую сеть систем оружия без человеческого контроля. Они будут осуществлять контроль за компьютерными сетями. Они будут повсюду. Было бы высокомерной ошибкой полагать, что только одна страна будет проводить разработку такого оружия.

Многие государства решат, что их оборона нуждается во все укоряющемся развитии с каждым днем совершенствующегося искусственного интеллекта и оружия с постоянно растущей автономией. Но автономные системы с возможностью обучения могут очень быстро выйти из-под контроля их создателей. Они станут угрозой для любого в пределах их непосредственной досягаемости. А системы автономного оружия, связанные друг с другом через сеть, или автономные субъекты, обладающие искусственным интеллектом и имеющие доступ к сети интернет, не будут ограничены одной географической территорией или государствами, вовлеченными в военный конфликт. Непредусмотренные последствия создания и использования автономных систем могут быть настолько серьезными, что риски, связанные с их использованием, превысят все возможные преимущества.

Явится ли полное запрещение корректным ответом на разработку автономного оружия, или наиболее правильным подходом станет эффективное международное регулирование? В прошлом я призывала к тому, чтобы запретить автономное оружие, – опасности, которые повлечет за собой не запрещение его, слишком велики. Но независимо от того, будет наложен запрет или нет, соответствующее международное законодательство необходимо. Многие информационные и коммуникационные технологии являются средствами двойного назначения – то есть они могут быть использованы как в военных, так и в невоенных целях. Искусственный интеллект может принести немало пользы обществу, и эту пользу не следует отбрасывать вместе с вредными качествами. Таким образом, государства должны объединиться, при поддержке экспертов и неправительственных организаций, для создания практичного и работающего подхода к автономным технологиям, применяемым в робототехнике и кибер-безопасности, – такой подход исключает наращивание вооружения, но позволяет полезное использование. Другими словами, вопрос не в том, надо ли запрещать или регулировать. На самом деле вопрос в том, как наилучшим образом осуществить оба этих действия.

Автономное оружие: балансируя на туго натянутом канате

By Monika Chansoria: RUS | Dec 8, 2015

Когда исследователи искусственного интеллекта подписали в июле открытое письмо с призывом запретить «наступательное автономное оружие за пределами значимого человеческого контроля», они заявили, что запрет может касаться такого оружия, как «вооруженные квадрокоптеры», способные идентифицировать и уничтожать людей, «отвечающих определенным заранее заданных критериям». Но запрет не будет включать «крылатые ракеты или дроны с дистанционным управлением, за которых все решения о назначении целей принимают люди». Таким образом, стоит отметить, что предложенные запрещения не коснутся определенного количества автономного оружия, которое уже введено в эксплуатацию, – потому что это оружие классифицируется как оборонное.

Такие виды вооружения включают в себя систему «Фаланкс», «скорострельную артиллеристскую системус радиолокационным наведением, управляемую с помощью компьютера», стоящую на вооружении военно-морских сил США с 1980 года, и которую армия США в недавнем времени применяла в сухопутных операциях. Немецкая полностью автоматизированная оборонная система «NBSМантис» также может обнаруживать, отслеживать, прицеливаться и открывать огонь по движущимся объектам. Израильская оборонная ракетная система «Железный купол» также работает автономно, кроме случаев, когда, при обнаружении угрозы нападения противника, она запрашивает людей о принятии быстрого решения на открытие огня.

Подобные системы являются общепринятыми в качестве легальных инструментов ведения войны. Полностью автономное наступательное оружие, однако, это совсем другая история. Такое оружие поднимает ряд трудных вопросов о том, может ли оно придерживаться морального императива о защите жизней гражданских лиц во время военного конфликта. Но в подобных обсуждениях легко упускается из вида еще один моральный вопрос: о защите гражданских лиц, находящихся в опасности от действий негосударственных субъектов, которые совершают акты массового насилия и терроризма против мирных жителей.

По моему мнению, любое предложение по запрещению смертельных видов оружия должно принимать во внимание нестандартные, асимметричные и беспорядочные военные акты, которые совершают транснациональные негосударственные субъекты, – а также влияние подобных действий на гражданских лиц. Не относящиеся ни к каким государственным образованиям личности часто процветают именно потому, что они не различимы на фоне мирного местного населения. Они также свободно распространяются в труднодоступных местностях, таких как горы и пустыни, просачиваются сквозь легко проницаемые границы и получают поддержку от сочувствующих им государств или имеющих отношение к таким государствам лиц. Иногда регулярные вооруженные силы могут преодолевать преимущества, которыми пользуются негосударственные субъекты, особенно посредством оптимального использования технологий, включая беспилотные летательные аппараты (при поддержке качественных разведывательных данных). Но регулярные войска обнаружили, что победить негосударственные субъекты в общепринятом смысле оказывается достаточно проблематичным. Соответственно, они стараются защитить гражданских лиц.

Может ли полностью автономное оружие с самыми современными возможностями изменить эту ситуацию? Может ли оно, не только не ставить под опасность гражданские лица, но именно сохранятьжизни невинных мужчин, женщин и детей, попавших в жестокие зоны военных действий? Если автономное оружие может выводить из строя вражеские цели, в то же время минимизируя нежелательные жертвы, такое оружие окажется под пристальным изучением в качестве средства борьбы с негосударственными субъектами и террористами.

Ни один из существующих видов вооружения не может быть должным образом охарактеризован как автономное наступательное оружие, способное уничтожать допустимые цели и сохранять жизни гражданским лицам. Искусственный интеллект, каким мы имеем его на сегодняшний день, – то есть неспособным подражать человеческому интеллекту и здравому смыслу, – при применении его на полях сражений окажется серьезным вызовом безопасности гражданского населения. Будущие исследования и научные разработки, возможно, смогут запрограммировать машины на качественные принятия решений, что невозможно сегодня. И только будущие технологические решения смогут позволить автономному оружию превзойти людей в различные боевых ситуациях.

В конце своей статьи я хочу сказать, что склоняюсь больше к необходимости регулирования автономного оружия, нежели полному запрету на эти технологии. Но общее запрещение в любом случае представляется невозможным. Министерство иностранных дел Великобритании, например, заявило: «мы не видим необходимости запрета» смертоносного автономного оружия, потому что «международное гуманитарное право уже обеспечивает необходимую нормативно-правовую базу в этом направлении». По моему мнению, то, что необходимо, – это нормативная база, ограничивающая смертоносность будущих систем автономного оружия. Также необходимо провести исследования механизмов (например, усовершенствованное программирование), которые резко снизят жертвы, связанные с применением автономного оружия, среди мирного населения.

В конечном итоге, как и в случае со многими другими аспектами современных конфликтов или войн, наиболее фундаментальную обеспокоенность вызывает вопрос пропорциональности. Я могла бы выступить в защиту заявления, что смертельное автономное оружие может рассматриваться как этическое, если косвенный ущерб, который оно наносит, не выходит за пропорциональные рамки их вклада в мир, безопасность и стабильность, а также в предотвращение крупномасштабного кровопролития среди гражданского населения.

Автономное оружие и проклятие истории

By Paulo E. Santos: RUS | Dec 8, 2015

Автономное оружие, способное выбирать и атаковать цели без вмешательства человека, уже является реальностью. Сегодня такое оружие в большинстве своем ограничено наведением на военные цели в ненаселенных районах, – но быстроразвивающиеся компьютерные системы с огромными возможностями процессоров и энергичными алгоритмами искусственного интеллекта очень скоро могут предоставить различным странам возможность принимать конкретные решения о применении полностью автономного оружия в городских боях.

Однако сможет ли автономное оружие, как заявляют некоторые специалисты, минимизировать косвенные жертвы, – или же оно приведет к массовым поражениям? Ответ на этот вопрос вовсе не ясен. Но очевидна важность обсуждения этических вопросов автономного оружия и дискуссий на тему того, должно ли это оружие быть запрещено, контролируемо, – или же можно позволить его разработку без ограничений. В конечном итоге все сводится к одному вопросу: о бесчеловечном убийстве во всех его формах.

Оптимизация потерь. Прежде всего, давайте определим, что такое «автономное оружие». Это термин с неясными границами. Крылатые ракеты и дроны с дистанционным управлением в некотором смысле являются автономными, и оба этих вида оружия уже широко применяются на полях сражений. Но когда говорят об автономном оружии, обычно имеется в виду оружие, обладающее новейшими возможностями искусственного интеллекта, робототехники, автоматического контроля, и которое может, независимо от вмешательства человека, выбирать цели и принимать решения об атаке на них.

Также важно понять, что означает термин «искусственный интеллект» – или, что важнее, – что этот термин не значит. Искусственный интеллект, как его изображают в кино и фантастических рассказах, часто имеет отношение к машинам, проявляющим интеллект человеческого уровня. В настоящий момент не существует научного доказательства, что подобное возможно даже теоретически. Вместо этого, искусственный интеллект касается разработки компьютерных алгоритмов, подходящих для обработки логических задач, – то есть разрешения проблем, принятия решений, прогнозирования, диагностики и т.п. Искусственный интеллект также включает в себя обобщение или классификацию данных – то, что известно как «обучение машины». Также системы искусственного интеллекта могут подразумевать программное обеспечение машинного зрения, направленное в конечном итоге на осмысленную интерпретацию образов. Такой функционал не слишком зрелищен для голливудских фильмов, но представляет собой огромный интерес для разработчиков автономного оружия.

Некоторые могут сказать, что, применяя искусственный интеллект в военных действиях, особенно с использованием автономного оружия, тем самым можно оптимизировать жертвы на поле битвы. Интеллектные системы робототехники, как следует из подобной аргументации, способны идентифицировать цели точно и эффективно. Они могут вступать в сражение таким образом, чтобы минимизировать сопутствующий урон, – особенно в сравнении со многими военными операциями, проводимыми людьми, например, атакой американских ВВС 3 октября на больницу организации «Врачи без границ» в Афганистане. Автономное оружие могло бы свести жертвы среди гражданского населения до минимума по мере увеличения шансов на успешность миссий.

Однако подобную аргументацию можно применять к любым инновациям в истории оружия, начиная прямо с пороха и заканчивая «точечными ударами» первой иракской войны (которые так эффектно рекламировались на телевидении). И даже если новое оружию может «оптимизировать» убийства, в то же время оно делает его более бесчеловечным. На протяжении многих веков солдаты целились в других человеческих существ. Теперь они прицеливаются в мишени, находясь как будто в компьютерной игре. В будущем они могут даже и не целится, делегируя это задание машинам. Но разница между, скажем, полностью автономной оружейной системой с одной стороны и крылатой ракетой или военным дроном с дистанционным управлением с другой заключается в технических моментах, нежели этических или моральных. Если современное общество будет рассматривать войну как видео игру, – также как это было с «точечными ударами» 1990-х, – то можно считать, что автономное оружие уже вошло в число общепринятых методов ведения военных действий.

Не так давно несколько ученых, – и автор данной статьи среди них, – подписали открытое письмо с призывом «запретить наступательное вооружение за пределами значимого человеческого контроля». После того, когда я сегодня перечитал это письмо, я заметил, что оно предлагает наложить запрет лишь на то оружие, которое «выбирает и атакует цели без вмешательства человека», в то же время исключая «крылатые ракеты или дроны с дистанционным управлением, для которых решения в выборе цели принимаются людьми». В некотором смысле такая формулировка подразумевает, что позволяется безразличное убийство значительного числа людей, – будь то солдаты или гражданские лица, взрослые или дети, – если только решение о выборе их в качестве цели принимается людьми. Но, анализируя историю человечества, трудно понять, почему человеческий контроль над оружием намного лучше, чем может стать автономный контроль. Возьмем один пример из ХХ века, – а подобных примеров в истории человечества слишком уж много, – человеческий контроль не предотвратил массовое убийство примерно 200000 гражданских лиц в Хиросиме и Нагасаки в августе 1945 года (хотя, возможно, эти злодеяния можно было бы предотвратить, если развитие и использование ядерного оружия попало бы под эффективный международный контроль как только ученые осознали возможность создания такого оружия).

Я подписал то открытое письмо как пацифист. Я подпишу любое письмо, которое предлагает запретить разработку и изготовление оружия. Но я не думаю, что прямой запрет автономного оружия сможет предотвратить его разработку, – в конце концов, исследования с сфере усовершенствованных интеллектуальных робототехнических систем поражающего действия ведется уже несколько десятилетий. По сравнению с ядерным и применимым биологическим оружием, разработка которого требуют высокоспециализированных и дорогих лабораторий и доступа к легко отслеживаемым материалам, автономное оружие легко изготовить. Любая существующая лаборатория интеллектуальной робототехники могла бы, – при достаточно скромном финансировании и в течение всего нескольких недель, – изготовить «с нуля» мобильный робот, способный в автономном режиме отслеживать и стрелять в любой движущийся объект. Такой робот может застрять на первой же лестнице, но, тем не менее, его уже можно будет назвать простейшим автономным оружием.

Не существует никакого реально работающего способа гарантировать, что автономное оружие никогда не будет изготовлено. Запрет на его разработку просто-напросто станет приглашением для создания подпольных лабораторий, что сделает невозможным ни контроль такого оружия, ни привлечение к ответственности разработчиков. Но то, что можно практически осуществить посредством эффективного международного регулирования, – это сделать так, чтобы разработка автономного оружия анализировалась и прослеживалась в индивидуальном порядке. Выбор целей для автономного оружия должен регулироваться жесткими правилами, а использование такого оружия должно проходить согласно международному гуманитарному законодательству, – при этом, если соответствие по всем требованиям окажется невозможным, это оружие никогда не сможет быть применимо в реальных условиях. И, наконец, необходимо создать систему привлечения к ответственности любой организации, которая не соблюдает соответствующие нормативы при создании и использовании автономного оружия.

Round 2

Автономное оружие: это не просто поумневшие корректируемые ракеты

By Heather Roff: RUS | Jan 6, 2016

Легко было бы предположить, что, по мере того, как технологии автономного оружия совершенствуются, они когда-нибудь превзойдут людей в способности принимать решения не поле боя. В конце концов, люди устают. Их легко ввести в заблуждение, преформатировать их идеологию, у них недостает здравого смысла. Технологически усовершенствованное оружие не страдает ни от одного из этих недостатков.

Однако подобные предположения не имеют точек соприкосновения с реальным миром, и было бы непредусмотрительно основывать на них решения о будущем автономного оружия.

Мой коллега по круглому столу Пауло Сантос ипшет, что нет ни одного научного доказательства идеи о том, что в будущем машины смогут «продемонстрировать уровень интеллекта на уровне человеческого». Но он не отрицает мысль о том, что «автономное оружие могло бы свести жертвы среди гражданского населения до минимума по мере увеличения шансов на успешность миссий». В этом случае мой коллега балансирует на тонкой и в некотором роде странной грани, – и то же самое он делает, когда разговор заходит о запрещении или регулировании автономного оружия. Он бы предпочел, чтобы автономное оружие никогда не существовало. Но его беспокоит то, что запрещение, если оно сработает, повлечет за собой возникновение подпольных лабораторий. Такимобразом, он приходит к опции регулирования.

Моника Чансория крайне обеспокоена защитой гражданских лиц против террористов. На этом основании она выступает против запрета на автономное оружие. Но системы автономного оружия никакого отношения к терроризму не имеют. Они не представляют собой способ уничтожения террористов. Они не являются способом «выиграть» «войну» против террора. Они являются всего-навсего оружием, которое может обнаруживать, выбирать и стрелять в цели без человеческого вмешательства.

Несмотря на это, если мы предположим, как, похоже, предположила и г-жа Чансория, что системы автономного оружия однажды смогут отличать террористов от обыкновенных граждан (таким образом определяя и выбирая из двух людей), то нам придется поверить и в то, что эти системы будут снабжены чрезвычайно высоким искусственным интеллектом, превосходящим человеческий в части принятия определенных решений.

Если же не допускать, что технологии будут полагаться на искусственный интеллект, превосходящий человеческий, мне вряд ли удастся понять, как такие системы вообще когда бы то ни было смогут идентифицировать людей, не одетых в униформу, но активно принимающих участие в военных действиях. Выражаясь словами Стюарта Расселла, ведущего эксперта по искусственному интеллекту из Университета Калифорнии в Беркли, «'участник боевых действий'- это не зрительная категория». Скорее, это класс лиц, занятых неидентифицированным набором действий. Это значит, что если люди не будут иметь на себе датчики, которые автономное оружие сможет отслеживать, искусственный интеллект будет не в состоянии обеспечить «осмысленную интерпретацию образов» (пользуясь терминологией г-на Сантоса) в сложных боевых условиях, где люди занимаются неидентифицированным набором действий.

Чтобы ясно понимать, что такое автономное оружие, необходимо избавиться от мысли о том, что оно является просто более усовершенствованными корректируемыми ракетами. Боезаряды повышенной точности, которые «снижают сопутствующий урон» являются точными лишь в своих способностях распознавать определенное место во времени и пространстве. Это местоположение, будь то указываемое человеком с помощью лазера или с помощью координат и спутников, все равно определяется людьми. Человек выбирает эти цели.Автономное оружие, с другой стороны, будет выбрать свои собственный цели. Оно будет выбирать боезаряды для выпуска по цели. Эти заряды могут быть корректируемыми (т.н. «умными») бомбами или же простыми неуправляемыми («глупыми») бомбами, но точность в этом случае не важна. Чтоздесьважнее– этовыборцели.

Таким образом, не следует создавать путаницу, неправильно классифицируя виды автономного оружия, обсуждая их применение в операционно неуместных условиях или предполагая, что их применение даст нам более «чистую» войну с меньшим сопутствующим уроном. Такие подходы не решают настоящих проблем, связанных с автономным оружием. Что действительно необходимо международному сообществу, а также международным организациям, таким как ООН, это принять своевременную и решительную позицию по этому вопросу. Как будет работать регулятивная база? Как может выглядеть запрет? Вот на эти вопросы должны ответить страны-члены. Но время для ответа на них и прекращения бессмысленной болтовни уже пришло.

Автономное оружие и напряженный поиск гражданской безопасности

By Monika Chansoria: RUS | Jan 6, 2016

Мои коллеги по круглому столу выразили уместную озабоченность проблемами автономного оружия, но не уделили достаточного внимания массовым убийствам мирного населения террористами, – убийствам, которые могут быть сокращены при применении автономного оружия, контролируемого эффективным законодательством.

Смертельное автономное оружие требует эффективного регулирования, – вот мнение, по которому все авторы этого круглого стола выражают единообразное согласие. Одна из участниц, Хезер Рофф ратует за полное запрещение автономного оружие в дополнение к его регулированию. Но всеобъемлющий запрет вряд ли будет когда-либо применен. Таким образом получается, что единственным действенным путем для движения вперед является эффективное международное регулирование. В идеале, регулятивная система будет способна одновременно ограничить сопутствующий ущерб, который может вызвать применение автономного оружия, а также урегулирует разработку и распространение этого оружия. Но главная задача регулятивной системы – увеличить шансы автономного оружия на то, чтобы способствовать, нежели снижать, гражданскую безопасность.

Может ли автономное оружие представлять собой опасность для гражданского населения? Несомненно. Как г-жа Рофф писала в первом раунде, что, несмотря на то, что технологический прогресс может дать автономному оружию способность опознавать разрешенные цели, такие усовершенствованные технологии «не смогут гарантировать, что гражданские лица не станут целями для огня». Такое наблюдение, являясь правильным, тем не менее, упускает из вида угрозы гражданскому населению, которые исходят от внегосударственных субъектов, процветающих из-за того, что они неотличимы от местного гражданского населения. Возьмем для примера Индию. Согласно данным Института управления конфликтами в Нью-Дели, начиная с 1988 года из-за террористических действий было убито около 21000 индийцев, являющихся гражданскими лицами и работниками службы безопасности. Таким образом, несмотря на труднодоказуемость того, что автономное оружие будет непременно подкреплять, нежели снижать, безопасность гражданского населения, – ведь такое оружие находится в стадии разработки, – можно утверждать с большой долей убежденности, что при отсутствии автономного оружия гражданская безопасность подвергается угрозе со стороны внегосударственных субъектов. Фактически при подобных условиях трудно достичь «четкого понимания» термина «гражданская безопасность», которое ищет г-жа Рофф. В ситуации массовых беспорядков, гражданских войн и других видов асимметричного насилия, подобный поиск представляется довольно проблематичным.

В то же самое время Пауло Сантос доказывает, что «автономное оружие уже применяется на полях сражений», потому что современное общество смирилось с концепцией «военных действий как компьютерной игры». Но в странах, подобных Индии, население вообще не смирилось с любой формой военных действий, – более того, война в ее нетрадиционном, асимметричном и беспорядочном смысле навязывается Индии внегосударственными субъектами и лицами, находящимися в переходном состоянии. Такие группы людей получают от государств или государственных образований–соучастников ресурсы, необходимые для ведения террористический операций. Такой вид военных действий, по мере того, как он ставит под угрозу жизнь гражданского населения, создает нестабильность в регионе, которая, в с свою очередь, может породить новых террористов или вооруженные восстания.

Открытые и демократические страны, которые ценят свободы, те страны, чье руководство стремиться вести себя как ответственные участники международных процессов, не рассматривают мирное население в качестве целей для ведения огня. Напротив, именно не-государственные сети используют массовое насилие против мирного населения для достижения своих целей. Если системы автономного оружия, используемые при эффективном регулировании, смогут предотвратить массовые кровопролития среди гражданского населения, в то же время минимизируя сопутствующие жертвы, они достойны серьезного рассмотрения как законной технологии, могущей быть примененной во время конфликтов и войн.

Автономные и безотчетные

By Paulo E. Santos: RUS | Dec 17, 2015

Участники данного круглого стола согласились в первом раунде с тем, что автономное оружие подлежит международному урегулированию, однако никто не уделил достаточно времени обсуждению того, каким образом подобная регулятивная система может быть создана.

Возможно, причина этому то, что все три автора сконцентрировались на аспектах, которые, – несмотря на то, что с ними трудно спорить, – были, тем не менее, настолько важны, чтобы обосновать их с самого начала. Защита мирного населения должна быть наибольшим приоритетом как в военное, так и в мирное время. Сегодня автономное оружие не может увеличить шансы военного преимущества и снизить риски сопутствующего урона, однако когда-нибудь оно может приобрести такие возможности. Усовершенствованное автономное оружие, если будет применено, может нарушить основные права человека.

Когда эти предпосылки были установлены, Моника Чансория и я совместно ратовали за регулирование, нежели запрещение автономного оружия, – несмотря на то, что она и я пришли к этому мнению исходя из разных причин. Хезер Рофф, в то же самое время, призывала как к регулированию, так и к запрещению. Опять же, каждый автор только мельком обсудил то, как устроить такое регулирование, – предположительно, это достаточно сложный вопрос. Автономное оружие, как следует из определения, предназначено для самостоятельного принятия решений. Тогда, каким образом будет распределяться ответственность за преступления, совершенные им? Кто будет отвечать, когда смертельное автономное оружие засбоит?

Вспомните, как много раз вам встречались фразы наподобие: «Проблема вызвана системной ошибкой». Такие формулировки обычно исключают дальнейшее обсуждение. Поэтому легко представить себе сценарии, когда умирают невинные гражданские лица, возможно, в большом количестве, но никто не привлекается к ответственности, потому что виновата «системная ошибка». И в самом деле, кого винить? Командира операций, который использовал автономное оружие, надеясь, что оно выйдет на надлежащую цель? Разработчиков оружия, которые вообще не имели никакого отношения в выбору той конкретной цели?

Автономное оружие автоматически создает белые пятна в вопросе ответственности. Но нахождение ответственных за действия автономных военных машин не должно отличаться от процесса нахождения ответственных в других военных операциях: ответственность следует по вертикали управления. Таким образом, организации или индивидуумы, которые отдавали приказ использовать автономное оружие, должны нести ответственность за действия этой машины. «Системная ошибка» никогда не должна оправдывать ненужные жертвы. Если эта мысль будет внедрена в международное гуманитарное законодательство и международные законы о защите прав человека, – которые в настоящее время касаются лишь людей, но не машин, – то сфера действия международных законов (описанная г-жой Рофф в первом раунде), может обеспечить достаточную базу для регулирования автономного оружия.

Человеческие существа научились жить с военными инновациями, начиная от воздушных бомбардировщиков и заканчивая атомным оружием. Они даже научились сосуществовать с неистовствами террористов. Люди подобным же образом привыкнут ко все усиливающейся автономии машин для убийства. И это никогда не должно препятствовать привлечению к правосудию людей, ответственных за военные преступления, вне зависимости от инструментов, используемых для совершения этих преступлений.

И, опять же, неясно, сможет ли международное сообщество узнать о случаях, когда автономное оружие уничтожает гражданских лиц. Секретность, окружающая военную программу США, связанную с дронами, не вселяет уверенности в этом отношении. На войне белые пятна ответственности – обычное дело. Они создаются секретностью, присущей военным операциям, соглашательствами средств массовой информации, а также мнениями населения, зиждущимися на невежестве. Белые пятна ответственности, которые продолжат существовать с автономным оружием или без него, – вот что подводит стрелки Часов Судного дня Бюллетеня Ученых-ядерщиков так близко к полночи, как автономное оружие не сможет никогда.

Round 3

Провести грань между автономным и автоматическим оружием

By Heather Roff: RUS | Feb 13, 2016

Мои коллеги по круглому столу Пауло Сантос и Моника Чансория в один голос ратуют за регулирование, нежели запрещение автономного оружия. Но они ни разу не дали точного определения тому, что именно они собираются регулировать. А это – некоторый недосмотр, так как любой, кто выступает за регулирование оружия и того, как оно используется, должен иметь очень четкое понимание того, что именно такое регулирование подразумевает.

Автономное оружие, согласно определению Министерства обороны США, это оружие, которое выбирает цели и открывает огонь без вмешательства человека-оператора. Но что именно имеется в виду под термином «выбирает»? И что подразумевается под словом «вмешательство»? Эти вопросы более тонкие, чем кажутся на первый взгляд.

«Выбор» может означать сканирование определенного пространства на предмет входящего сигнала на датчик, – например, радиолокационной сигнатуры или физиогномического образа. Но в этом случае оружие не выбирает цель. Скорее, оно охотится за предзаданной целью. Фактически, именно человек выбирает цель, – либо программируя параметры цели, либо определяя объект цели или площадь цели. Но подобное оружие не является в полном смысле слова автономным; это автоматическое оружие.

С другой стороны, «выбор» может означать простое действие по обнаружению цели. Но современные вооруженные силы могут счесть такое обнаружение проблематичным. Многие уже существующие системы оружия, – крылатые ракеты, противоракетные и минометные оборонительные системы, торпеды и глубинные бомбы, – обнаруживают цели и открывают по ним огонь. Вряд ли какое-либо государство охарактеризует эти системы как автономные.

Поэтому возникает вопрос – что именно отличает автономное оружие от автоматического, – и, таким образом, подвергает его регулированию или запрету? Я бы ответила на этот вопрос, проведя грань между усовершенствованным автоматическим оружием и автономным оружием с ограниченной обучаемостью.

Усовершенствованное автоматическое оружие не способно ни на обучение, ни на смену своих целей. Но из-за его мобильности и, в некоторых случаях, возможности автономной навигации, оно может причинять серьезный ущерб гражданскому населению. Кроме этого, оно не может придерживаться принципов необходимости, предупреждения и пропорциональности. Таким образом, оно, скорее всего, будет использоваться для уничтожения материальных объектов. И вряд ли оно будет использовано против личного состава.

Оружие с ограниченной обучаемостью, тем не менее, способно как обучаться, так и изменять свои промежуточные цели в процессе выполнения задач. Оно действительно выбирает цель среди множества объектов или лиц. Другими словами, оно выполняет военные задачи, – точно так же, как солдаты решают, стрелять ли в человека, транспортное средство или здание или, например, как лучше «взять высоту». Это системы автономного оружия в истинном смысле слова. (Ни одно государство, кстати, не поддержало использование автономного оружия против людей. Даже те государства, которые не согласны с запретом или регулированием автономного оружия, стоят на позиции, что системы автономного оружия могут использоваться лишь в «операционно уместных ситуациях» и «не имеющих помех обстановках». Таким образом, предложение г-жи Чанстория о том, чтобы автономное оружие использовалось в контртеррористических операциях, не имеет поддержки ни в дипломатических, ни в военных кругах.)

Мои коллеги предполагают, что я отрицаю потенциал искусственного интеллекта, способного превзойти определенные человеческие возможности, или же что я отрицаю тот факт, что искусственный интеллект более пригоден к выполнению определенных задач, чем люди. Я не отрицаю ни одну из этих идей, – и именно поэтому я озабочена рисками, которые станет представлять собой оружие с ограниченной обучаемостью, если оно будет разработано и использовано на полях боев. Такие риски, – которые включают в себя изменение не просто самого хода боевых действий, но также безопасности и свобод гражданского население в мирное время, – настолько значительны, что оружие, являющееся их источником, должно быть полностью запрещено. И, прежде чем кто-либо станет аплодировать, как, кажется, делает г-жа Чансория, способностям оружия будущего к «качественному суждению», неплохо было бы осознать, что «качественное суждение» может появиться лишь после прохождения автономными технологиями жесткого и опасного промежуточного процесса «ограниченного» интеллекта и малого суждения.

Трудные вопросы. Таким образом, что должно быть сделано в практическом плане с оружием, обсуждаемым на данном круглом столе?

Что касается усовершенствованного автоматического оружия, мировые правительства должны обстоятельно рассмотреть, может ли это оружие применяться в сложных обстановках. Государствам необходимо принять регулятивную базу о его использовании. Но автономные системы в истинном смысле этого термина, – с ограниченной обучаемостью или же более совершенное оружие, – должны быть запрещены. Их использование подразумевает огромные риски для гражданского населения; оно может вызвать эскалацию конфликтов; может легко спровоцировать гонку интеллектуального вооружения; а также может привести к необходимости внедрения сети датчиков во всех районах боевых действий (и в городах). Фактически, уже сейчас системы всепроникающего наблюдения вызывают достаточно беспокойства, и одного этого достаточно для того, чтобы обосновать запрет автономного оружия.

Было бы неубедительно заявлять, как это сделали мои коллеги, что запрет вряд ли будет когда-либо применен или что он окажется непрактичным, если его все-таки примут. Другие технологии, такие как ослепляющие лазеры, были запрещены еще до того, как их стали применять, – почему же то же самое нельзя сделать с автономным оружием? Идентично тому, как при поддержке ученых мира и химической промышленности было запрещено химическое оружие, вызовы, которые бросает нам автономное оружие, можно разрешить с помощью сотрудничества ученых, ротоботехников и технологической промышленности. Более того, военные силы некоторых стран уже сейчас имеют возможность внедрить алгоритмы ограниченной обучаемости в оружейные системы, но они не применяют эти технологии из-за неопределенности и рисков. В связи с тем, что военные силы уже сейчас демонстрируют сдержанность, почему бы не вынудить их полностью отказаться от автономного оружия?

Автономное оружие таит в себе трудные вопросы и серьезные вызовы. Пришло время дать на них ответ. Но выдвигая полные наивного оптимизма утопические идеи о природе будущих конфликтов нельзя прийти к какому-либо положительному результату.

Автономное оружие: целесообразно, если урегулировано

By Monika Chansoria: RUS | Feb 11, 2016

Куба, Эквадор, Египет, Пакистан и Ватикан – только эти пять государств из 87, участвовавших в конференции ООН по смертоносному автономному оружию 2014 года, подали заявления, призывающие к запрещению систем автономного оружия. В то же самоевремя, скорее всего, десятки странразрабатывают военных роботов. В такой среде кажется крайне маловероятным, что смертоносное автономное оружие будет запрещено – как маловероятно и то, что запрет, будь он применен, окажется действенным.

Моя коллега по круглому столу Хезер Рофф, кажется, отвергает саму возможность того, что автономное оружие когда-либо сможет превзойти человеческие существа в сфере принятия решений на поле боя. По этому вопросу Пауло Сантос уже ответил г-же Рофф, – упоминая, например, исследования, дающие возможность предположить, что алгоритмы физиономической идентификации могут связывать пары лиц лучше, чем на то способны люди. К тому же существует точка зрения, что автономное оружие может превзойти человеческие способности в некоторых ситуациях именно потому, что оно не является человеком. Ученый организации «Heritage» Стивен Гровз пишет, что автономное оружие «может функционировать лучше, чем люди в опасных ситуациях, при которых человек мог бы действовать, исходя из страха или ярости».

Также, в противовес сказанному г-жой Рофф, автономное оружие может выполнять ряд полезных военных функций, – при этом находясь полностью в рамках международного гуманитарного законодательства. Г-н Гровз приводит пример того, что автономное оружие, работая в обстановке вседозволенности, сможет однажды атаковать боевой порядок танков на отдаленных территориях, например, в пустынях, или военные корабли, находящиеся вдали от путей торгового судоходства. Такое применение автономного оружия соответствует принципу различия, – элементу международного гуманитарного права, которое требует от участников конфликта отделять гражданских лиц от комбатантов и вести боевые действия лишь против последних. В зонах боевых действий, где отсутствуют гражданские лица или объекты, автономное оружие не сможет нарушить принцип различия.

Следуя той же логике, автономное оружие, используемое в воздухе, может выполнять ряд важных военных функций, соблюдая принцип соразмерности боевых действий, еще один элемент международного гуманитарного права. Например, автономное оружие может выслеживать самолеты врага в зонах, где гражданским судам запрещено осуществлять полеты. Их можно запрограммировать опознавать вражеские самолеты по форме, тепловой сигнатуре, скоростному порогу и т.д, – все, что может устанавливать их отличие от гражданских судов. В таких ситуациях преимущества атаки на вражеские самолеты не могут быть перевешены рисками ненужных жертв среди гражданского населения. Подобный риск приближается к нулю. То же самое, пишет г-н Гровз, относится и к ситуации под водой – системы автономного оружия могли бы патрулировать подводное пространство и атаковать подводные лодки врага, не представляя собой особой опасности нанесения чрезмерного сопутствующего ущерба. Г-жа Рофф, по всей видимости, не принимала ничего из вышесказанного во внимание и представила достаточно общее возражение против автономного оружия.

Одни только лишь традиционные военные стратегии и тактики не могут адекватно ответить на вызовы, которые образования, не являющиеся государствами или находящиеся в переходном состоянии, бросают либеральным демократическим странам, включая нестандартные, нетрадиционные, асимметричные и беспорядочные формы конфликтов. Государствам приходится ограничивать масштаб и интенсивность применяемой военной силы из-за соблюдения необходимых норм, требующих снижения сопутствующего ущерба и пропорциональности. Образования, не являющиеся государствами, не соблюдают таких норм. Тем самым создается политическая и психологическая асимметрия, которая должна быть решена на полях будущих сражений. В той степени, в которой автономное оружие может помочь в решении этой проблемы, оно не должно отрицаться.

В первом раунде я говорила, что автономное оружие можно считать этичным до тех пор, пока сопутствующий ущерб, связанный с этим оружием, не выходит за пропорции его «вклада в дело мира, безопасности и стабильности, а также предотвращения крупномасштабного кровопролития среди гражданского населения». Моя позиция перекликается с рассуждениями специалиста организации «Heritage» Джеймса Джея Карафано о том, что у автономного оружия имеется «потенциал увеличивать… эффективность на поле боя, в то же время … уменьшая [сопутствующий] ущерб и человеческие жертвы». Я придерживаюсь своего заявления, сделанного в первом раунде и выступаю против маловероятного и непрактичного запрета автономного оружия.

Запрет автономного оружия: нецелесообразно, равно как и неэффективно

By Paulo E. Santos: RUS | Jan 31, 2016

Уже давным-давно компьютеры превзошли людей в определенных способностях, требующих так называемого «интеллекта». Известный пример из ранней истории компьютеров – электронно-механическая машина «Бомба», разработанная во время Второй мировой войны в «Блетчли-Парке» и использованная англичанами для расшифровки кодов «Энигмы», немецкой военной шифровальной машины. В 1997 году компьютер «Голубой гигант» (Deep Blue) от компании IBMвыиграл шахматный матч из 6 партий у чемпиона мира Гарри Каспарова. В 2011 году другой компьютер от IBM, “Watson”, который “использует обработку естественного языка и машинную обучаемость для нахождения ответов из огромной массы неструктурированной информации» – принял участие в телевизионной программе «Jeopardy!» (российский аналог – «Своя игра») и одержал победу над двумя бывшими чемпионами этой игры. Таким образом, я отклоняю заявление моей коллеги Херзер Рофф, которое она выразила во втором раунде данного круглого стола о том, что будто бы я сам себе противоречу, когда пишу, что, с одной стороны, скорее всего, искусственному интеллекту никогда не удастся достичь уровня человеческого интеллекта и, с другой стороны, что в будущем автономное оружие сможет исполнять некоторые военные функции лучше, чем люди-солдаты. С моей точки зрения, тут нет никакого противоречия.

Исходя из той же логики, г-жа Рофф отвергла аргумент Моники Чансория, третьего участника настоящего круглого стола, о том, автономное оружие может стать полезным в борьбе против терроризма. Согласно г-же Рофф, машины никогда не смогут отличить террористов от мирных граждан, потому что такая способность потребует «чрезвычайно высокого уровня искусственного интеллекта, превосходящего человеческий в части принятия определенных решений». Но конкретные научные открытия говорят о том, что современные алгоритмы опознания по лицу могли бы превзойти способности людей по сопоставлению пар лиц. Фактически, когда речь заходит о возможностях, позволяющих автономному оружию эффективно противостоять терроризму, высокоточное опознание по чертам лица при меняющихся условиях является ключевым функционалом. Естественно, алгоритмы, лежащие в основе машинного распознавания, в настоящий момент имеют ряд ограничений, например, невозможность интерпретировать быстро меняющиеся ситуации. Но я не вижу причин, почему такие препятствия не смогут быть преодолены в будущем (даже если, в конце концов, машинное распознавание будет применено в системах наблюдения, нежели на несущих оружие машинах).

Настоящей проблемой, связанной с применением автономных смертоносных систем в целях борьбы с терроризмом, является то, уничтожая подозреваемых террористов, им тем самым отказывается в праве на справедливый суд, – а это может быть приравнено к убийству, совершаемому государством. Во всяком случае, само понимание термина «терроризм» является идеологизированным. Например, движения за независимость в Америке в 18 и 19 веках, могли бы быть расценены в Европейских столицах тех лет как террористические движения.

Интересное предприятие, но есть нюансы. Г-жа Рофф ратует за запрещение смертоносного автономного оружия. Являясь пацифистом, я согласен с тем, что, в идеале, полное запрещение было бы лучшим решением. Но в проектировку различных видов оружия было уже внедрено настолько много систем автоматизации, что запрещение смертоносного автономного оружия станет сродни запрету на разработки военных операций как таковых, – а это в практическом смысле невозможно. Кроме того, запрет, если бы он когда-либо был наложен, скорее всего, будет неэффективен (и, может быть, даже расценен как наивный). Допустим, что запрет будет применен на условиях, сходных с теми, которые изложены в прошлогоднем открытом письме по автономному оружию, написанному учеными, занимающимися искусственным интеллектом и робототехникой. В таком случае разработка полностью автономного смертоносного оружия станет вне закона, но машины для убийства, работающие на дистанционном управлении, крылатые ракеты и другое оружие с различной степенью автоматизации запрещено не будет. Как международное сообщество сможет быть уверено в такой ситуации, что оружие с дистанционным управлением, используемое к конфликте, не полностью контролируется искусственным интеллектом? Интерфейс оружия не требует изменений в зависимости от того, контролирует ли его человек или искусственный интеллект. И в том, и в другом случае человек сможет наблюдать за работой оружия. Но в одной ситуации решения о выборе цели принимает человек, а в другой – искусственный интеллект.

Это одна из причин, по которой я склоняюсь к строгому регулированию автономного оружия, нежели полному запрету на эти технологии. Регулирование сможет предоставить инструменты, необходимые для анализа и понимания растущей автоматизации военного дела. Оно повлечет за собой ограничения на разработку и применение автономного оружия. А также нанесет удар по обесчеловеченному убийству, совершаемому с одобрения государства.

Если регулирование явится правильным решением, то встанет вопрос, каким образом необходимо отредактировать международное гуманитарное законодательство и права человека, которые в настоящий момент управляют отношениями лишь человеческих участников деятельности, таким образом, чтобы они могли контролировать отношения и автоматизированных военных действий. Однако литература, на которых подобные обсуждения могут быть основаны, уже существует. Настало время приступить к выполнению этого проекта, вместо того, чтобы стремиться к запрету, который вряд ли когда-либо будет применен, а если и будет, то, скорее всего, окажется неэффективным.