Запрет автономного оружия: нецелесообразно, равно как и неэффективно

Уже давным-давно компьютеры превзошли людей в определенных способностях, требующих так называемого «интеллекта». Известный пример из ранней истории компьютеров – электронно-механическая машина «Бомба», разработанная во время Второй мировой войны в «Блетчли-Парке» и использованная англичанами для расшифровки кодов «Энигмы», немецкой военной шифровальной машины. В 1997 году компьютер «Голубой гигант» (Deep Blue) от компании IBMвыиграл шахматный матч из 6 партий у чемпиона мира Гарри Каспарова. В 2011 году другой компьютер от IBM, “Watson”, который “использует обработку естественного языка и машинную обучаемость для нахождения ответов из огромной массы неструктурированной информации» – принял участие в телевизионной программе «Jeopardy!» (российский аналог – «Своя игра») и одержал победу над двумя бывшими чемпионами этой игры. Таким образом, я отклоняю заявление моей коллеги Херзер Рофф, которое она выразила во втором раунде данного круглого стола о том, что будто бы я сам себе противоречу, когда пишу, что, с одной стороны, скорее всего, искусственному интеллекту никогда не удастся достичь уровня человеческого интеллекта и, с другой стороны, что в будущем автономное оружие сможет исполнять некоторые военные функции лучше, чем люди-солдаты. С моей точки зрения, тут нет никакого противоречия.

Исходя из той же логики, г-жа Рофф отвергла аргумент Моники Чансория, третьего участника настоящего круглого стола, о том, автономное оружие может стать полезным в борьбе против терроризма. Согласно г-же Рофф, машины никогда не смогут отличить террористов от мирных граждан, потому что такая способность потребует «чрезвычайно высокого уровня искусственного интеллекта, превосходящего человеческий в части принятия определенных решений». Но конкретные научные открытия говорят о том, что современные алгоритмы опознания по лицу могли бы превзойти способности людей по сопоставлению пар лиц. Фактически, когда речь заходит о возможностях, позволяющих автономному оружию эффективно противостоять терроризму, высокоточное опознание по чертам лица при меняющихся условиях является ключевым функционалом. Естественно, алгоритмы, лежащие в основе машинного распознавания, в настоящий момент имеют ряд ограничений, например, невозможность интерпретировать быстро меняющиеся ситуации. Но я не вижу причин, почему такие препятствия не смогут быть преодолены в будущем (даже если, в конце концов, машинное распознавание будет применено в системах наблюдения, нежели на несущих оружие машинах).

Настоящей проблемой, связанной с применением автономных смертоносных систем в целях борьбы с терроризмом, является то, уничтожая подозреваемых террористов, им тем самым отказывается в праве на справедливый суд, – а это может быть приравнено к убийству, совершаемому государством. Во всяком случае, само понимание термина «терроризм» является идеологизированным. Например, движения за независимость в Америке в 18 и 19 веках, могли бы быть расценены в Европейских столицах тех лет как террористические движения.

Интересное предприятие, но есть нюансы. Г-жа Рофф ратует за запрещение смертоносного автономного оружия. Являясь пацифистом, я согласен с тем, что, в идеале, полное запрещение было бы лучшим решением. Но в проектировку различных видов оружия было уже внедрено настолько много систем автоматизации, что запрещение смертоносного автономного оружия станет сродни запрету на разработки военных операций как таковых, – а это в практическом смысле невозможно. Кроме того, запрет, если бы он когда-либо был наложен, скорее всего, будет неэффективен (и, может быть, даже расценен как наивный). Допустим, что запрет будет применен на условиях, сходных с теми, которые изложены в прошлогоднем открытом письме по автономному оружию, написанному учеными, занимающимися искусственным интеллектом и робототехникой. В таком случае разработка полностью автономного смертоносного оружия станет вне закона, но машины для убийства, работающие на дистанционном управлении, крылатые ракеты и другое оружие с различной степенью автоматизации запрещено не будет. Как международное сообщество сможет быть уверено в такой ситуации, что оружие с дистанционным управлением, используемое к конфликте, не полностью контролируется искусственным интеллектом? Интерфейс оружия не требует изменений в зависимости от того, контролирует ли его человек или искусственный интеллект. И в том, и в другом случае человек сможет наблюдать за работой оружия. Но в одной ситуации решения о выборе цели принимает человек, а в другой – искусственный интеллект.

Это одна из причин, по которой я склоняюсь к строгому регулированию автономного оружия, нежели полному запрету на эти технологии. Регулирование сможет предоставить инструменты, необходимые для анализа и понимания растущей автоматизации военного дела. Оно повлечет за собой ограничения на разработку и применение автономного оружия. А также нанесет удар по обесчеловеченному убийству, совершаемому с одобрения государства.

Если регулирование явится правильным решением, то встанет вопрос, каким образом необходимо отредактировать международное гуманитарное законодательство и права человека, которые в настоящий момент управляют отношениями лишь человеческих участников деятельности, таким образом, чтобы они могли контролировать отношения и автоматизированных военных действий. Однако литература, на которых подобные обсуждения могут быть основаны, уже существует. Настало время приступить к выполнению этого проекта, вместо того, чтобы стремиться к запрету, который вряд ли когда-либо будет применен, а если и будет, то, скорее всего, окажется неэффективным.