Armas autónomas, seguridad civil y regulación frente a prohibición

En julio varios investigadores sobre inteligencia artificial y robótica publicaron una carta abierta, a la que adhirieron grandes personalidades como Stephen Hawking, llamando a la "prohibición de las armas autónomas ofensivas que no puedan ser controladas de forma significativa por los seres humanos". La carta reitera argumentos sostenidos desde 2013 por la Campaña para Detener a los Robots Asesinos, según la cual las armas autónomas son un "desafío fundamental para la protección de los civiles y...los derechos humanos internacionales y el derecho humanitario". No obstante, la prohibición no cuenta con un apoyo unánime. Algunos sostienen que las armas autónomas cometerían menos atrocidades en el campo de batalla que los seres humanos y que su desarrollo puede incluso considerarse un imperativo moral. A continuación, autores de Brasil, Estados Unidos e India debaten sobre esta cuestión: ¿Las armas autónomas desplegadas promoverán o empañarán la seguridad civil? y ¿es la respuesta adecuada al desarrollo de las armas autónomas la prohibición absoluta, o más bien la regulación internacional eficaz?

Round 1

Prohibición y regulación de armas autónomas

Cazando en manadas. Patrullando redes de computadoras. Desplegadas en tierra firme, en el mar, el aire, el espacio; en todos lados. Sin dudas las armas autónomas desplegadas parecen siniestras. Sin embargo, en líneas generales ¿promoverían o empañarían la seguridad civil?

Para responder esta pregunta, es necesario entender claramente lo que significa el término "seguridad civil". Si significa proteger las vidas de los civiles durante un conflicto armado, entonces sí, es muy posible que las armas autónomas contribuyan a este fin algún día. No obstante, la tecnología actual no es lo suficientemente sólida como para permitir a las armas autónomas distinguir entre combatientes y no combatientes, en particular en medio de insurrecciones o guerras civiles. Lo máximo que puede lograr la tecnología actual es reconocer firmas de radar, firmas de calor, formas o, en el caso de las personas, sensores en los uniformes. Sin embargo, esto solo ayuda a identificar a los propios combatientes, lo que de ninguna manera mejora la seguridad de los civiles.

Con el tiempo, y con los desarrollos en materia de reconocimiento facial, gestual, biométrica, etc., la tecnología de armas autónomas podrá ser capaz de identificar mejor los objetivos aceptables, No obstante, estos avances no garantizarán que no se ataque a los civiles ni impedirán que surjan otras amenazas para la seguridad civil. Por ejemplo, para hacer frente a posibles amenazas, es posible que algún día las armas autónomas vigilen constantemente a las poblaciones, en cierta forma de manera similar al sistema de vigilancia aerotransportado "Gorgon Stare" que utiliza actualmente Estados Unidos. Si se aplica tecnología similar a las armas autónomas, las sociedades deberán enfrentar una gran variedad de problemas, que no se relacionan directamente con los conflictos armados pero que, no obstante, tienen que ver con la seguridad civil.

Por consiguiente, la "seguridad civil" se extiende más allá del desarrollo de hostilidades, más allá del alcance del derecho internacional humanitario. Es decir, la seguridad civil es un tema presente tanto en tiempos de guerra como de paz. En tiempos de paz se aplica otro derecho, el derecho internacional de los derechos humanos, que comprende un conjunto más amplio de tratados, principios, leyes y obligaciones nacionales relacionadas con los "derechos civiles, políticos, económicos, sociales y culturales que deben gozar todos los seres humanos".

Si las armas autónomas deben atenerse al derecho internacional de los derechos humanos, las armas deben al menos cumplir con todos los tratados internacionales, regionales y bilaterales de derechos humanos, así como con la correspondiente legislación nacional. De hecho, puede ser necesario que las armas autónomas promuevan los derechos humanos. Así pues, no es suficiente que una nación se pregunte si las armas autónomas protegerán a los civiles en algún otro país en el que lleven a cabo operaciones militares; las armas autónomas deben cumplir también las leyes del propio país. Además, y lo que es más sutil, las armas autónomas deben cumplir los requisitos legales también en circunstancias que no se ajustan demasiado bien a las leyes de la guerra ni a las de la paz.

Todo esto constituye un nivel muy alto para las armas autónomas. Para verlo con claridad, examinemos cómo las armas autónomas podrían infringir, por ejemplo, la Convención Europea de Derechos Humanos. Si las armas autónomas se desplegaran dentro de Europa y utilizaran para la vigilancia omnipresente, por ejemplo en operaciones antiterroristas, es posible que infringieran el derecho a la vida privada y familiar, garantizado por el artículo 8 de la Convención. Como estas armas podrían estar relacionadas con la cibernética en lugar de con la robótica, también podrían tener efectos adversos sobre la libertad de pensamiento, conciencia y religión (garantizados por el artículo 9). Las armas autónomas relacionadas con la cibernética podrían vulnerar la libertad de expresión (artículo 10), al tener un efecto inhibidor en las conversaciones o expresiones utilizadas en Internet, por el temor de los usuarios de ser sancionados.

Por supuesto, la amenaza más grave que representan las armas autónomas es la del derecho a la vida. Podría suponerse que la "seguridad civil" se refiere al derecho a la vida, en lugar de, por ejemplo, el derecho a la vida privada y familiar. Sin embargo, el derecho a la vida, que se garantiza no solo en el artículo 2 de la Convención, sino también en otros instrumentos internacionales importantes, no es ilimitado. El derecho a la vida depende en gran medida de autorizaciones legales en relación con el uso de la fuerza letal.

Ahora bien, estas autorizaciones legales difieren según se esté en guerra o en paz. En situaciones de paz (o de "cumplimiento de la ley") para recurrir a la fuerza letal es necesario que exista una amenaza inminente a los transeúntes u oficiales. Durante la guerra el umbral para el uso de la fuerza letal es mucho menor. Aplicar estas distinciones a las armas autónomas parece indicar que, si se identifica a una persona como una amenaza potencial o real, las armas autónomas deben intentar arrestarla (a menos que esta amenaza sea letal e inminente para los transeúntes; podría no haber ninguna amenaza para la máquina). Si el sistema es incapaz de arrestar, por ejemplo, porque es un sistema aéreo, las opciones parecerían limitarse a matar o no matar. Sin embargo, matar a una persona en estas circunstancias constituiría una violación automática del derecho a la vida. Es más, esto también infringiría el derecho a un juicio justo. Desconocer el derecho a un juicio justo socava el Estado de Derecho, que es en sí mismo la fuerza más importante para establecer y proteger la seguridad civil.

Peligros para todos. Además de todo esto, la seguridad civil y, en consecuencia, el derecho a la vida, se ven amenazados por una potencial carrera armamentista de armas autónomas e inteligencia artificial. Esta carrera expondría a los civiles de todo el mundo a un riesgo indebido, posiblemente existencial. Si las armas autónomas se desarrollan y utilizan, con el tiempo se asentarán en todos los sectores: el aire, el espacio, el mar, la tierra y el cibernético. Cazarán en manadas. Funcionarán en redes en sistemas de armas no tripuladas. Patrullarán redes de computadoras. Estarán en todas partes. Por lo tanto, es arrogante suponer que solo un país procurará su desarrollo.

Muchos Estados concluirán que necesitan desarrollar su defensa, a un ritmo cada vez más rápido, con inteligencia artificial y armas cada vez más fuertes y con una autonomía cada vez mayor. No obstante, los sistemas autónomos con capacidades de aprendizaje podrían salirse rápidamente del control de sus creadores. Serían un peligro para todas las personas que estuvieran dentro de su alcance inmediato. A su vez, las armas autónomas conectadas entre sí a través de redes, o los agentes autónomos dotados de inteligencia artificial y conectados a Internet, no estarían confinados a un único territorio geográfico o a Estados que participaran en conflictos armados. Los efectos no deseados de la creación y utilización en el campo de batalla de sistemas autónomos podrían ser tan graves que los riesgos relacionados con su uso superarían cualquier posible beneficio.

¿La prohibición absoluta es la respuesta adecuada al desarrollo de las armas autónomas o el enfoque correcto radica más bien en la regulación internacional eficaz? En el pasado abogué por la prohibición de las armas autónomas, dado que los riesgos de no hacerlo son muy graves. Ahora bien, con o sin prohibición, es necesario contar con una legislación internacional eficaz. Muchas tecnologías de la información y comunicación son de uso dual, lo que significa que pueden perseguir propósitos tanto militares como no militares. La inteligencia artificial puede beneficiar a las sociedades, y no debemos permitir que lo malo desplace a lo bueno. Por consiguiente, los Estados deben juntarse, con la ayuda de expertos y organizaciones no gubernamentales, para crear un enfoque práctico y factible para las tecnologías autónomas en robótica y ciberseguridad, un enfoque que impida la militarización pero permita los usos benéficos. En definitiva, no se trata de si debemos prohibir o regular. Se trata de ver cómo podemos hacer las dos cosas de la mejor forma posible.

 

Armas autónomas: equilibrio en la cuerda floja

Cuando varios investigadores sobre inteligencia artificial publicaron una carta abierta en julio llamando a la prohibición de las "armas autónomas ofensivas que no puedan ser controladas de forma significativa por los seres humanos", especificaron que esta prohibición podría incluir armas como "cuadricópteros armados", capaces de identificar y matar personas "siguiendo determinados criterios definidos previamente". Sin embargo, la prohibición no comprendería a los "misiles de crucero o drones dirigidos a distancia en los que los seres humanos toman todas las decisiones sobre los objetivos". Así pues, cabe destacar que la prohibición propuesta no comprendería a varias armas autónomas que ya se han utilizado, dado que las mismas se clasifican como defensivas.

Entre estas se cuentan el Phalanx de la Armada de EE. UU., un "sistema de artillería de fuego rápido, controlado por computadora y dirigido por radar" que se utiliza desde 1980 y que la Armada de Estados Unidos adoptó más recientemente en tierra firme. De la misma forma, el sistema de defensa totalmente automatizado NBS Mantis de Alemania puede detectar, rastrear, captar y disparar contra proyectiles. A su vez, el sistema de defensa antimisiles israelí Cápsula de Hierro funciona autónomamente excepto cuando, al percibir una amenaza, requiere que un ser humano decida rápidamente si debe o no disparar.

Por lo general existe una aceptación general de estos sistemas como herramientas de guerra legítimas. No obstante, las armas ofensivas totalmente autónomas son una cuestión diferente. Dan lugar a preguntas difíciles sobre si estas armas pueden defender el imperativo moral de proteger las vidas de los civiles durante los conflictos. Ahora bien, en este debate se pasa fácilmente por alto otro imperativo moral, el de la protección de los civiles a los que actores no estatales, que perpetran deliberadamente la violencia en masa y el terror contra los inocentes, ponen en peligro.

En mi opinión, cualquier propuesta para la prohibición de las armas autónomas letales debe tener en cuenta las guerras no convencionales, asimétricas e irregulares que llevan a cabo actores trasnacionales no estatales, así como los efectos de estos conflictos sobre los civiles. Los actores no estatales prosperan muchas veces precisamente porque no se los puede distinguir de las poblaciones civiles locales. También prosperan al utilizar territorios inhóspitos, como montañas y desiertos, escapando a través de fronteras porosas y recurriendo a la ayuda de Estados o actores estatales cómplices. Los militares a veces pueden superar las ventajas de las que disfrutan los actores no estatales, en particular utilizando óptimamente tecnologías que incluyen vehículos aéreos no tripulados (con el apoyo de la inteligencia adecuada). Sin embargo, para los militares es muy problemático vencer a los actores no estatales en el sentido convencional. En la misma medida, luchan por proteger a los civiles.

¿Las armas totalmente autónomas con capacidades sumamente sofisticadas podrían ser capaces de cambiar esta ecuación? ¿Podrían, sin poner en ningún riesgo a los civiles,salvar las vidas de los hombres, mujeres y niños inocentes atrapados en zonas de conflicto violentas? Si las armas autónomas pudieran incapacitar los blancos enemigos minimizando los daños no deseados, deberíamos pensar seriamente en usarlas como armas en la lucha contra actores no estatales y terroristas.

Ningún arma existente puede describirse correctamente como un arma autónoma ofensiva capaz de matar blancos legítimos, evitando a la vez a los civiles. La inteligencia artificial de la actualidad, que no puede reproducir la inteligencia y el juicio humanos, plantearía problemas fundamentales para la seguridad civil, si se utilizara en el campo de batalla. Sin embargo, es crucial recordar que la tecnología de armas autónomas es un sector en desarrollo. Es posible que las investigaciones y desarrollos futuros permitan dotar a las máquinas con capacidades para el juicio cualitativo que no son posibles en la actualidad. Los futuros desarrollos tecnológicos pueden permitir a las armas autónomas superar a los seres humanos en situaciones que surjan en el campo de batalla.

En definitiva, estoy a favor de la regulación de las armas autónomas en lugar de la prohibición absoluta de toda la tecnología. No obstante, en cualquier caso no parece probable que se determine su prohibición total. Por ejemplo, el Ministerio de Asuntos Exteriores del Reino Unido afirmó que "no vemos la necesidad de una prohibición" de las armas autónomas letales, dado que "el derecho internacional humanitario ya regula con suficiencia este tema". En mi opinión, lo que necesitamos es un marco regulatorio que limite la letalidad de los futuros sistemas de armas autónomas. También es necesario investigar los medios (por ejemplo, mejoras en la programación) que limitarían claramente las víctimas civiles relacionadas con las armas autónomas.

En última instancia, como ocurre con muchos otros aspectos de los conflictos o guerras contemporáneos, el problema fundamental radica en la proporcionalidad. De hecho, sostengo que las armas autónomas letales pueden considerarse éticas, siempre que los daños colaterales que inflijan no sean desproporcionados con respecto a sus contribuciones para la paz, seguridad y estabilidad, y para la prevención de derramamientos de sangre civil a escala masiva.

 

Las armas autónomas y el curso de la historia

Las armas autónomas capaces de seleccionar y atacar blancos sin intervención humana ya son una realidad. En la actualidad se limitan en gran medida a atacar objetos militares en zonas no pobladas, pero los sistemas informáticos de rápido desarrollo con un enorme poder de procesamiento y algoritmos robustos para inteligencia artificial probablemente obliguen pronto a las naciones a adoptar decisiones concretas sobre la utilización de armas totalmente autónomas en guerras urbanas.

Ahora bien, ¿las guerras automatizadas minimizarán los daños colaterales, como afirman algunos observadores, o simplemente darán lugar a la destrucción masiva? La respuesta no está clara. Lo que está claro es que las decisiones sobre la selección de objetivos adoptadas por seres humanos son muchas veces sumamente nefastas. Para estar seguros es importante debatir sobre los aspectos éticos de las armas autónomas y sobre si se deben prohibir, regular o permitir que se desarrollen sin restricciones. No obstante, la cuestión definitiva se centra en la matanza deshumanizada en todas sus formas.

Víctimas optimizadas. En primer lugar, ¿qué queremos decir en todo caso con "armas autónomas"? Es un término sin límites claros. Los misiles de crucero y los drones a control remoto son autónomos en cierto sentido y ambos se han utilizado ampliamente en el campo de batalla. Sin embargo, cuando la gente habla de armas autónomas, por lo general se refiere a las armas con las más modernas capacidades en materia de inteligencia artificial, robótica y control automático que pueden, con independencia de la intervención humana, elegir blancos y decidir si los atacan o no.

También es importante entender lo que significa la "inteligencia artificial" o, más precisamente, lo que no significa. La inteligencia artificial que vemos en las películas y novelas fantásticas con frecuencia implica máquinas que demuestran una inteligencia como la de los seres humanos. Actualmente no hay evidencia científica de que esto siquiera sea posible. En lugar de ello, la inteligencia artificial se refiere al desarrollo de algoritmos computacionales capaces de llevar a cabo actividades de razonamiento, esto es, solución de problemas, adopción de decisiones, predicción, diagnóstico, etc. La inteligencia artificial implica también generalizar o clasificar información, que se conoce como aprendizaje automático. A su vez, los sistemas inteligentes pueden incluir software de visión artificial cuya finalidad en última instancia es permitir interpretar las imágenes de forma coherente. Este tipo de funciones no son demasiado entretenidas para las películas de Hollywood pero tienen un gran interés para el desarrollo de las armas autónomas.

Algunos sostienen que, si se aplica la inteligencia artificial en las guerras, especialmente a través de armas autónomas, se podrán optimizar las víctimas en el campo de batalla. Afirman, además, que los sistemas robóticos inteligentes podrían identificar objetivos con precisión y eficiencia. Podrían combatir de forma de minimizar los daños colaterales, de lo que no cabe duda alguna si lo comparamos con muchas misiones llevadas a cabo por seres humanos, como el ataque del 3 de octubre por parte de un helicóptero de combate de la Fuerza Aérea de EE. UU. a un hospital de Médicos sin Fronteras en Afganistán. Las armas autónomas pueden reducir las víctimas civiles a un mínimo indispensable aun cuando mejoren las probabilidades de misiones exitosas.

Ahora bien, se podrían presentar argumentos similares para la mayoría de las innovaciones en la historia de las armas, desde la pólvora a los "ataques quirúrgicos" de la primera guerra de Irak (que se mostraron con mucho glamour en la televisión). Además, aun cuando las nuevas armas logren "optimizar" las matanzas, también las deshumanizan. Durante décadas los soldados atacaron personas. Ahora atacan a veces blancos en una especia de videojuego. En el futuro quizás no ataquen ningún blanco, y dejen esa tarea a una máquina. Ahora bien, las diferencias entre, digamos, un sistema de armas totalmente autónomas y un misil de crucero o un dron militar a control remoto son en realidad más técnicas que éticas o morales. Si la sociedad moderna acepta que la guerra sea como un videojuego, como lo hizo aceptando los "ataques quirúrgicos" de los noventa, las armas autónomas ya se han aceptado en la guerra.

Recientemente varios científicos, entre los que se cuenta este autor, firmaron una carta abierta llamando a la "prohibición de las armas autónomas ofensivas que no puedan ser controladas de forma significativa por los seres humanos". Ahora, al volver a leer la carta, advierto de nuevo que propone que se prohíban solo las armas que "seleccionan y atacan objetivos sin intervención humana", excluyendo a los "misiles de crucero o drones dirigidos a distancia para los que los seres humanos toman todas las decisiones sobre los objetivos". En cierto sentido esta formulación implica que resulta admisible la matanza indiscriminada de una gran cantidad de personas, tanto civiles como soldados, niños o adultos, siempre y cuando los objetivos sean definidos por seres humanos. Ahora bien, si examinamos la historia de la humanidad, resulta difícil ver por qué el control humano de las armas es tanto mejor de lo que podría ser el control autónomo. Para tomar un ejemplo del siglo XX, entre muchos otros que podemos considerar, el control humano no impidió los asesinatos masivos en agosto de 1945 de unos 200.000 civiles en Hiroshima y Nagasaki (aunque quizás estas atrocidades podrían haberse evitado, si el desarrollo y uso de las armas nucleares se hubiera regulado a nivel internacional con eficacia tan pronto los científicos se dieron cuenta de que era posible fabricar estas armas).

Firmé la carta abierta como pacifista. Firmaría cualquier carta que propusiera prohibir el desarrollo y la producción de armas. Sin embargo, no creo que la prohibición internacional absoluta de las armas autónomas impida su desarrollo, después de todo las investigaciones sobre sistemas inteligentes robotizados letales avanzados ya tienen décadas de antigüedad. A su vez, en comparación con las armas nucleares y biológicas utilizables, para cuyo desarrollo son necesarios laboratorios muy especializados y caros y el acceso a materiales de sencillo seguimiento, las armas autónomas son fáciles de hacer. Cualquier laboratorio existente de inteligencia robótica podría, con poca financiación y en unas semanas, construir desde cero un robot móvil capaz de rastrear y disparar autónomamente a cualquier cosa que se moviera. El robot se atascaría en la primera escalera que encontrara pero sería, de todos modos, un arma autónoma básica.

No existe ninguna forma posible de asegurar que nunca se construyan armas autónomas. La prohibición de su desarrollo sería simplemente una invitación para crear laboratorios subterráneos, que impedirían controlar las armas o responsabilizar a las entidades que las desarrollaran. Lo que sí es posible, mediante una regulación internacional eficaz, es asegurar que se haga un seguimiento y análisis del desarrollo de las armas autónomas en cada caso individual. Los objetivos de las armas autónomas se regirían por normas estrictas, el desarrollo de las armas debería atenerse al derecho internacional humanitario y, si esto último no fuera posible, las armas no podrían utilizarse jamás en el campo. Por último, debe establecerse un sistema para hacer responsable a cualquier organización que, al crear y desarrollar armas autónomas, incumpla las normas que las regulan.

 

Round 2

Las armas autónomas y la ardua búsqueda de seguridad civil

Los otros autores de esta mesa redonda expresan inquietudes razonables sobre las armas autónomas, pero dan demasiada poca importancia a las masacres de civiles causadas por terroristas, masacres que quizás algún día puedan reducirse gracias a los sistemas de armas autónomas sujetos a una regulación eficaz.

Las armas autónomas letales requieren una regulación internacional eficaz; en este punto están de acuerdo todos los autores de esta mesa redonda. Una de las participantes, Heather Roff, aboga por la prohibición total de las armas autónomas, además de su regulación. Sin embargo, es muy poco probable que se apruebe una prohibición global. Esto significa que el único camino viable hacia adelante consiste en la regulación internacional, administrada a través de un régimen eficaz. Lo ideal sería que un sistema regulatorio limitara los daños colaterales que pueden suponer las armas autónomas y, a la vez, regulara el desarrollo y la proliferación de las armas. Ahora bien, el objetivo final de un sistema regulatorio sería mejorar las posibilidades de las armas autónomas de contribuir a la seguridad civil, en lugar de menoscabarla.

¿Las armas autónomas pueden suponer peligros para los civiles? Sin dudas. Como sostuvo Roff en la Primera Ronda, a pesar de que los desarrollos tecnológicos futuros puedan permitir a las armas autónomas identificar objetivos aceptables, estos avances “no garantizarán que no se ataque a los civiles”. Sin embargo, a pesar de que esta observación es correcta, pasa por alto los peligros que implican para los civiles los actores no estatales, que prosperan al ser imposibles de distinguir de las poblaciones civiles locales. Tomemos a India como ejemplo. Según el Instituto de Gestión de Conflictos de Nueva Delhi, casi 21.000 civiles y personal de seguridad de la India han muerto a consecuencia de actos de violencia terroristas desde 1988. Así que, a pesar de que no puede sostenerse que las armas autónomas necesariamente fomentarían la seguridad civil, en lugar de menoscabarla -siguen siendo una tecnología en desarrollo- puede afirmarse con convicción que la seguridad civil, en ausencia de armas autónomas, se ve profundamente comprometida por actores no estatales. De hecho, resulta difícil en estas circunstancias “entender claramente” lo que significa el término “seguridad civil”, como pretende Roff. Entre insurrecciones, guerras civiles u otros tipos de violencia asimétrica, esta tarea será difícil.

Entretanto, Paulo Santos sostiene que “las armas autónomas ya se han aceptado en la guerra” porque la sociedad moderna ha aceptado “la guerra como un videojuego”. Sin embargo, en un lugar como India, la sociedad no ha aceptado de ninguna forma la guerra, sino que esta, de formas no convencionales, asimétricas e irregulares,se ha impuesto a sus habitantes por parte de actores no estatales y trasnacionales. Estados o entidades estatales cómplices proporcionan a estos grupos los recursos necesarios para llevar a cabo actos de terrorismo. Este tipo de guerra, aun cuando pone en riesgo a la población civil, crea inestabilidad en la región, que puede de por sí engendrar más terrorismo o insurrecciones armadas.

Las naciones abiertas, democráticas, en las que la libertad se considera un valor y en las que sus líderes intentan conducirse como personas responsables a nivel internacional, no atacan a civiles inocentes. Son las redes no estatales las que emplean violencia masiva contra los civiles, para lograr sus objetivos. Este desequilibrio coloca automáticamente a las naciones democráticas en desventaja y acarrea un grave riesgo para los civiles. Si los sistemas de armas autónomas sujetos a una regulación eficaz pueden evitar los derramamientos de sangre civil minimizando a la vez los daños colaterales, vale la pena considerarlos seriamente como tecnología legítima a utilizar durante los conflictos y guerras.

 

Armas autónomas: no son simplemente armas inteligentes más inteligentes

Es fácil suponer que algún día, a medida que mejoren sus capacidades tecnológicas, las armas autónomas superen a los seres humanos en su capacidad para tomar decisiones en el campo de batalla. Después de todo, los seres humanos se cansan. Son fáciles de engañar, tienen propensiones ideológicas o carecen de buen juicio. Entretanto, las armas con tecnología sofisticada no se verán afectadas por ninguno de estos defectos.

Sin embargo, estas suposiciones no se basan en la realidad y constituyen un fundamento muy deficiente para tomar decisiones sobre el futuro de las armas autónomas.

Mi colega de mesa redonda Paulo Santos escribe que no existe evidencia científica que apoye la idea de que las máquinas alguna vez puedan demostrar “una inteligencia como la de los seres humanos”. Sin embargo, no desestima la idea de que “las armas autónomas pueden reducir las víctimas civiles a un mínimo indispensable aun cuando mejoren las probabilidades de misiones exitosas”. En este caso está muy cerca de dos ideas diferentes a la vez, de forma un tanto extraña, y hace lo mismo cuando se trata de la prohibición o regulación de las armas autónomas. Preferiría que las armas autónomas no existieran. Sin embargo, le preocupa que, en caso de que una prohibición demostrara no ser viable, esta alentaría la creación de laboratorios subterráneos, así que se pone del lado de la regulación.

Entretanto, a Monika Chansoria le preocupa sobremanera proteger a los civiles de los terroristas. Sobre esta base argumenta contra la prohibición de las armas autónomas. Ahora bien, los sistemas de armas autónomas no tienen nada que ver con el terrorismo. No representan una forma de atacar terroristas. No son una forma de “ganar” la “batalla” contra el terror. Son simplemente armas que pueden detectar, seleccionar y disparar contra objetivos sin intervención humana.

Sin embargo, si fuéramos a creer, como parece creer Chansoria, que las armas autónomas algún día tendrán la habilidad de distinguir a los civiles de los terroristas (por consiguiente, detectando y eligiendo a las personas), debemos creer que estos sistemas estarán dotados de una inteligencia artificial tan sofisticada que superará a la inteligencia humana en lo que refiere a la capacidad de hacer determinadas distinciones.

Si no asumimos que la tecnología se basará en inteligencia artificial que supere a la inteligencia humana, me cuesta mucho ver cómo estos sistemas alguna vez podrán identificar a personas que no utilicen uniforme, pero que participen activamente en las hostilidades. Según las palabras de Stuart Russell, un destacado experto en inteligencia artificial de la Universidad de California, Berkeley, “la categoría de 'combatiente' no es visual”. En su lugar, se trata de una clase de personas que llevan a cabo una serie indefinida de actividades. Esto significa que, a menos que los seres humanos utilicen sensores que las armas autónomas puedan detectar, la inteligencia artificial no puede “interpretar las imágenes de forma coherente” (tomando prestada la expresión de Santos) en un complejo campo de batalla en el que los seres humanos lleven a cabo una serie indefinida de actividades.

Para lograr claridad con respecto a las armas autónomas es necesario abandonar la idea de que son simplemente bombas inteligentes más inteligentes. Las municiones de precisión que “limitan los daños colaterales” son únicamente precisas en su capacidad para localizar una determinada ubicación en el tiempo y el espacio. Esta ubicación, ya sea pintada con láser por alguna persona o guiada a través de coordinadas y satélites, todavía es determinada por seres humanos. Los seres humanos eligen ese blanco. La precisión del arma se refiere únicamente a la probabilidad de que el arma llegue al lugar exacto. Por otro lado, las armas autónomas elegirían a sus propios blancos, así como las municiones que lanzarían al objetivo. Estas municiones podrían ser “bombas inteligentes” o “bombas tontas”, pero la precisión no es aquí la cuestión. La cuestión es la propia elección del objetivo.

Por consiguiente, no ayuda confundir las cosas clasificando erróneamente a las armas autónomas, abordando su utilización en entornos inadecuados desde el punto de vista operativo, o asumiendo que su utilización provocará guerras más limpias, con menos daños colaterales. Estos enfoques no contribuyen en nada a abordar los desafíos muy reales que presentan las armas autónomas. Lo que realmente es necesario es que la comunidad internacional y las organizaciones internacionales, como las Naciones Unidas, adopten una postura oportuna y decisiva con respecto a esta cuestión. ¿Cómo funcionaría la regulación? ¿Cómo sería una prohibición? Estas son preguntas que deben responder los Estados miembros. Ha llegado el momento de empezar a responderlas y dejar de participar en conversaciones sin sentido.

 

Autónomo e irresponsable

A pesar de que los participantes de esta mesa redonda estuvieron de acuerdo en la Primera Ronda en que las armas autónomas deberían regularse a nivel internacional, ninguno dedicó mucho tiempo a abordar cómo podría crearse un sistema regulatorio.

Esto quizás se deba a que los tres autores se concentraron en puntos con los que es muy difícil disentir, pero que era también importante establecer desde un principio. La seguridad civil debería ser una prioridad fundamental, tanto en tiempos de paz como de guerra. En la actualidad las armas autónomas no pueden maximizar las posibilidades de obtener victorias militares y minimizar el riesgo de daños colaterales, pero puede que algún día adquieran estas habilidades. Si alguna vez se utilizan, las armas autónomas avanzadas podrían poner en peligro a los derechos humanos fundamentales.

Habiendo establecido todo lo anterior, tanto Monika Chansoria como yo abogamos por la regulación más que por la prohibición de las armas autónomas, aunque llegamos a esta postura por razones muy diferentes. Entretanto, Heather Roff abogó por la regulación y la prohibición. Sin embargo, y volviendo sobre el punto anterior, cada autor solo abordó brevemente cómo establecer la regulación que, admitamos, es un tema difícil. Por definición, las armas autónomas fueron concebidas para tomar decisiones por sí mismas. ¿Cómo puede entonces atribuirse la responsabilidad por los crímenes que cometen? ¿A quién debe culparse en caso de que una máquina autónoma letal funcione mal?

Piensen cuántas veces escucharon frases como “el problema se debió a un error del sistema”. En general este tipo de expresiones evita futuras discusiones. Así que es fácil imaginar escenarios en los que se asesine a civiles inocentes, quizás a montones de ellos, pero nadie sea considerado responsable porque se debió a un “error del sistema”. Además, de hecho, ¿a quién debería culparse? ¿Al comandante de la misión que utilizó un arma autónoma esperando que atacara un blanco adecuado? ¿A los desarrolladores del arma, que no tuvieron nada que ver con el ataque?

Las armas autónomas darían lugar automáticamente a lagunas en lo que refiere a la responsabilidad. Sin embargo, atribuir la responsabilidad por las acciones de la maquinaria militar autónoma no debería, en realidad, ser tan diferente de la atribución de responsabilidad en otras operaciones militares: la responsabilidad debería seguir la cadena de mando. Por consiguiente, debe considerarse responsable por las acciones de la máquina a la organización o personas físicas que dieron la orden de usar el arma autónoma. Los “errores del sistema” no deberían nunca justificar las víctimas innecesarias. Si esta idea se incorporara al derecho internacional humanitario y al derecho internacional de los derechos humanos, que actualmente solo rigen a los agentes humanos, no a las máquinas, estos campos del derecho internacional (que Roff abordó exhaustivamente en la Primera Ronda) podrían ofrecer una base suficiente para la regulación de las armas autónomas.

Los seres humanos han aprendido a vivir con invenciones militares que van desde los bombardeos aéreos hasta las armas nucleares. Han aprendido incluso a vivir con masacres terroristas. De la misma forma, las personas se acostumbrarán a una autonomía cada vez mayor de las máquinas asesinas. Esto nunca debe impedir que se lleve ante la justicia a las personas responsables de los crímenes de guerra, sin importar las herramientas utilizadas para perpetrar los crímenes.

Sin embargo entonces, una vez más, no está claro si alguna vez la comunidad internacional se enteraría siquiera de casos en los que las armas autónomas mataran a civiles inocentes. El secretismo con el que se maneja el programa de drones del ejército de Estados Unidos no inspira mucha confianza en este sentido. En la guerra son comunes las lagunas de responsabilidad, que se originan en el secretismo inherente a las operaciones militares, la complacencia de los medios de comunicación y las actitudes del público a causa de su ignorancia. Las lagunas de responsabilidad, que seguirán existiendo con o sin armas autónomas, hacen que el Reloj del Apocalipsis del Boletín se acerque mucho más a medianoche de lo que las armas autónomas podrán lograr alguna vez.

 

Round 3

Distinguir las armas autónomas de las armas automáticas

Mis colegas de mesa redonda Paulo E. Santos y Monika Chansoria defienden la regulación en lugar de la prohibición de las armas autónomas. Sin embargo, no definen nunca con precisión qué es lo que regularían. Se trata de un descuido preocupante; todos los que están a favor de la regulación de las armas o sus acciones deberían tener una idea muy clara de lo que esta comprende.

Según el Departamento de Defensa de EE. UU., las armas autónomas son armas que seleccionan un blanco y disparan sin intervención de un operador humano. Pero ¿qué significa exactamente “seleccionar”? ¿E “intervención”? Estas preguntas son más sutiles de lo que parecen.

“Seleccionar” podría significar explorar un espacio determinado en búsqueda de entradas de sensores, como una firma radar o imagen facial. Sin embargo, en este caso el arma no está seleccionando un blanco, sino que busca un blanco previamente elegido. De hecho, el blanco fue seleccionado por un ser humano, ya sea programando sus parámetros o identificando un objeto o lugar como blancos. Ahora bien, un arma de este tipo no es autónoma, sino automática.

Así que, nuevamente, “seleccionar” podría referirse al mero hecho de percibir un blanco. No obstante, los ejércitos modernos encontrarán que este tipo de lectura es problemática. Muchos sistemas de armas existentes -los misiles de crucero, los sistemas para contrarrestar cohetes y los sistemas de defensa de morteros, torpedos y minas marinas- perciben los blancos y disparan contra ellos. Es muy improbable que los Estados clasifiquen a estos sistemas como autónomos.

Así que, ¿qué distingue a las armas autónomas de las armas automáticas y, por lo tanto, las sujeta a una regulación o prohibición? Yo contestaría esta pregunta diferenciando a las armas automáticas sofisticadas de los sistemas de armas autónomas con aprendizaje limitado.

Las armas automáticas sofisticadas no pueden aprender ni modificar sus objetivos. Sin embargo, debido su movilidad y, en algunos casos, a sus capacidades de navegación autónoma, pueden causar estragos en poblaciones civiles. Además, tampoco pueden respetar los principios de necesidad, precaución y proporcionalidad. Por consiguiente, lo más probable es que se utilizaran como armas dirigidas contra equipos militares. Es poco probable que se utilicen contra combatientes.

Entretanto, las armas de aprendizaje limitado pueden aprender y también cambiar sus sub-objetivos mientras están funcionando. De verdad seleccionan un blanco entre una gama de objetos o personas. En pocas palabras, persiguen objetivos militares, al igual que los soldados que deciden si disparan o no contra una persona, vehículo o edificio, o cuál es la mejor forma de atacar al enemigo que se encuentra en un territorio más alto. Estos son los sistemas de armas verdaderamente autónomas (por cierto, ningún Estado se ha pronunciado a favor del uso de armas autónomas contra personas. Incluso los Estados que se oponen a la prohibición o regulación de las armas autónomas, se mantienen en su posición de que los sistemas de armas autónomas solo puedan usarse en “situaciones adecuadas desde el punto de vista operativo” en “entornos despejados”. Por lo tanto, la sugerencia de Chansoria, de que las armas autónomas podrían usarse en operaciones de lucha contra el terrorismo no tiene apoyo en círculos diplomáticos o militares).

Mis colegas sugieren que niego el potencial de la inteligencia artificial de superar determinadas capacidades humanas, o que niego que la inteligencia artificial sea más apropiada para determinadas tareas que los seres humanos. No niego ninguna de las dos cosas y por eso, precisamente, me preocupan los riesgos que pueden conllevar las armas de aprendizaje limitado, si se desarrollan y usan en combate. Estos riesgos, que implican un cambio profundo, no solo de la guerra, sino también de la seguridad y libertad civiles en tiempos de paz, son tan importantes que las armas que los conllevan deben prohibirse absolutamente. A su vez, antes de que nadie pueda aplaudir, como parece hacerlo Chansoria, armas futuras capaces de un “juicio cualitativo”, es mejor recordar que el “juicio cualitativo” solo puede surgir luego de que las tecnologías autónomas pasen por un peligroso y arduo punto intermedio de inteligencia “limitada” y poco juicio.

Preguntas difíciles. Así que, desde un punto de vista práctico ¿qué debería hacerse en relación con los sistemas de armas objeto de esta mesa redonda?

En lo que respecta a las armas automáticas sofisticadas, los gobiernos deben pensar cuidadosamente si estas armas deberían utilizarse en entornos complejos. Los Estados deberían reglamentar cómo pueden usarse. Ahora bien, los sistemas verdaderamente autónomos, de aprendizaje limitado o incluso más sofisticados, deberían prohibirse. Su utilización implicaría enormes riesgos para los civiles, podría incrementar los conflictos y probablemente provocaría una carrera armamentista en inteligencia artificial, y haría necesarias redes de sensores por todos los lugares de combate (y ciudades). De hecho, solo la vigilancia generalizada es lo suficientemente preocupante como para justificar la prohibición de las armas autónomas.

No es convincente alegar, como han hecho mis colegas, que es improbable que pueda imponerse una prohibición, o que esta sería inviable si se estableciera. Otras tecnologías, como las armas láser cegadoras, se han prohibido antes de su utilización, así que ¿por qué no pueden prohibirse las armas autónomas? Además, así como las armas químicas se prohibieron con el apoyo de los científicos y la industria química de todo el mundo, los retos que presentan las armas autónomas pueden afrontarse a través de la cooperación entre los científicos, especialistas en robótica y la industria tecnológica. Es más, algunos ejércitos ya tienen la capacidad de incorporar algoritmos de aprendizaje limitado en las armas, pero no la han utilizado debido a los riesgos y la incertidumbre que conlleva. Dado que los ejércitos ya están mostrando cautela, ¿por qué no presionarlos para que rechacen completamente las armas autónomas?

Las armas autónomas conllevan preguntas difíciles y graves desafíos. Es momento de abordarlos. Promover conceptos infundadamente optimistas sobre la naturaleza de los futuros conflictos no lleva a nada.

 

Armas autónomas: son útiles si están bien reguladas

Cuba, Ecuador, Egipto, Pakistán y el Vaticano, solo estos cinco Estados, de los 87 que enviaron delegados a una conferencia de la ONU sobre armas autónomas letales celebrada en 2014, presentaron proclamas instando a la prohibición de los sistemas de armas autónomas. Entretanto, es posible que varias docenas de países estén desarrollando robótica militar. En este contexto parece bastante improbable que se prohíban las armas autónomas letales, y que, en caso de imponerse tal prohibición, esta sea factible.

Mi colega de mesa redonda, Heather Roff, parece descartar toda posibilidad de que las armas autónomas puedan superar alguna vez a los seres humanos en lo que refiere a la toma de decisiones en el campo de batalla. En este punto Paulo E. Santos ya demostró que Roff está equivocada, citando, por ejemplo, investigaciones que sugieren que los algoritmos de reconocimiento facial podrían emparejar rostros mejor que los seres humanos. Además, está el argumento de que las armas autónomas podrían superar a los humanos en algunas situaciones, precisamente porque no son humanas. El investigador de la Fundación Heritage, Steven Groves, sostiene que las armas autónomas “podrían desempeñarse mejor que los humanos en entornos peligrosos en los que un combatiente humano podría actuar movido por el miedo o la ira”.

A su vez, contrariamente a lo sugerido por Roff, las armas autónomas podrían desempeñar varias funciones militares útiles, acatando a la vez el derecho internacional humanitario. Groves sostiene que las armas autónomas que operen en entornos permisivos podrían algún día atacar formaciones de tanques en zonas remotas como desiertos, o atacar buques de guerra alejados de las rutas marítimas comerciales. Estos usos de las armas autónomas cumplirían con el principio de distinción, un elemento del derecho internacional humanitario que exige a las partes de un conflicto distinguir entre civiles y combatientes y dirigir los ataques solo contra estos últimos. En zonas de combate sin civiles u objetos civiles sería imposible que las armas autónomas violaran el principio de distinción.

De la misma forma, las armas autónomas desplegadas en el aire podrían cumplir importantes funciones militares acatando simultáneamente el principio de proporcionalidad en el ataque, otro elemento del derecho internacional humanitario. Por ejemplo, las armas autónomas podrían perseguir aviones enemigos en zonas en las que está prohibida la aviación civil. Podrían estar programadas para reconocer los aviones enemigos según sus perfiles, sus firmas de calor, su umbral de velocidad aérea, etc. Todos estos elementos permitirían distinguirlos de los aviones civiles. En estas situaciones las ventajas de atacar aviones enemigos no podrían ser superadas por el riesgo de excesivas víctimas civiles. Este riesgo sería de cero. Sostiene Groves que ocurriría prácticamente lo mismo debajo del agua. Los sistemas de armas autónomas podrían patrullar las aguas y atacar submarinos enemigos sin que esto implicara mucho riesgo de excesivos daños colaterales. Roff, que evidentemente no toma nada de esto en cuenta, desarrolla un argumento más bien genérico contra las armas autónomas.

Las estrategias y tácticas militares tradicionales no pueden de por sí competir adecuadamente con algunos de los desafíos que se presentan en los Estados democráticos y liberales a causa de actores no estatales y trasnacionales, inclusive las formas de conflicto no convencionales, subconvencionales, asimétricas e irregulares. Los Estados deben limitar el alcance y la intensidad de la fuerza militar que aplican, debido a las normas que exigen que se minimicen los daños colaterales y se mantenga la proporcionalidad. Los actores no estatales no respetan estas normas. Esto crea una asimetría política y psicológica que debe abordarse en futuros campos de batalla. En la medida en que las armas autónomas sujetas a una regulación adecuada puedan contribuir a este fin, no deberían rechazarse.

En la Primera Ronda sostuve que las armas autónomas podrían considerarse éticas siempre y cuando los daños colaterales que inflijan no sean desproporcionados con respecto a sus “contribuciones para la paz, seguridad y estabilidad, y para la prevención de derramamientos de sangre civil a escala masiva”.Mi postura encuentra resonancia en el argumento del investigador de Heritage, James Jay Carafano, de que las armas autónomas tienen “el potencial de aumentar… la eficiencia en el campo de batalla… disminuyendo, a la vez, los daños [colaterales] y la pérdida de vidas humanas”. Me mantengo en mi postura de la Primera Ronda y contra una prohibición improbable e inviable de las armas autónomas.

 

Prohibir las armas autónomas no es práctico ni eficaz

Desde hace tiempo que las computadoras superan a los humanos en determinadas funciones que se considera que requieren “inteligencia”. Uno de los primeros ejemplos famosos fue la máquina Bombe desarrollada durante la Segunda Guerra Mundial en Bletchley Park, que permitió al Reino Unido descifrar mensajes codificados por la máquina Enigma del ejército alemán. En 1997 la computadora de IBM Deep Blue venció al campeón mundial de ajedrez Gary Kasparov en un juego de seis partidas. En 2011 Watson de IBM, que “utiliza procesamiento de lenguaje natural y aprendizaje automático para revelar información a partir de una enorme cantidad de datos no estructurados” apareció en el concurso televisivo de preguntas y respuestas Jeopardy y venció a dos ex campeones. Así que no estoy de acuerdo con lo que mi colega Heather Roff sugiere en la Segunda Ronda, es decir, que me contradije al escribir, por un lado, que es prácticamente imposible que la inteligencia artificial alcance alguna vez el nivel de la inteligencia humana y, por el otro, que las armas autónomas podrían en el futuro desempeñar algunas funciones militares mejor que los combatientes humanos. Desde mi punto de vista no existe contradicción alguna.

De forma similar, Roff descartó el argumento de Monika Chansoria, la tercera participante de esta mesa redonda, de que las armas autónomas podrían volverse útiles en la lucha contra el terrorismo. Según Roff, las máquinas nunca serán capaces de distinguir a los terroristas de los civiles porque está habilidad requeriría “una inteligencia artificial tan sofisticada que superaría a la inteligencia humana en lo que refiere a la capacidad de hacer determinadas distinciones”. Sin embargo, algunos descubrimientos sugieren que los algoritmos de reconocimiento facial más modernos podrían superar a los humanos al emparejar rostros. De hecho, en lo que refiere a las habilidades que permitirían a las armas autónomas combatir al terrorismo con eficacia, reconocer rostros con gran precisión y en condiciones de observación diversas es la habilidad clave. Sin dudas los algoritmos que sirven de base a la percepción de las máquinas se enfrentan en la actualidad a varias limitaciones, como la incapacidad de interpretar situaciones que cambian rápidamente. Sin embargo, no veo ninguna razón por la que estos obstáculos no puedan superarse en el futuro (aun cuando, al final, la percepción de las máquinas pudiera utilizarse mejor en sistemas de vigilancia que en máquinas armadas).

El verdadero problema que se presenta al utilizar sistemas letales autónomos para combatir el terrorismo es que matar a presuntos terroristas, denegándoles así el derecho a un juicio justo, equivaldría a asesinatos cometidos por el Estado. A su vez, en cualquier caso, el mismo concepto de “terrorismo” tiene una carga ideológica. Por ejemplo, los movimientos independentistas ocurridos en las Américas durante los siglos XVIII y XIX podrían haberse interpretado como movimientos terroristas en las capitales europeas de ese momento.

Enfoque con matices. Roff aboga por la prohibición de las armas autónomas letales. Como pacifista, estoy de acuerdo en que, idealmente, una prohibición absoluta es la mejor opción. Sin embargo, ya se ha integrado tanta automatización al diseño de armas que prohibir las armas autónomas letales parecería ser lo mismo que interrumpir el desarrollo de la misma guerra, lo que resulta prácticamente imposible. Además, aun cuando se estableciera una prohibición, lo más probable es que no fuera eficaz (e incluso podría calificarse de ingenua). Supongamos que se implementara una prohibición con condiciones similares a las establecidas en la carta abierta del año pasado sobre armas autónomas que suscribieron investigadores de inteligencia artificial y robótica. Se declararía ilegal el desarrollo de armas letales totalmente autónomas, pero se dejaría fuera a las máquinas asesinas a control remoto, los misiles de crucero y otras armas con diversos niveles de automatización. En esta situación, ¿cómo podría estar segura la comunidad internacional de que un arma a control remoto utilizada durante un conflicto no estuviera controlada completamente por un agente artificial? No es necesario que cambie la interfaz de un arma en función de si el agente que la controla es humano o artificial. A su vez, un ser humano podría supervisar las acciones de las armas en cualquier caso. Sin embargo, en uno de los casos sería un humano el que tomara las decisiones sobre los ataques y, en el otro, esta decisión estaría a cargo de la inteligencia artificial.

Esta es una razón por la que prefiero una fuerte regulación de las armas autónomas en lugar de la prohibición absoluta de la tecnología. La regulación proporcionaría las herramientas necesarias para analizar y entender la creciente automatización en la guerra. Implicaría establecer limitaciones sobre el desarrollo y uso de las armas autónomas. A su vez, asestaría un golpe a las matanzas inhumanas y los asesinatos patrocinados por el Estado.

Si la regulación es el camino correcto, la cuestión es cómo modificar el derecho internacional humanitario y los derechos humanos, que ahora rigen solo para los agentes humanos, de modo que puedan abarcar también la automatización en las guerras. Sin dudas este sería un enfoque con matices, no uno banal. Sin embargo, ya hay literatura que puede servir de base a los debates. Es momento de empezar este proyecto, en lugar de procurar una prohibición que probablemente nunca se implementará y que lo más seguro es que fuera ineficaz.

 


Share: