Louis Mosley, director de Palantir para Reino Unido y Europa, declaró en una entrevista exclusiva con la BBC que aunque las plataformas de inteligencia artificial como Maven han sido "instrumentales" para la gestión estadounidense de la guerra con Irán, la responsabilidad sobre cómo se utiliza su producción debe permanecer siempre "con la organización militar", según reportó la cadena británica.

"Siempre hay un humano en el circuito, por lo que siempre hay un humano que toma la decisión final. Esa es la configuración actual", afirmó Mosley.

El Maven Smart System fue lanzado por el Pentágono en 2017 y está diseñado para acelerar las decisiones de selección de objetivos militares reuniendo grandes cantidades de datos, incluyendo una variedad de inteligencia, imágenes satelitales y de drones, según la BBC. El sistema analiza estos datos y puede proporcionar recomendaciones para la selección de objetivos. También puede sugerir el nivel de fuerza a utilizar basándose en la disponibilidad de personal y equipo militar, como aeronaves.

Desde el 28 de febrero, Estados Unidos ha lanzado más de 11.000 ataques contra Irán, muchos de ellos reportadamente identificados por Maven, según la información proporcionada por la BBC. El almirante Brad Cooper, jefe del ejército estadounidense en Medio Oriente, ha elogiado los sistemas de IA por ayudar a los oficiales a "examinar vastas cantidades de datos en segundos, para que nuestros líderes puedan atravesar el ruido y tomar decisiones más inteligentes más rápido de lo que el enemigo puede reaccionar", según declaraciones citadas por la cadena.

Sin embargo, el escrutinio ha crecido sobre el uso de tales herramientas en la guerra. En febrero, el Pentágono anunció que eliminaría gradualmente el sistema de IA Claude de Anthropic, que ayuda a impulsar Maven, después de que la compañía se negara a permitir el uso de su IA en armas autónomas y vigilancia, según reportó la BBC. Palantir afirma que alternativas pueden reemplazarlo.

Analistas han advertido que el uso militar de la plataforma, que ayuda al personal a planificar ataques, deja poco tiempo para una "verificación significativa" de su producción y podría llevar a que se ataquen objetivos incorrectos, según la BBC.

La profesora Elke Schwarz de la Universidad Queen Mary de Londres expresó su preocupación: "Esta priorización de velocidad y escala y el uso de la fuerza entonces deja muy poco tiempo para una verificación significativa de objetivos para asegurarse de que no incluyan objetivos civiles accidentalmente", según declaraciones recogidas por la BBC.

"Si hay un riesgo de matar y cooptas gran parte de tu pensamiento crítico a un software que se encargará de estas cosas por ti, entonces simplemente te vuelves dependiente del software", añadió Schwarz. "Es una carrera hacia el fondo".

Cuando la BBC presionó a Mosley sobre el riesgo de que Maven pudiera sugerir objetivos incorrectos, que podrían incluir civiles, el ejecutivo insistió en que la plataforma solo está destinada a servir como una guía para acelerar el proceso de toma de decisiones para el personal militar y que no debe verse como un sistema de selección de objetivos automatizado.

"Podrías pensar en ello como una herramienta de apoyo", dijo Mosley, según la BBC. "Les está permitiendo sintetizar vastas cantidades de información que previamente habrían tenido que hacer manualmente una por una".

Sin embargo, Mosley remitió a los militares individuales cuando fue desafiado por la BBC sobre el riesgo de que comandantes bajo presión de tiempo ordenen a sus oficiales tomar la producción de Maven como aprobada automáticamente.

"Esa es realmente una pregunta para nuestros clientes militares. Ellos son los que deciden el marco de políticas que determina quién puede tomar qué decisión", dijo. "Ese no es nuestro papel".

En semanas recientes, funcionarios del Pentágono han enfrentado preguntas sobre si herramientas de IA como Maven fueron utilizadas para identificar objetivos en el ataque mortal contra una escuela en la ciudad iraní de Minab, según reportó la BBC. Funcionarios iraníes dijeron que el ataque mató a 168 personas, incluyendo alrededor de 110 niños, en el día de apertura de la guerra.

En el Congreso estadounidense, varios demócratas de alto rango han pedido un mayor escrutinio de plataformas de IA como Maven. La representante Sara Jacobs, miembro del Comité de Servicios Armados de la Cámara, pidió reglas y regulaciones claramente aplicadas sobre cómo y cuándo se usan los sistemas de IA.

"Las herramientas de IA no son 100% confiables: pueden fallar de maneras sutiles y sin embargo los operadores continúan confiando excesivamente en ellas", dijo a NBC News el mes pasado, según citó la BBC. "Tenemos la responsabilidad de hacer cumplir barreras estrictas sobre el uso militar de IA y garantizar que un humano esté en el circuito en cada decisión de usar fuerza letal, porque el costo de equivocarse podría ser devastador para los civiles y los miembros del servicio que llevan a cabo estas misiones".

Mosley rechazó las sugerencias de que la velocidad de la plataforma de su compañía está acelerando la toma de decisiones en el Pentágono y potencialmente creando situaciones peligrosas. En cambio, argumentó que la velocidad a la que los comandantes ahora están tomando acción es una "consecuencia de la mayor eficiencia" que Maven ha habilitado, según la BBC.

Citando "seguridad operacional", el Pentágono declinó comentar cuando fue contactado por la BBC sobre cómo se usarán sistemas de IA como Maven en el futuro o quién sería responsable si algo sale mal.

Pero funcionarios en Estados Unidos parecen estar avanzando con planes para integrar aún más Maven en sus sistemas. La semana pasada, la agencia de noticias Reuters reportó que el Pentágono había designado a Maven como "un programa oficial de registro", estableciéndolo como una tecnología a ser integrada a largo plazo en todo el ejército estadounidense, según informó la BBC.

En una carta obtenida por Reuters, el subsecretario de Defensa Steve Feinberg dijo que la plataforma proporcionaría a los comandantes "las últimas herramientas necesarias para detectar, disuadir y dominar a nuestros adversarios en todos los dominios", según citó la BBC.

La controversia sobre Maven refleja tensiones más amplias sobre el papel de la inteligencia artificial en la guerra moderna. Mientras las fuerzas armadas buscan ventajas tecnológicas que les permitan procesar información más rápidamente que sus adversarios, críticos advierten que la velocidad no debe comprometer la precisión ni las salvaguardas que protegen a civiles.

La posición de Palantir de trasladar la responsabilidad completamente a sus clientes militares plantea preguntas sobre la rendición de cuentas en una era donde las decisiones de vida o muerte están cada vez más mediadas por algoritmos. Aunque la compañía insiste en que siempre hay un humano tomando la decisión final, expertos como Schwarz argumentan que la dependencia en sistemas automatizados puede erosionar el pensamiento crítico necesario para evaluar adecuadamente los riesgos.

La designación de Maven como programa oficial de registro por parte del Pentágono sugiere que, a pesar de las preocupaciones expresadas por legisladores y académicos, el ejército estadounidense está comprometido con expandir, no limitar, el uso de inteligencia artificial en operaciones de combate. Esto probablemente intensificará los llamados para establecer marcos regulatorios más claros sobre cómo y cuándo pueden utilizarse estas tecnologías en conflictos armados.