A medida que la inteligencia artificial (IA) asume roles cada vez más críticos en nuestra sociedad, desde la gestión de redes eléctricas hasta el pilotaje de vehículos autónomos, garantizar la seguridad de estos sistemas se ha convertido en una prioridad absoluta para los investigadores.

Un equipo de la Universidad de Waterloo está abordando este desafío mediante herramientas de matemáticas aplicadas y aprendizaje automático para verificar rigurosamente la seguridad de los sistemas impulsados por IA.

"Cada vez que tratamos con un sistema dinámico —algo que cambia con el tiempo, como un vehículo autónomo o una red eléctrica— podemos modelarlo matemáticamente usando ecuaciones diferenciales", explicó el Dr. Jun Liu, profesor de matemáticas aplicadas y titular de la Cátedra de Investigación de Canadá en Sistemas Híbridos y Control, según informa Phys.org.

Para predecir el comportamiento a largo plazo de estos sistemas, los científicos e ingenieros confían en una herramienta matemática llamada 'función de Lyapunov'. Intuitivamente, esta herramienta muestra si un sistema se establecerá naturalmente en un estado estable y seguro, similar a una pelota que rueda hasta el fondo de un recipiente y permanece allí. "Sin embargo, encontrar tal función es a menudo una tarea notoriamente difícil", señaló Liu.

Para enfrentar este reto, Liu y su equipo recurrieron al aprendizaje automático. Construyeron una red neuronal que aprende a satisfacer las reglas matemáticas que determinan si un sistema permanece estable y seguro —las mismas reglas en las que confían los ingenieros para mantener bajo control las redes eléctricas y los vehículos autónomos.

Los investigadores luego utilizaron un sistema de razonamiento separado, basado en cálculos rigurosos y lógica matemática, para verificar que estas redes neuronales efectivamente satisfacen las condiciones requeridas para garantizar la seguridad. En conjunto, estas herramientas proporcionan una manera de confirmar que los controladores de IA pueden gestionar sistemas complejos de manera segura y confiable.

Puede parecer sorprendente usar una forma de IA para verificar otra, pero Liu explica que la IA es un campo amplio. En su trabajo, las redes neuronales —un tipo común de IA— aprenden pruebas matemáticas de seguridad y a veces incluso diseñan los controladores mismos, mientras que un sistema basado en lógica —otra forma de razonamiento de IA— verifica que esas pruebas sean correctas. Ambas son tareas que los investigadores antes tenían que hacer manualmente.

"Para ser claros, nadie está intentando crear fábricas o sistemas dirigidos completamente por IA sin ninguna intervención humana", aclaró Liu. "Hay áreas como la ética que siempre serán guiadas por el juicio humano. Lo que estos controladores de IA y asistentes de prueba están haciendo es asumir tareas intensivas en cálculos, como decidir cómo desplegar energía en una red o construir tediosas pruebas matemáticas que podrán liberar a los humanos para decisiones de nivel superior".

El marco ha sido probado en varios problemas de control desafiantes, donde igualó o superó los enfoques tradicionales. El equipo de Liu ahora está desarrollándolo como una caja de herramientas de código abierto y explorando colaboraciones con la industria para avanzar en la IA segura y confiable para sistemas físicos.

Este trabajo forma parte del compromiso más amplio de Waterloo para avanzar en la IA segura y confiable, según indica Phys.org.

La investigación se produce en un momento en que las universidades de todo el mundo están adaptándose rápidamente a la integración de la IA en la educación. Según un estudio citado por Nature, el 86% de los estudiantes universitarios utilizaban regularmente la IA en sus estudios en 2024.

En instituciones como la Universidad Estatal de Ohio, los estudiantes ahora toman clases obligatorias de IA como parte de una iniciativa para garantizar que todos sean "fluidos en IA" al momento de graduarse. Mientras tanto, en la Universidad de Sídney, Australia, los estudiantes realizan exámenes tradicionales presenciales para demostrar que han adquirido las habilidades requeridas y no las han externalizado a la IA.

Sin embargo, algunos especialistas en educación expresan preocupaciones sobre el impacto de la IA en el aprendizaje de los estudiantes. Un estudio preliminar realizado por investigadores del Instituto Tecnológico de Massachusetts (MIT) sugiere que los estudiantes que utilizan ChatGPT para ayudar a escribir un ensayo utilizan menos su cerebro que aquellos que lo escriben por sí mismos.

En el ámbito de la salud, la IA también está transformando los ensayos clínicos. Según un informe de CB Insights citado por la Asociación Americana de Hospitales (AHA), el 80% de las startups analizadas utilizan IA para la automatización, eliminando ineficiencias que consumen tiempo y aumentan los costos. Los ciclos de reclutamiento de pacientes que solían durar meses se están reduciendo a días, y la construcción de estudios que tomaba días ahora toma minutos.

A medida que la IA continúa integrándose en diversos aspectos de la sociedad, investigaciones como la del equipo de Waterloo resultan fundamentales para garantizar que estos sistemas puedan operar de manera segura y confiable, especialmente en aplicaciones donde los fallos podrían tener consecuencias graves.