El equipo de aplicaciones de IA de Thoughtworks descubrió fallas de seguridad críticas al escalar un prototipo de ensamblaje de video construido por un usuario no técnico utilizando Gemini, Replit AI y Claude AI. Los incidentes, que detuvieron el trabajo por completo, revelaron que las herramientas de IA sugirieron configuraciones con implicaciones graves de seguridad que solo fueron detectadas por intervención humana.

En el primer caso, la IA recomendó hacer público el almacenamiento en la nube, configurando archivos como "accesibles para cualquiera con el enlace". Cuando fue cuestionada, la herramienta justificó esta práctica afirmando que todas las empresas lo hacen, según el informe de Thoughtworks. Solo un rechazo firme provocó que sugiriera una alternativa segura. Esta configuración habría expuesto activos de marca no publicados y datos de audiencia sensibles a internet público.

El segundo incidente involucró permisos excesivos de tokens. Una cuenta de servicio recibió el rol de Creador de Tokens de Acceso, otorgándole la capacidad de crear tokens de corta duración y acceder a bases de datos y otros recursos muy por encima de lo que la tarea requería. El equipo detectó esto antes de ejecutar el código, evitando que una cuenta de servicio comprometida pudiera moverse lateralmente a través de todo un espacio de trabajo en la nube.

La investigación publicada en 2026 confirma que estos incidentes no son aislados. Según datos de AppSec Santa de 2026, el 25% del código generado por IA contiene vulnerabilidades confirmadas. El informe de Aikido Security de 2026 indica que una de cada cinco brechas empresariales ahora es causada por código generado con IA.

Los ataques que explotan vulnerabilidades de aplicaciones han aumentado un 44% año tras año, según SQ Magazine AI Coding Security Statistics de 2026. El 78% de las bases de código contienen vulnerabilidades de severidad alta o crítica, según Black Duck OSSRA 2026, mientras que las vulnerabilidades promedio por base de código aumentaron un 107% año tras año.

El 50% de las organizaciones no tienen políticas de datos sensibles para IA, según AppSec Santa de 2026. El 73% de los sistemas de IA presentan exposición a inyección de prompts en auditorías de 2026, según SQ Magazine. En marzo de 2026 solamente, se registraron 35 nuevas vulnerabilidades y exposiciones comunes (CVE) provenientes de código generado por IA, según Georgia Tech Vibe Security Radar, SSLab.

El 42% de todo el nuevo software empresarial es generado o asistido por IA, según la encuesta de desarrolladores de Sonar de 2026. El 62% de los equipos de seguridad afirman que mantenerse al día con el volumen de código generado por IA se está volviendo más difícil, según ProjectDiscovery AI Coding Impact Report de abril de 2026.

El liderazgo de ingeniería de Thoughtworks señaló que decirle a un agente de IA que sea seguro no es lo mismo que hacer cumplir que sea seguro. Los prompts pueden ser anulados, malinterpretados o ignorados. El momento en que un usuario rechaza una restricción o formula una solicitud de manera diferente, la restricción puede evaporarse.

"No es suficiente simplemente decirle al modelo de lenguaje grande el comportamiento deseado de sus artefactos de salida. Si absolutamente no quieres que algo sea cierto, debe codificarse en reglas no negociables en algún lugar de tu ciclo de vida de desarrollo", afirmó el liderazgo de ingeniería de Thoughtworks.

Birgitta Böckeler, ingeniera distinguida de Thoughtworks, desarrolló un modelo mental para construir confianza en agentes de codificación mediante ingeniería de arnés. En lugar de depender únicamente de prompts, los desarrolladores envuelven al agente en un "arnés" externo estructurado a lo largo de dos ejes: guías (controles de prealimentación) que anticipan comportamientos no deseados y dirigen al modelo antes de que actúe, y sensores (controles de retroalimentación) que observan el código después de que el agente actúa para señalar errores.

Los controles computacionales son determinísticos, rápidos y ejecutados por CPU, como analizadores de código o conjuntos de pruebas. Los controles inferenciales dependen del análisis semántico y el juicio impulsado por IA, como restricciones específicas de prompts del sistema.

Thoughtworks implementó dos iniciativas prácticas en respuesta a estos incidentes. La primera es un archivo de contexto de seguridad que compila reglas técnicas de seguridad en un archivo de contexto estructurado cargado en cada sesión de codificación de IA antes de que se escriba cualquier código. Cubre aplicación de confianza cero, gestión de secretos, ingeniería de arnés e integridad de la cadena de suministro.

El archivo está versionado, cargado por defecto, revisado y emparejado con verificaciones automatizadas. Actúa como una guía inferencial integral que le dice al agente cómo se ve lo bueno, pero debe emparejarse con sensores computacionales en el pipeline para validar si la salida es aceptable.

La segunda iniciativa es un feed diario de inteligencia de seguridad, una consolidación automatizada que asegura que el equipo vea alertas de la cadena de suministro el día en que se publican. En el futuro, según Thoughtworks, los agentes crearán proactivamente tarjetas de historia e identificarán y parchearán vulnerabilidades conocidas detrás de escena para revisión humana, reduciendo significativamente el tiempo del ciclo de vida de desarrollo de software.

El archivo de contexto de seguridad cubre áreas específicas. En confianza cero y mínimo privilegio, establece verificación estricta de identidad y derechos de acceso mínimos en cada cuenta de servicio y recurso de almacenamiento, lo que previene directamente el riesgo de permisos de tokens. En gestión de secretos, la IA se niega a generar o almacenar claves API, contraseñas o tokens en código, siempre enrutando a variables de entorno o un gestor de secretos, deteniendo la filtración de credenciales antes de que llegue a un repositorio.

Las puertas de ingeniería de arnés requieren que el escaneo de análisis estático de seguridad de aplicaciones (SAST), el escaneo de credenciales y la validación de infraestructura pasen antes del despliegue, sin depender solo de instrucciones de prompts. Esto respalda las instrucciones inferenciales con sensores computacionales determinísticos.

En integridad de la cadena de suministro, solo se permiten bibliotecas bien establecidas con auditorías regulares de cada dependencia para vulnerabilidades conocidas, reduciendo el riesgo de que la IA sugiera paquetes oscuros o no verificados. En responsabilidad de IA, todo el código generado por IA se marca para revisión por pares y escaneo de seguridad automatizado antes del despliegue, sin uso no autorizado de IA, requerido para auditabilidad de cumplimiento.

El flujo de trabajo de inteligencia de seguridad monitorea las herramientas y lenguajes que el equipo usa activamente y entrega un resumen diario de nuevas CVE, avisos de plataforma y boletines de seguridad. Las áreas de cobertura incluyen los lenguajes en los que escriben, las plataformas en la nube donde despliegan, las herramientas de codificación de IA mismas y la base de datos CVE en su conjunto.

Las funciones empresariales como marketing, que están construyendo con IA, no están exentas de las obligaciones de seguridad que se aplican a los ingenieros que construyen aplicaciones, según Thoughtworks. Construir seguridad en el software es un requisito fundamental para proteger los datos de clientes y empleados. Incluso los prototipos internos ligeros deben cumplir con los estándares de seguridad empresarial.

La adhesión a estándares como ISO 27001 asegura la protección de datos sensibles. Todas las aplicaciones, independientemente de qué tan rápido se construyan, deben cumplir con estos puntos de referencia de seguridad para mantener la confianza de clientes y empleados. El trabajo central involucra datos funcionales sensibles, como activos de campaña no publicados, datos financieros o información de audiencia. Las cuentas de servicio con permisos excesivos ponen en riesgo mucho más que código.

Thoughtworks recomienda tres hábitos a corto plazo. Primero, alimentar reglas técnicas de seguridad en cada sesión, agregando las pautas de seguridad de la organización como "Reglas" en Claude, Cursor o Replit. El agente de IA las usa como orientación, haciendo que los patrones seguros sean más probables desde el inicio, aunque aún necesitan respaldarse con verificaciones determinísticas que fallen código inseguro, secretos expuestos, permisos amplios, dependencias vulnerables o infraestructura insegura antes de que se despliegue algo.

Segundo, cuestionar cada permiso que la IA sugiera. Si una herramienta recomienda hacer algo público o asignar un rol de cuenta de servicio amplio, detenerse y preguntar por qué. El camino de menor resistencia y el camino seguro rara vez son lo mismo.

Tercero, probar el prompt del equipo rojo. Pedirle a la IA que juegue el papel de un actor malicioso y realice pruebas de penetración de lo que acaba de construir. Esta técnica revela consistentemente vulnerabilidades que los prompts prospectivos pierden, particularmente en torno a permisos y exposición de datos.

A mediano plazo, Thoughtworks propone soluciones adicionales. Integrar la ingeniería de arnés en plantillas de prototipado estándar, moviéndose de prompts probabilísticos a bucles de retroalimentación explícitos. Si un sensor computacional como un escáner de seguridad automatizado se activa, el bucle agéntico debe forzar estructuralmente al modelo a autocorregirse hasta que pase.

Compilar las reglas técnicas de seguridad de la organización en un archivo de contexto markdown estructurado y cargarlo como "Reglas" que el modelo deberá cumplir. Esto atrapa los pasos en falso más comunes en el punto donde son más baratos de arreglar, antes de que se confirme cualquier código.

Dar a los constructores un punto de partida seguro por defecto. Las plantillas que preconfiguran patrones de autenticación, valores predeterminados de almacenamiento privado, manejo de secretos y escaneo de dependencias reducen la posibilidad de que alguien tome un atajo bajo presión de plazos.

Definir un arnés inicial en todas las funciones. Un arnés inicial compartido construido conjuntamente por funciones empresariales, ingeniería y seguridad da a cada constructor una base segura desde el primer día, en lugar de que cada equipo redescubra independientemente los mismos errores.

Este viaje comenzó cuando Thoughtworks fue convocado para apoyar a otro equipo que construía una plataforma de ensamblaje de video para un hackathon de Marketing Global. Al ayudar a escalar la solución, quedó claro que el "vibe coding" sin barreras de protección de nivel empresarial puede introducir riesgos que las organizaciones simplemente no pueden pasar por alto.

Al incorporar reglas técnicas de seguridad directamente en el flujo de trabajo del agente, Thoughtworks transformó esos primeros casi accidentes en una plataforma segura y lista para producción que se implementó con éxito para 150 usuarios durante el hackathon.

Ese cambio, de depender de humanos para detectar problemas a construir reglas técnicas de seguridad, verificaciones automatizadas y responsabilidad humana en el flujo de trabajo, se ha convertido en el modelo de Thoughtworks para moverse rápido mientras se mantiene el rigor de ingeniería en la era agéntica.

Rachel Laycock, directora de tecnología de Thoughtworks, señaló que el rigor de ingeniería no desaparece cuando la IA genera código, se reubica. Esto cubre poner a los agentes de codificación con correa, arquitecturas de confianza cero y por qué las barreras de seguridad ahora son no negociables.

Una reunión organizada por Thoughtworks de profesionales y líderes empresariales encontró que la seguridad se desprioriza consistentemente en la adopción de IA. Otorgar a los agentes acceso amplio a herramientas, particularmente al correo electrónico, fue señalado como un riesgo inmediato y específico.

El panorama tecnológico anual de Thoughtworks advierte que sin supervisión rigurosa de ingeniería, las herramientas generativas arriesgan agravar la deuda técnica e introducir vulnerabilidades de seguridad. El éxito requiere un modelo de co-construcción donde los humanos aseguren que el código generado por IA mantenga la integridad arquitectónica.