El desarrollo de SceneSmith aborda uno de los mayores desafíos en robótica: la recopilación de suficientes datos de entrenamiento. A diferencia de los chatbots de inteligencia artificial que aprenden de texto, los robots necesitan experiencia interactuando con objetos físicos en muchos entornos diferentes. Entrenar robots en el mundo real es costoso, lento y requiere innumerables horas de supervisión humana.

El sistema funciona mediante tres agentes de inteligencia artificial que trabajan en conjunto. El primero, denominado diseñador, crea el diseño de la habitación y coloca muebles y otros objetos. El segundo, el crítico, verifica que la escena se vea realista y sugiere mejoras, como eliminar objetos que no pertenecen a una habitación particular. El tercero, el orquestador, gestiona todo el proceso, decidiendo cuándo el diseño está completo o cuándo se necesitan más revisiones.

Estos agentes de inteligencia artificial utilizan el modelo de visión y lenguaje GPT-5.2 de OpenAI, que ha aprendido de vastas colecciones de texto e imágenes. Esto proporciona al sistema una comprensión de cómo se organizan los espacios interiores reales y cómo se colocan típicamente los objetos cotidianos. Los usuarios pueden simplemente describir una habitación usando lenguaje natural. Por ejemplo, solicitar "un garaje con un automóvil, banco de trabajo, neumáticos apilados y una escalera contra la pared" permite que SceneSmith genere una versión virtual detallada de ese espacio.

En comparación con sistemas anteriores, las escenas de SceneSmith contienen hasta seis veces más objetos interactivos, lo que proporciona a los robots muchas más oportunidades para aprender. Los investigadores generaron más de 1.300 entornos virtuales utilizando SceneSmith, que incluyen hogares realistas, oficinas, tiendas y espacios temáticos. Los robots practicaron tareas domésticas comunes como colocar frutas en platos, mover latas de refresco entre estantes y mesas, abrir armarios y poner tazas en fregaderos.

Para evaluar el sistema, los investigadores probaron programas de control de robots dentro de 100 entornos diferentes de SceneSmith. Un agente de inteligencia artificial evaluó si cada robot completó su tarea asignada. Los revisores humanos estuvieron de acuerdo con las evaluaciones de la inteligencia artificial más del 99 por ciento de las veces.

El equipo también probó un controlador de robot entrenado principalmente con datos del mundo real. Aunque nunca había encontrado un entorno de SceneSmith antes, completó tareas como recoger una manzana de un tazón y colocarla en una tabla de cortar. Los investigadores también controlaron robots de forma remota dentro de los entornos virtuales, donde abrieron armarios, almacenaron botellas y navegaron entre habitaciones, demostrando que las escenas podían soportar interacciones físicas realistas.

En estudios con usuarios que involucraron a más de 200 personas, más del 90 por ciento calificó los entornos de SceneSmith como más realistas que los creados por métodos anteriores. También encontraron que el sistema era mejor para seguir instrucciones escritas. SceneSmith incluso puede generar nuevos objetos tridimensionales, asignándoles propiedades físicas realistas como peso, fricción y movimiento.

Sin embargo, crear una escena altamente detallada puede tomar actualmente varias horas porque la inteligencia artificial revisa cuidadosamente cada objeto y diseño. Los investigadores creen que la computación más rápida y las bibliotecas de objetos tridimensionales más grandes mejorarán significativamente el rendimiento, ayudando a los robots a obtener los datos de entrenamiento ricos necesarios para aplicaciones del mundo real.

El avance representa un paso significativo en la reducción de la necesidad de costosos entrenamientos físicos mientras se acelera el desarrollo de sistemas robóticos más capaces y adaptables. Esta tecnología tiene implicaciones profundas para la industria de la robótica, potencialmente reduciendo los tiempos de desarrollo y los costos asociados con la creación de robots que puedan realizar tareas complejas en entornos domésticos y comerciales.