Microscopio óptico con IA analiza materiales bidimensionales con precisión de expertos humanos

El equipo del laboratorio de ingeniería eléctrica y computación de Haozhe "Harry" Wang en la Universidad de Duke ha incorporado la inteligencia artificial como un nuevo miembro de su equipo de investigación. Utilizando modelos de IA de acceso público como ChatGPT de OpenAI y Segment Anything Model (SAM) de Meta, los investigadores construyeron ATOMIC (Tecnología Autónoma para Microscopía Óptica y Caracterización Inteligente), una plataforma que puede evaluar muestras y tomar decisiones por sí misma.

"El sistema que hemos construido no solo sigue instrucciones, sino que las comprende", explicó Wang según la publicación en phys.org. "ATOMIC puede evaluar una muestra, tomar decisiones por sí mismo y producir resultados tan buenos como los de un experto humano".

El grupo de Wang estudia materiales bidimensionales (2D), cristales de solo uno o pocos átomos de espesor que son candidatos prometedores para semiconductores de próxima generación, sensores y dispositivos cuánticos. Determinar cómo se apilan las capas y si contienen defectos microscópicos tradicionalmente requiere un trabajo laborioso y años de entrenamiento.

"Para caracterizar estos materiales, normalmente necesitas a alguien que entienda cada matiz de las imágenes del microscopio", señaló Wang. "Los estudiantes de posgrado tardan meses o años de clases de ciencias de alto nivel y experiencia para llegar a ese punto".

Para acelerar el proceso, el equipo conectó un microscopio óptico comercial a ChatGPT, permitiendo que el modelo maneje operaciones básicas como mover la muestra, enfocar la imagen y ajustar los niveles de luz. Sobre esta base implementaron SAM, un modelo de visión de código abierto diseñado para identificar objetos discretos, que en el caso de muestras de materiales incluiría regiones con defectos y áreas puras.

Los resultados fueron notables: en una variedad de materiales 2D, el microscopio con IA igualó o superó el análisis humano, identificando regiones de capas y defectos sutiles con una precisión de hasta 99,4%. El sistema mantuvo este rendimiento incluso con imágenes capturadas en condiciones imperfectas, como sobreexposición, enfoque deficiente o poca luz, y en algunos casos detectó imperfecciones invisibles para el ojo humano.

"El modelo podía detectar límites de grano a escalas que los humanos no pueden ver fácilmente", explicó Jingyun "Jolene" Yang, estudiante de doctorado en el laboratorio de Wang y primera autora del artículo. "No es magia, sin embargo. Cuando hacemos zoom, ATOMIC puede ver a nivel de píxel por píxel, lo que lo convierte en una gran herramienta para nuestro laboratorio".

Al localizar y categorizar defectos microscópicos, el sistema ayuda al grupo de Wang a determinar el número de capas en un material 2D y a identificar regiones prístinas adecuadas para estudios de seguimiento. Estas áreas de alta calidad pueden luego utilizarse para otras investigaciones en el laboratorio de Wang, como robótica blanda y electrónica de próxima generación.

Más impresionante aún, el sistema no requirió datos de entrenamiento especializados. Los enfoques tradicionales de aprendizaje profundo necesitan miles de imágenes etiquetadas. El método "zero-shot" de Wang aprovechó la inteligencia preexistente de los modelos de fundación, entrenados en amplios sectores del conocimiento humano, para adaptarse instantáneamente.

Para Wang, su entusiasmo por la innovación no se trata solo de velocidad. También se trata de enseñar a sus estudiantes a utilizar las tecnologías a su disposición para ser investigadores modernos.

"En el último año, la IA ha avanzado mucho y el Dr. Wang dijo que si no abrazamos esta era y hacemos uso de estas herramientas de IA, podrían reemplazarnos", comentó Yang. "Probamos el sistema ATOMIC en muchas muestras y diferentes condiciones, y es bastante robusto".

Wang ve aplicaciones potenciales en diversas disciplinas, desde química hasta biología, donde el tedioso análisis óptico a menudo ralentiza el progreso. Simplificar estos flujos de trabajo podría abrir la investigación avanzada a estudiantes, ingenieros de la industria o cualquier persona con curiosidad y un microscopio.

Al mismo tiempo, Wang enfatiza la importancia de mantener a los humanos en el proceso. Los modelos de fundación pueden comportarse de manera impredecible, a veces generando resultados diferentes para indicaciones idénticas. Su grupo probó miles de repeticiones para evaluar la robustez y descubrió que, aunque ocurren variaciones menores, la precisión general sigue siendo alta.

"El objetivo no es reemplazar la experiencia; es amplificarla", afirmó Wang. "Todavía necesitamos humanos para interpretar lo que encuentra la IA y decidir qué significa. Pero una vez que tienes un socio que puede completar semanas de análisis en meros segundos, las posibilidades de nuevos descubrimientos son exponenciales".

El estudio completo fue publicado en la revista ACS Nano el 2 de octubre bajo el título "Zero-Shot Autonomous Microscopy for Scalable and Intelligent Characterization of 2D Materials".