Startup estadounidense afirma haber resuelto cuello de botella matemático que limita modelos de lenguaje

Subquadratic salió del modo sigiloso el mes pasado con una afirmación audaz: había resuelto un cuello de botella matemático que había limitado los modelos de lenguaje de gran escala durante casi una década, según reportó MIT Technology Review. Los detalles iniciales fueron escasos y muchos expertos mostraron escepticismo, pero la compañía ha comenzado a presentar evidencia mediante resultados de evaluaciones independientes que sugieren que sus afirmaciones podrían ser legítimas.

Según Subquadratic, ha desarrollado un nuevo tipo de modelo de lenguaje llamado SubQ que es más rápido, más económico y utiliza significativamente menos energía que cualquier otro modelo en el mercado. La compañía también afirma que SubQ puede procesar hasta 12 veces más texto simultáneamente que la mayoría de otros modelos, permitiéndole realizar tareas intensivas en datos como analizar cientos de documentos o bases de código completas, según declaraciones de la empresa.

Además, Subquadratic sostiene que SubQ logra esto mientras iguala aproximadamente el rendimiento de los mejores modelos desarrollados por Google DeepMind, OpenAI y Anthropic en tareas clave como programación, según la compañía.

El problema inicial fue que la empresa proporcionó poca evidencia para sus afirmaciones más allá de un puñado de puntuaciones de pruebas autopublicadas. Y aún no ha hecho que SubQ esté ampliamente disponible para que las personas lo prueben por sí mismas, según MIT Technology Review.

Dan McAteer, ingeniero de inteligencia artificial, capturó la respuesta general en la plataforma X: "SubQ es el mayor avance desde el Transformer... o es el Theranos de la inteligencia artificial", según reportó la publicación.

"Esperábamos un escepticismo saludable", dijo Alex Whedon, cofundador y director de tecnología de Subquadratic, según MIT Technology Review. "En retrospectiva, publicar las pruebas de terceros junto con el anuncio inicial habría evitado gran parte del escepticismo, por lo que nos estamos tomando el tiempo para asegurarnos de que cualquier resultado futuro esté completamente verificado antes de publicarlo", agregó.

Subquadratic solicitó a Appen, una empresa que evalúa modelos de otras compañías, que realizara sus pruebas en SubQ. Los resultados parecen respaldar muchas de las afirmaciones de Subquadratic, según MIT Technology Review. "Eso fue realmente emocionante para mí, validó su arquitectura", dijo Jeanine Sinanan-Singh, directora de investigación de inteligencia artificial generativa de Appen, según la publicación.

"Pensé: 'Wow, esto podría cambiar las reglas del juego', porque los modelos luchan con la velocidad y la ineficiencia", agregó Sinanan-Singh, según MIT Technology Review. "Pero cuando tienes resultados algo impactantes, realmente no es tan creíble cuando lo dices tú mismo", añadió.

SubQ no reemplazará los modelos principales existentes en todos los ámbitos, pero podría ofrecer enormes aumentos en velocidad a una fracción del costo típico para ciertas tareas, según la publicación. Subquadratic insiste en que a largo plazo, su avance podría cambiar cómo se construyen los modelos de lenguaje. "Esperamos estar iniciando una nueva era de eficiencia", dijo Justin Dangel, cofundador y director ejecutivo de la empresa, según MIT Technology Review. "No creemos que nadie esté construyendo sobre transformers en unos años", agregó.

El mecanismo de atención y el problema cuadrático

Para entender por qué las afirmaciones de Subquadratic son importantes, es necesario comprender cómo funcionan la mayoría de los modelos de lenguaje actuales, según MIT Technology Review. El mecanismo clave dentro de un modelo de lenguaje es un tipo de red neuronal llamada transformer, que ejecuta un proceso conocido como atención densa. Los modelos de lenguaje actuales típicamente encadenan múltiples transformers, según la publicación. El artículo fundacional de la era de los modelos de lenguaje, publicado por investigadores de Google en 2017, se tituló "La atención es todo lo que necesitas", según MIT Technology Review.

La atención densa funciona así: cuando un transformer procesa un fragmento de texto, primero codifica cada palabra (o parte de una palabra, conocida como token) con un número, según la publicación. Para capturar el significado del texto completo, luego multiplica cada uno de esos números con todos los demás números de ese texto. Por ejemplo, un texto de 10,000 palabras iniciaría casi 50 millones de multiplicaciones individuales, según MIT Technology Review. Esa es una gran cantidad de computación y la razón principal por la que los modelos de lenguaje son notorios consumidores de energía, según la publicación.

"Si quieres resumir El Gran Gatsby, tienes que mirar la primera palabra y la última palabra juntas, y luego tienes que mirar todas las demás combinaciones", dijo Dangel, según MIT Technology Review.

A medida que aumenta la longitud del texto, el número de cálculos se dispara, según la publicación. Esto se debe a que cada número adicional debe multiplicarse por todos los números anteriores. Duplica el número de palabras y aproximadamente cuadruplicas el número de cálculos, una tasa de aumento conocida como expansión cuadrática, según MIT Technology Review.

La solución de Subquadratic es abandonar la atención densa, la operación central de un transformer, en favor de lo que se conoce como atención dispersa, que reduce drásticamente el número de cálculos necesarios, según la publicación. En lugar de multiplicar el número asignado a cada token por todos los demás números, la atención dispersa selecciona solo algunos de los números para multiplicar. La idea es que no todas las relaciones entre palabras en un texto importan, según MIT Technology Review.

"La atención dispersa dice que no todas esas relaciones son importantes, porque no lo son", dijo Whedon, según la publicación. "Si estás leyendo un libro, no vas a mirar la primera y segunda palabras, primera y tercera, eso es una locura", agregó.

Es un enfoque simple, y Subquadratic no es la primera en intentarlo, según MIT Technology Review. "Prácticamente todo bajo el sol se ha intentado", dijo Will Depue, investigador independiente de inteligencia artificial que trabajó anteriormente en OpenAI, según la publicación. "No es imposible, pero es similar a correr una milla en cuatro minutos", agregó.

Las técnicas anteriores para seleccionar qué números multiplicar y cuáles ignorar no han producido un mecanismo que pueda capturar el significado de un documento tan bien como la atención densa, según MIT Technology Review.

Subquadratic afirma haber resuelto el problema finalmente, según la publicación. Presenta a SubQ como el primer modelo de lenguaje con atención dispersa que rivaliza con los modelos convencionales de atención densa en rendimiento, según la compañía.

"Históricamente, la mayoría de los mecanismos han utilizado patrones fijos, como comparar siempre la primera palabra con la quinta", dijo Whedon, según MIT Technology Review. "Eso es bastante limitante. El lenguaje es demasiado sofisticado para eso. Y entonces, una de las cosas que hace único a nuestro mecanismo es que seleccionamos dinámicamente cuáles son importantes", agregó.

La empresa no dirá exactamente cómo SubQ elige en qué palabras enfocarse, pero la selección se calcula sobre la marcha y difiere para cada texto que se le da al modelo, según la publicación. "Ahí es donde está la salsa secreta", dijo Whedon, según MIT Technology Review.

Resultados de las evaluaciones independientes

El resultado es que para ciertas tareas, SubQ puede ser más rápido y más barato de ejecutar que la mayoría de otros modelos, según la publicación. Appen evaluó SubQ en un puñado de pruebas estándar. En una prueba de velocidad directa, que establece una línea base para qué tan rápido puede operar un modelo en teoría en lugar de evaluar lo que un modelo puede hacer realmente, Appen encontró que SubQ era 56 veces más rápido que los modelos que usan FlashAttention, una técnica anterior de atención dispersa, según MIT Technology Review.

En LiveCodeBench, una prueba que examina qué tan bien funcionan los modelos en problemas de programación competitiva tomados de concursos reales, SubQ obtuvo una puntuación de 89.7%, colocándolo en el mismo rango que otros modelos principales de programación, según la publicación. "Este modelo continúa proporcionando rendimiento de nivel frontera en programación", dijo Sinanan-Singh de Appen, según MIT Technology Review.

Las afirmaciones de Subquadratic sobre costos son más difíciles de verificar porque SubQ aún no está ampliamente disponible, según la publicación. Según Dangel, cuesta 2,600 dólares ejecutar el modelo de lenguaje Opus 4.6 de Anthropic a través de RULER 128, una prueba desarrollada por Nvidia para evaluar la capacidad de un modelo para recuperar información de grandes conjuntos de datos, según MIT Technology Review. "¿Y SubQ? Nos costó ocho dólares", dijo Dangel, según la publicación.

SubQ parece ser capaz de manejar conjuntos de datos muy grandes, según MIT Technology Review. El modelo tiene una ventana de contexto (aproximadamente similar a una memoria de trabajo) de hasta 12 millones de tokens de longitud. La mayoría de los modelos principales actuales tienen ventanas de contexto de un millón de tokens de longitud, según la publicación. En una demostración que Whedon realizó para MIT Technology Review, pidió a SubQ que realizara una tarea que requería razonar sobre información contenida en 400 documentos. Respondió en segundos, según la publicación. Cuando dio a Perplexity, un motor de búsqueda popular impulsado por modelos de lenguaje, la misma tarea, no logró cargar los 400 documentos, según MIT Technology Review.

Appen también ejecutó la prueba de aguja en el pajar, que evalúa qué tan bien un modelo puede recuperar información específica enterrada en una gran cantidad de datos, según la publicación. En su informe, Appen afirma que SubQ obtuvo una puntuación del 98% con ventanas de contexto de seis millones y 12 millones de tokens de longitud, "manteniendo una recuperación de contexto largo casi perfecta en escalas en las que pocos modelos son probados", según MIT Technology Review.

Escepticismo persistente y limitaciones

A pesar de las altas puntuaciones, las pruebas de referencia pintan una imagen incompleta de lo que un modelo puede y no puede hacer, según la publicación. Las pruebas bajo condiciones muy específicas no son un sustituto de ejecutar un modelo en una amplia gama de tareas reales, según MIT Technology Review.

Subquadratic ofrece SubQ como un modelo adaptado a la programación y a la búsqueda en conjuntos de datos muy grandes, según la publicación. Dice que decenas de miles de usuarios potenciales ya se han registrado para acceso anticipado, incluidos más de 500 clientes empresariales, según la compañía. Pero hay una larga lista de espera, y la empresa ha dado acceso a muy pocas personas hasta ahora, según MIT Technology Review. La respuesta de Subquadratic es que es una empresa nueva y pequeña con recursos limitados y no puede atender a demasiadas personas a la vez, según la publicación.

Hasta que más personas tengan acceso al modelo y lo prueben por sí mismas, cierto escepticismo está justificado, según MIT Technology Review. Un problema persistente es que Subquadratic reutilizó los pesos (valores establecidos dentro de un modelo durante el entrenamiento que determinan cómo se comportará) de una versión del modelo chino de código abierto Qwen para iniciar SubQ, en lugar de entrenarlo desde cero, según la publicación. Eso es algo común que hacen los creadores de modelos, pero contradice la afirmación de Subquadratic de que ha reinventado completamente cómo funcionan los modelos de lenguaje, según MIT Technology Review.

"Pueden haber construido algo real y útil", dijo Depue, según la publicación. "Pero la evidencia pública aún no justifica la afirmación más fuerte de que han resuelto el cuello de botella de atención cuadrática", agregó.

Mientras tanto, el cofundador de Subquadratic, Whedon, insiste en que hacer algo diferente era su única opción, según MIT Technology Review. Si quieres construir un modelo competitivo, tienes que tener nuevas ideas, dijo: "Estamos más contra las cuerdas que OpenAI", según la publicación.

La afirmación de Subquadratic representa un desafío potencial a la arquitectura dominante de los modelos de lenguaje actuales, basados en transformers, que han sido el estándar desde 2017. Si las afirmaciones de la compañía se verifican completamente con un acceso más amplio, podría significar una reducción significativa en los costos operativos y el consumo energético de la inteligencia artificial, dos de las principales preocupaciones de la industria actualmente. Sin embargo, la comunidad científica y tecnológica mantiene una postura cautelosa hasta que se pueda realizar una evaluación más exhaustiva e independiente del modelo SubQ en condiciones reales de uso.