La IA ha alcanzado un muro preocupante, pero ya se está cocinando algo más prometedor

En las últimas semanas, en el mundo de la inteligencia artificial no se habla de otra cosa: el Muro. Con mayúscula. Empezó solo como una sospecha, como una oscura preocupación entre investigadores, pero ha acabado confirmándose y convirtiéndose en el gran obstáculo que puede frenar la revolución de la IA. Hasta ahora, OpenAI, Microsoft, Meta, Google o Amazon habían logrado evolucionar y mejorar sus grandes modelos del lenguaje con una receta sencilla: añadir más y más datos, y más y más poder de computación. Esa fórmula ha dejado de funcionar y se está produciendo un fenómeno para el que, de momento, no hay solución: los nuevos modelos de IA no solo no logran mejorar a los ya existentes, sino que, en algunos casos, producen resultados incluso peores.

"Todos están encontrándose con el mismo techo", reconocía hace unas semanas Marc Andreessen, cofundador de la firma de capital riesgo Andreessen Horowitz y uno de los oráculos de Silicon Valley. "Hace 2 años, ChatGPT estaba muy por delante de todo el mundo. Hoy hay como 6 grandes modelos del lenguaje. Todos están a la par y todos se han quedado en el mismo punto", explicaba.

El español Oriol Vinyals, vicepresidente de investigación en DeepMind, la unidad de IA de Google, lo admitía también recientemente. "Hemos tenido una serie de mejoras en los últimos 3 años, pero no deberíamos esperar el mismo ritmo en los próximos tres años. Para que eso ocurra, tienes que seguir escalando de manera exponencial", señalaba. Es decir, se necesita seguir aumentando de forma exponencial la cantidad de datos y el poder de computación usado para crear modelos de IA. Eso, simplemente, no es posible.

Este fenómeno, conocido en IA como leyes de escalado, está trayendo de cabeza a todas las grandes tecnológicas y los miles de ingenieros y científicos que trabajan en sus laboratorios. Desde el año 2020 hasta ahora, la forma en la que OpenAI, Google, Meta y compañía han ido mejorando ChatGPT, Gemini o Llama era aumentando el número de procesadores gráficos de Nvidia (GPU) usados y la cantidad de datos en la fase previa al entrenamiento. En esa fase, cuantos más recursos de computación y datos se añaden a los modelos, más precisos son luego durante el entrenamiento. Así es como GPT-4 (estrenado en marzo de 2023), por ejemplo, ha logrado ser mucho más preciso y potente que GPT-3,5, y este a su vez que GPT-3 (estrenado en mayo de 2020).

TE PUEDE INTERESAR

El leonés que construye el ordenador cuántico de Google tiene una buena noticia (y otra no tanto)

M. Mcloughlin

El problema es que esa curva de progreso, esas leyes de escalado, han dejado de cumplirse. El pasado septiembre, OpenAI finalizó el entrenamiento de un nuevo gran modelo de lenguaje, bautizado internamente como Orion, con el que esperaba pulverizar las anteriores versiones de GPT. Sin embargo, fuentes de la compañía revelaron a Bloomberg que los resultados finales habían sido decepcionantes. Orion no era capaz de resolver cuestiones de programación sobre las que no había sido entrenado. Es decir, apenas era mejor que GPT-3 o 4, sus predecesores, pese a haber aumentado exponencialmente los recursos destinados a su creación.

El muro de escalado al que se enfrenta la IA es un jarro de agua fría en las ambiciosas predicciones de OpenAI o Anthropic (invertida por Amazon) sobre la posibilidad de lograr inteligencia artificial general o AGI (que una máquina razone igual o mejor que un humano) mucho antes de lo esperado. "Es el comienzo de algo alucinante porque no hay límite y puedes continuar escalando", aseguraba a comienzos de año Dario Amodei, CEO y cofundador de Anthropic. Medio año después, la realidad es que sí parece existir un límite. El propio Amodei se ha visto forzado a retrasar el lanzamiento de la nueva versión de Claude, su gran modelo de lenguaje, denominada 3.5 Opus, ante la dificultad de conseguir evolucionar y escalar la tecnología.

Ante el revuelo generado, Sam Altman intentó tranquilizar al sector hace unas semanas publicando un mensaje inequívoco. "No hay muro". Los fanáticos de la IA, aceleracionistas o AI-bros, escoja el término que prefiera, celebraron la frase. "¡Que le jodan al muro!". Pero la preocupación continúa en el seno de los grandes centros de investigación de IA a este y al otro lado del charco.

"La idea de que si añades más datos, poder de computación y energía nuclear, todo va a funcionar mejor, no es correcta. No es un problema de cantidad, es un problema de calidad de los datos. Si lo único que haces es añadir más y más basura a los datos, acabas con más basura todavía", explica en una entrevista con El Confidencial Alessandro Curioni, vicepresidente de IBM en Europa y jefe del laboratorio de investigación de la compañía en Zúrich.

Curioni lidera un equipo de cientos de científicos e ingenieros con dos objetivos principales, evolucionar la IA y ser los primeros en materializar otra revolución tecnológica en ciernes: la computación cuántica. "El 2026 será el primer año en el que podremos ver el verdadero valor de la computación cuántica sobre la tradicional. Será un punto de inflexión que nosotros denominamos "ventaja cuántica" y en el que se podrá demostrar un enorme avance en el diseño de nuevos materiales o fármacos. Esto dará lugar, por ejemplo, a poder curar ciertas enfermedades o a diseñar baterías de coches eléctricos mucho más duraderas. Será el momento en el que, por fin, entenderemos el verdadero potencial de la computación cuántica", explica.

Google, IBM y Microsoft llevan años invirtiendo miles de millones para avanzar esta tecnología. Y, justo ahora, se está produciendo un cruce de caminos con la inteligencia artificial que nadie sabe muy bien dónde va a terminar. Especialistas como Curioni apuestan a que, en pocos años, habrá grandes superordenadores que mezclarán computación cuántica y tradicional. Dependiendo del problema a resolver, se usará una u otra de forma indistinta dentro del mismo sistema. "No creo que vayamos a ver ordenadores cuánticos funcionando de forma aislada, serán parte de un supercomputador que también usará computación clásica. Veremos una unión de ambos", explica Curioni. "La IA, de hecho, será fundamental en el desarrollo de la cuántica".

Como saltar de mapas en papel a usar GPS

Mientras que los ordenadores tradicionales representan el mundo con bits, con 0 y 1, y los procesan de forma secuencial, la computación cuántica representa la realidad con cúbits, que son combinaciones infinitas de 0 y 1 y no necesariamente de forma secuencial. Eso permite ejecutar cálculos muy complejos con millones de combinaciones a la vez sin necesidad de incrementar el poder de computación. "La cuántica puede simular mucho mejor cómo funciona la naturaleza, los átomos, las moléculas que forman materiales, la interacción química entre esos materiales... Eso te permite resolver problemas de una complejidad mayor y mucho más rápido, con la computación tradicional nos llevaría años", señala Curioni.

Google ha sido el último en presentar un avance significativo en este terreno, al anunciar hace unos días su nuevo chip cuántico Willow. La compañía demostró cómo este nuevo chip es capaz de resolver en 5 minutos un cálculo al que al superordenador Frontier, uno de los más avanzados del mundo, le llevaría aproximadamente 10.000.000.000.000.000.000.000.000 de años, una cifra que excede las escalas de tiempo conocidas en la física y supera la edad del universo. La rapidez y potencia de cálculo no es la única ventaja de Willow. Google asegura haber reducido a la mitad la tasa de errores cometida por este chip, compuesto de 105 cúbits. "Nos estamos centrando en la calidad, no solo en la cantidad", dicen.

IBM, que en 2021 introdujo ya un procesador cuántico de 127 cúbits, planea presentar en 2025 el procesador Kookaburra, un sistema multichip de 1.386 cúbits. La compañía interconectará tres de estos sistemas en uno solo de 4.158 cúbits. "Este cambio será el equivalente a reemplazar los mapas de papel con el sistema satelital GPS", aseguran.

La computación cuántica promete revolucionar áreas como la inversión financiera, el diseño de nuevos materiales o la industria farmacéutica. Pero hay dos grandes obstáculos en el camino. Uno es la fecha en la que esta revolución se producirá de verdad. IBM se atreve a fijar un año, el 2030. "Calculamos que en ese momento tendremos ya ordenadores cuánticos suficientemente potentes y con corrección de errores, es decir, máquinas que puedan de verdad simular las leyes de la física, realizar diseño de materiales o tener un impacto enorme en el sector financiero. Piensa, por ejemplo, en la posibilidad de optimizar un portafolio de inversión. Incluso si solo puedes hacerlo un 1% mejor que tus competidores, el retorno es gigantesco", explica Curioni.

"IBM, Microsoft y Google descubrirán tarde o temprano que sus inversiones en computación cuántica no están justificadas"

La otra gran incógnita será comprobar hasta qué punto la IA podría empezar a realizar algunas de las funciones que promete la computación cuántica antes de 2030. La IA ya se utiliza hoy en día para simular y resolver problemas en química y materiales, el terreno en el que la computación cuántica podría tener un mayor impacto. Varios estudios científicos han demostrado la efectividad de usar redes neuronales para diseñar nuevos materiales. Dada la complejidad de fabricar procesadores cuánticos, la enorme inversión requerida, y los años que aún restan para conseguirlo, cada vez más investigadores se preguntan si la IA no acabará comiéndole la tostada a la computación cuántica.

"La existencia de estas nuevas opciones en aprendizaje automático e IA supone un serio golpe para las posibles aplicaciones de los ordenadores cuánticos", explicaba recientemente al MIT Technology Review Giuseppe Carleo, profesor de física computacional en la Escuela Politécnica Federal de Lausana (EPFL), en Suiza. "En mi opinión, estas empresas [IBM, Microsoft, Google] descubrirán tarde o temprano que sus inversiones en computación cuántica no están justificadas". Habrá que esperar para comprobar si esta predicción se cumple y, sobre todo, ver antes qué pasa con el Muro.