La factura de la inteligencia artificial de la que apenas se habla y pocos pueden pagar

Una semana más, la inteligencia artificial ha estado en el centro de la industria tecnológica. Se ha hablado mucho de los puestos de trabajo que acabarán atropellados por sus avances a raíz de informes como los de Open AI o Goldman Sach. Se ha hablado mucho también de desinformación, por una serie de imágenes truchas creadas con estas herramientas en las que se podía ver a Trump pataleando y resistiéndose a su detención o al Papa con un abrigo más propio de Balenciaga. Por esta razón, también se ha hablado muchísimo de ética, más aún después de la carta firmada por Elon Musk, Steve Wozniak y un largo etcétera de personalidades pidiendo echar el freno de mano y parar estos desarrollos durante seis meses para ver sus efectos.

Son muchos los temas que quedan pendientes por resolver y muchos de ellos están provocando encendidos debates e inesperadas decisiones, como la prohibición de ChatGPT en Italia. O cumple las normas de privacidad europeas o el veto de Roma seguirá vigente. Pero hay un tema que está pasando en cierta manera desapercibido para el común de los mortales, ese que se mueve lejos de los mentideros especializados. No es otro que el enorme músculo técnico que hace falta para desarrollar y mejorar estos sistemas. Un músculo en forma de gigantescos centros de datos y superordenadores, que a su vez conllevan inversiones de miles de millones de dólares, así como una factura eléctrica que puede llegar a ser desorbitada.

"Es demasiado pronto para especular sobre eso", responden desde Google cuando se les pregunta por ese asunto. Todo el mundo es bastante discreto. Con esta información y con casi cualquier dato que pueda dar pistas a los competidores. Sin embargo, ya existen informes que alertan de que la batalla por la IA puede desembocar en un enorme gasto energético con los consiguientes efectos también climáticos. Un análisis realizado por una decena de investigadores, entre ellos empleados de Alphabet y académicos de la Universidad de Berkeley, estimó que las emisiones de dióxido de carbono producidas por el entrenamiento de GPT-3 ascendieron a 550 toneladas. Esa cifra es la misma que generaría una persona que realice más de 2.400 viajes entre Cádiz y Bilbao.

Según los autores del trabajo, la potencia empleada suponía un consumo de casi 1.300 MWh. 1.300 MWh son 1.300.000 kWh. Teniendo en cuenta que un Tesla básico tiene 60 kWh, estaríamos hablando de que se podrían cargar casi 22.000 Teslas. Se puede colegir que con GTP-4 estos guarismos no han hecho más que aumentar. "Eso no es sostenible para alguien que no sea un gigante. Las empresa o instituciones que sean pequeñas, medianas o grandes no se lo pueden permitir", asegura Carlos Gómez-Rodríguez, catedrático de Computación Informática de la Universidad de Santiago de Compostela, que lleva años investigando la materia.

Todo esto ha vuelto a poner el foco, una vez más, en la cantidad de energía que necesita internet en general para funcionar. Esto no es exclusivo de la IA, aunque se multiplica exponencialmente. Esta misma semana, se ha sabido que los gatos de TikTok pueden poner en peligro los planes de la UE para facilitar más munición a Ucrania. El culpable no es otro que un centro de datos que aloja los sistemas de la red social y está acaparando el suministro de energía en una zona al norte de Oslo donde estaba prevista la ampliación de una fábrica de armamento. Un proyecto que ahora está en duda al no contar con la electricidad suficiente para operar.

Moore no lo vio venir

"La necesidad de computación se ha acelerado exponencialmente con la llegada de los llamados modelos Transformers, tecnología que utilizan los modelos de inteligencia artificial generativa como GPT-3 o ahora GPT-4", explica a este periódico el español Antonio Varas, director de Estrategia de Synopsys, una empresa radicada en Silicon Valley y que es una referencia en el software para el diseño de chips.

Aunque Open AI se esté colgando junto a Microsoft todas las medallas de esta revolución tecnológica, lo cierto es que ambos le deben mucho a Google. Un grupo de ingenieros del buscador publicó en 2017 un modelo neuronal bautizado como Transformers, que ayudaba a procesar el texto de manera mucho más efectiva. Sus investigaciones se desvelaron de forma abierta y la oportunidad fue aprovechada por Sam Altman para entrenar el modelo de IA que hoy está poniendo en jaque el imperio de los de Mountain View, probablemente el más grande y extenso de internet. En resumen, la propia Google dio a Open AI las instrucciones para construir y perfeccionar el misil que ha acabado por impactar en su línea de flotación.

"Los modelos Transformers son mucho más grandes y complejos de lo que hemos visto hasta ahora", añade Varas, que detalla que utilizan muchísimos más parámetros, algo que les permite "hacer autoaprendizaje" utilizando ingentes masas de datos. "Necesitan mucho mayor esfuerzo de aprendizaje. Y con ello el esfuerzo de computación se ha acelerado".

Desde 1960 hasta 2010, la norma que servía para medir cómo evolucionaba la potencia tecnológica era la archiconocida ley de Moore, formulada por Gordon Moore, cofundador de Intel, recientemente fallecido. La fórmula inicial establecía que el incremento de la capacidad de computación se duplicaba cada año (posteriormente, la corregiría para hablar de dos años), como resultado de la mejora continua en la tecnología de fabricación de semiconductores.

Pasar en 12 meses de GPT-2 a GPT-3 obligó a aumentar el poder de computación 250 veces

Una mejora, entre otras cosas, que se basó y aún lo hace en hacer transistores cada vez de menor tamaño (se habla de los tres nanómetros). Esa miniaturización lo que permite, en resumen, es poder incorporar muchos más componentes en un mismo trozo de oblea. "Esto de avanzar a nodos de fabricación más pequeños hace tiempo que muestra limitaciones. Pero la ley de Moore es sencillamente insuficiente para satisfacer la demanda de mayor capacidad de computaciones", detalla Varas, que explica que este principio quedó desfasado hace años.

El despegue de la inteligencia artificial, recuerda el español, se inicia "alrededor de 2010" con la aparición de los primeros modelos avanzados de aprendizaje profundo basado en redes neuronales que se aplican a cosas como los asistentes de voz o el reconocimiento de imágenes. "Ahí ya vemos que la demanda de computación se multiplica por ocho o por 15, dependiendo de la referencia que se consulte", apunta. La IA generativa simplemente ha apretado el acelerador. "El paso de GPT-2 a GPT-3, creados con tan solo un año de diferencia, necesitó un aumento de 250 veces". Ahora, explica, algunas fuentes estiman que este indicador va a subir hasta 750.

"Ni los que estábamos en el mundillo esperábamos que fuésemos a ver modelos tan potentes tan pronto ni que se fuese a avanzar tan rápido", comenta Carlos Gómez-Rodríguez en este punto. "Esta explosión supone varios desafíos, empezando por los de carácter ético, como se ha visto esta semana. Pero hay muchos desafíos en el plano técnico. Al ser modelos que utilizan esa ingente cantidad de parámetros y datos, hay que redimensionar la infraestructura física que sostiene todo esto", argumenta. "En los centros de datos, vamos a necesitar mucha más memoria que antes simplemente para almacenar ese volumen extra de información. Pero también más CPU y tarjetas gráficas, tanto en número como en potencia".

Un buen ejemplo de esto es Microsoft, la pareja de baile de Open AI en todo este asunto, a la que ha inyectado 10.000 millones en forma de inversión. La empresa de Satya Nadella gastó cientos de millones de dólares en una supercomputadora de cara a potenciar y mejorar el rendimiento de ChatGPT, cuya base ha utilizado, adaptado e incorporado también productos como Bing, Edge y próximamente Microsoft Office. Una supermáquina que se conectó a Azure, su plataforma de computación en la nube, y que está compuesta por decenas de miles de tarjetas gráficas (GPU) de Nvidia.

Solo un oligopolio de empresas tecnológicas puede afrontar los costes de entrenar estas IA

Nvidia se ha convertido en un eslabón fundamental en el momento que vive la industria tecnológica. Aunque pueda haber otras alternativas, sus GPU son imprescindibles, ellos lo saben y las están vendiendo por miles a todos los que quieren subirse al carro. Siguiendo el ejemplo de Microsoft, Oracle montará una plataforma con 16.000 de sus componentes. Amazon Web Services lo hará con 20.000. Jensen Huang, CEO de la compañía, dijo recientemente que iban a ser el motor del "momento iPhone que atraviesa la IA". Y su importancia hubiese podido ser aún mayor si la compra de ARM, propiedad del grupo nipón Softbank, llega a buen puerto.

"Si llega a lograr la operación, Nvidia habría logrado prácticamente la capacidad de hacer supercomputadoras por sí misma después de la compra de la israelí Mellanox, especializada en el tema de conectividad y centros de datos", apuntaba Mateo Valero, director del Supercomputing Center de Barcelona, en un reportaje publicado por este periódico. "Eso hubiese supuesto un monopolio que no era del gusto de mucha gente".

Incremento en coste y consumo

Los creadores de GPT-4 se han vuelto menos transparentes que nunca con su último lanzamiento, un hito que acompañaron además con informes agoreros sobre el futuro del trabajo y lo mal que les iba a ir a ciertas profesiones. La cuestión es que es imposible saber qué hardware han utilizado, ni cuántos parámetros ni nada relacionado con el desarrollo. Pero se da por supuesto que la inversión en equipos para ello ha ascendido a cifras estratosféricas para una institución pública como una universidad o una empresa de tamaño pequeño o medio. "Existe un problema derivado de todo esto: que ahora mismo el entrenamiento y el desarrollo de estos modelos están solo al alcance de un oligopolio de tecnológicas que son las que se lo pueden permitir, con todo lo que ello implica", sentencia Gómez-Rodriguez.

La inteligencia artificial exige echar más madera, y eso se traduce en que el precio de las consultas a uno de estos sistemas se dispara frente al coste de lo que cuesta hacérselo a un buscador tradicional. Poner algo en la caja de búsqueda y darle al enter tiene un coste de 0,0106 dólares. En ChatGPT, sale por 0,0142. Según especula el catedrático español, esto es el motivo de que Google todavía no haya movido ficha de forma definitiva y comercial, y también fue la razón de que OpenAI dejase de ser una fundación sin ánimo de lucro, pusiese una tarifa de pago y más recientemente se asociase con Microsoft para poder seguir avanzando.

TE PUEDE INTERESAR

Abrid paso, microchips: la era del megachip ha llegado

The Wall Street Journal. Christopher Mims

La pregunta es inevitable, ¿se puede reducir este facturón eléctrico? "Los chips son cada vez más eficientes en términos de capacidad de computación por vatio consumido, pero este incremento de eficiencia no es suficiente para compensar la explosión en el volumen de procesamiento de datos", argumenta Antonio Varas sobre este asunto, y pone sobre la mesa varias soluciones. La primera de ellas es "utilizar modelos de IA más pequeños y especializados para una aplicación concreta" en vez de disparar con cañón grande, a través de los "megamodelos generales".

También habla de trabajar el diseño de los chips para aumentar la eficiencia todavía más. Esa es la razón de que empresas como Google, Meta o Amazon hayan decidido crear sus propios chips. Sin embargo, Varas insiste especialmente en migrar las fuentes de electricidad de centros de datos y superordenadores a energías renovables para mitigar este problema. "Esta es la clave. Las dos medidas anteriores reducen el consumo, pero la demanda de computación es insaciable y absorberá las mejoras energéticas". Sobre este punto, Gómez-Rodríguez también señala la necesidad de "explotar ganancias energéticas desde el software" con modelos más ligeros y con fines concretos.

"Hay empresas que ya tenían una importante capacidad de cómputo instalada. Por eso están en la posición que están, como puede ser Google gracias a Cloud Services o Microsoft con Azure", explica Asier Gutiérrez-Fandiño, exingeniero de IA en el BCN Supercomputing Center, asesor para el Gobierno en IA y director de LHF Labs, que vuelve a poner el acento en que los requerimientos para entrenar modelos de última generación derivan en que a día de hoy pocos entrenen modelos de lenguaje desde cero. Además, explica este especialista, las empresas que se han posicionado al frente de esta carrera están trabajando de "manera más cerrada", reservándose información clave sobre sus desarrollos, lo que también impide que terceros puedan aprovecharse de esos avances.

Nuevas propuestas

Sin embargo, Gutiérrez-Fandiño destaca que ya están surgiendo otros actores que están intentando atajar el problema del alto coste de crear y entrenar una IA desde cero. Señala el caso de una startup llamada Cerebras, que ha lanzado siete soluciones similares a GPT para utilizarlas de forma abierta. Se trata de una firma estadounidense que está empezando a postularse como rival de Nvidia en esta pelea y ya hay centros como el Barcelona SuperComputing Center o el de Leipzig que han apostado por esta tecnología.

Unas soluciones que van desde modelos de lenguaje más pequeños, con 111 millones de parámetros, hasta modelos más grandes, de 13.000 millones. "No todo el mundo necesita un modelo enorme. Uno pequeño bien entrenado puede ajustarse y cubrir muchas necesidades", puntualiza. Cerebras ha conseguido entrenar estos modelos de lenguaje en cuestión de semanas y no meses gracias a su último superordenador, Andromeda. Una máquina que ha sido diseñada y fabricada de forma diferente y que sirve para ilustrar bastante lo que popularmente han empezado a conocerse como megachips.

Normalmente, los fabricantes de semiconductores cogen una oblea y la dividen en cientos de piezas más pequeñas que se convierten en chips o microchips. Sin embargo, esta empresa utiliza toda la oblea para crear una única y gigantesca pieza, con mayor ancho de banda, rendimiento y latencia. Eso se consigue "porque todo lo necesario está en un mismo lugar" y no tiene que conectarse a otros componentes distribuidos. Además, todo ello incide en el consumo eléctrico, siendo menor que soluciones comparables.

La idea de los modelos de lenguaje es que sirvan para diferentes tareas, pudiéndose compartir y ahorrando así el coste de crearlos: "Los que quieran utilizarlo, lo que tienen que hacer es cargar sus datos en uno de los modelos que ya han sido entrenados. Y realmente creo que ese es el siguiente gran reto, la calidad de los datos".

Empresas como Cerebras, IBM o Nvidia ya apuestan por los superordenadores

Cerebras es una empresa que surge al rebufo de las nuevas necesidades informáticas. Si no todo el mundo puede montarse su propio superordenador, ¿por qué no montar uno que sirve a cientos de clientes de forma remota? Es un proceso similar, por ejemplo, al que ocurrió en su momento con las nubes privadas y los centros de datos. Es algo parecido también a lo que ocurrirá con la computación cuántica. Empresas como IBM, una de las que más han apostado por este extremo, ya tienen ordenadores de esta naturaleza abiertos a instituciones y empresas que pueden acceder remotamente y disfrutar de estas capacidades, que de otra forma no podrían, ya que no disponen de los recursos para investigar y desarrollar sus propias máquinas. Algo por lo que también apostará Nvidia, que recientemente presentó DGX Cloud, que permitirá acceder a las compañías que lo contraten a la infraestructura necesaria para entrenar los modelos de lenguaje a través de internet.

"Sea como sea, el coste de sostenerlo, al menos en el corto plazo, se va a incrementar para las empresas implicadas", advierte Gutiérrez-Fandiño, que ya señala cómo algunas empresas han empezado a integrar publicidad, como es el caso de Microsoft y su chatbot de Bing, basado en GPT-4. "Eso también plantea muchos interrogantes, porque depende de cómo los presentes, pueden afectar a la percepción de la respuesta o a su factualidad", puntualiza este experto.