Las redes neuronales no descansan

La olvidada tecnología que amenaza miles de empleos: "Ni siquiera sabemos su límite"

El modelo de procesamiento de lenguaje natural GPT-3 se ha hecho viral al descubrir sus usuarios que es capaz de programar. Lo peor: que ni sus creadores sabían que podía hacerlo

Foto: Foto: Reuters.
Foto: Reuters.

Normalmente, si alguien te dice que hay un sistema informático que es capaz de aprender casi lo que quiera y de la manera que quiera sin que ningún humano lo diga, que es capaz de suplantar a ese humano sin que nadie se dé cuenta y que ni siquiera sus creadores saben decirte cuál es su límite, lo más lógico es que creas que habla de una película o una serie mezcla futurista mezcla distopía. Algo así como los villanos de 'Terminator', 'Matrix' o 'Yo, robot'. Bueno, pues está más cerca de lo que imaginas, quizá no para dominar el mundo, pero sí para acabar o al menos modificar, muchos millones de empleos. Empezando por el que firma estas líneas.

Durante los últimos días se está hablando bastante en redes sociales de algo llamado GPT-3, un nuevo modelo informático lanzado en el mes de junio que ha dejado a muchos boquiabiertos porque es capaz de, entre otras cosas, programar código básico como un desarrollador más o traducir textos en inglés común a lenguaje jurídico sin tener que dar pauta alguna más que pedir que lo haga. Pero lo más llamativo es que ni siquiera sus creadores sabían que era capaz de hacer eso ni lo programaron para ello. Este último invento de OpenAI, una 'startup' californiana de inteligencia artificial impulsada por Elon Musk y asociada a Microsoft, ha vuelto a poner el foco de las revoluciones tecnológicas en la IA. Pero ¿qué y cómo hace exactamente todo esto?

Por si es la primera vez que oyes hablar de GPT, que no sería algo demasiado raro, debes saber que se trata de la tercera versión del modelo de procesamiento de lenguaje natural (NLP) de OpenAI, un tipo de inteligencia artificial que se centra, básicamente, en estudiar y aprender lenguaje natural para luego poder crear textos complejos y, como explica el experto, divulgador y 'youtuber' centrado en 'machine learning' Carlos Santana, ser capaz de "adivinar la siguiente palabra". Vale, esta es la definición básica y rápida que podríamos asemejar a lo que hacen los asistentes como Alexa o Siri, pero detrás de este caso hay muchísimo más. "Se trata del modelo más grande de este tipo creado hasta la fecha. Su punto más interesante es que ha sido preentrenado con más de 175.000 millones de parámetros".

A lo que se refiere Santana con esto (y solo tocando de forma superficial las partes más técnicas del detallado proyecto que se cuenta en este 'paper') es que la clave de esta máquina 'mágica' está en que cuenta con 175.000 millones de parámetros conseguidos de una pantagruélica base de datos de textos de internet que ayudan a aprender y desarrollarse a este modelo. Lo hace a tal nivel que ni siquiera se sabe todo lo que es capaz de hacer ni casi cómo lo hace, y son los propios usuarios los que al probar y testar el modelo en una consola lo van descubriendo. Una versión de los citados asistentes o el 'autocompletar' de nuestros móviles, pero a un nivel brutalmente mayor.

"Tú creas estos programas con la idea del lenguaje natural, de que sean capaces de escribir textos como un humano, de conversar con personas de manera natural en 'chatbots' o desarrollar ideas de forma comprensible y compleja aprovechando todo el conocimiento adquirido y analizando los 'imputs' que recibe. Pero lo cierto es que no sabemos lo que está aprendiendo ahora mismo, cómo razona exactamente para elegir un término u otro y ni siquiera conocemos su límite", apunta el experto.

Con la única directriz de tener que adivinar la siguiente palabra procesando lenguaje natural y la incontable cantidad de datos adherida al modelo, se ha comprobado que este programa es capaz de desarrollar en poco tiempo una idea de un tuit en un largo texto de forma original y que el propio autor humano del mensaje dé su aprobación, pero también es capaz de traducir textos, realizar sumas (a pesar de que no debería saber sumar ni está preparado para ello) o aprender parámetros con uno, dos o ningún ejemplo. "Es normal que a la gente le sorprenda porque a los propios expertos nos pasa. Digamos que una explicación rápida a estos descubrimientos es que como el programa sabe que tiene que dar una respuesta a todo lo que se le plantea, busca entre los parámetros hasta encontrarla, aunque no sea una palabra".

Como a Santana, los resultados también sorprenden a Julio Gonzalo, investigador de la UNED especializado en ciencias computacionales y NLP, que, aunque asegura que hay bastante 'hype' entorno a este último desarrollo y que estamos lejos de llegar a los límites de la teórica inteligencia artificial, esto da muestras de hasta dónde puede llegar. "Este es el primer sistema capaz de resolver tareas en las que se dan unos pocos ejemplos, un único ejemplo, o incluso ningún ejemplo, solo una descripción de la tarea. Curiosamente la arquitectura es muy parecida a la de GPT-2, la mayor diferencia está en la escala tiene 10 veces más parámetros que lo que se había probado hasta ahora".

Según Gonzalo, la escala es fundamental en los resultados. "Al evaluarlo con tareas en las que apenas hay datos de ejemplo han comprobado que es a esta escala a la que pueden empezar a abordarse tareas para las que existen cero, uno o muy pocos ejemplos de entrenamiento. De hecho, hay tareas en las que, entrenando con unos pocos ejemplos, son capaces de igualar el rendimiento de sistemas que han sido entrenados con decenas de miles de ejemplos". Y aquí empieza lo que ambos expertos comentan como la gran revolución bajo el GPT-3 y que puede cambiar la sociedad de forma profunda: el 'deep learning'.

La verdadera revolución es el 'deep learning'

Tanto para Santana como para Gonzalo, el GPT-3 es un nuevo ejemplo de una revolución más profunda y compleja que lleva años despuntando, aunque normalmente no se conozca demasiado sobre ella. "Es un paso más en el proceso de aplicación del 'deep learning' al procesamiento del lenguaje natural, que es ciertamente una revolución en nuestro campo. Lo ha cambiado todo: el rendimiento de los sistemas, el enfoque unificado para casi cualquier problema de NLP, que es un paso firme hacia la comprensión del lenguaje, más allá de aprender correlaciones entre palabras y clases de un problema determinado", apunta Gonzalo.

Santana, por su lado, señala que lo ocurrido con las posibilidades de realizar cálculos o programar de GPT-3 es lo que se conoce en esta rama de conocimiento como 'one shoot learning'. El razonamiento es que si las redes neuronales son similares al cerebro humano deberían poder, como hace el ser humano, aprender a clasificar un objeto sin verlo miles de veces, incluso cuando lo ve por primera vez, usando la memoria de aprendizaje anterior. El GPT-3 muestra que cuando recibe un 'imput' que no conoce acude a su mastodóntica memoria para encontrar una respuesta acorde, aunque nunca lo hayan programado para ello. Pero ¿es este desarrollo algo definitivo y puede incluso competir con el cerebro humano? Todo apunta a que de momento no.

"Todavía necesita de 'imputs' humanos que dirijan sus acciones y razonamientos por lo que todavía está lejos de algo así, pero está claro que es un ejemplo más del camino que se puede llegar a andar. No sé si por ejemplo nos quitarán empleos en el corto plazo, pero seguro que estos modelos cambiarán nuestra forma de trabajar acabando con ciertos procesos. Quién sabe, lo mismo en unos años un periodista ya no tiene que escribir sus artículos o no completamente, sino que puede pensar una idea, comentársela a la máquina, que esta desarrolle un texto original centrado en los conceptos dados y el redactor solo tenga que pulirlo", reflexiona Santana. Sin embargo, la evolución no para y no se conoce el límite.

Gonzalo es algo más escéptico, aunque no duda de que instaurarán cambios. "No conocemos su límite, pero sí está claro que, por increíbles que sean los resultados en determinadas tareas de GPT, estos sistemas no se están ni acercando al concepto de inteligencia artificial general. Están imitando lo que han visto; es una imitación muy sofisticada, pero no conectan lenguaje y significado ni razonan realmente. GPT-3, por ejemplo, fracasa estrepitosamente en problemas de comprensión de textos. En general los sistemas como GPT son capaces de general textos muy fluidos y naturales, pero al leerlos con detenimiento no suelen tener mucho sentido".

Sea o no así, las grandes corporaciones como Microsoft ya han comenzado a sustituir empleados humanos por IA, como es el caso de los periodistas del portal de Microsoft MSN. La misma compañía que financia GPT con más de 1.000 millones para crear IA 'fuerte' anunciaba hace justo un mes que despediría a 27 de sus redactores y que sus portales de noticias empezarían a llenarse de contenido generado por una IA. Y hay quien incluso habla de que podrían sustituir hasta a consultores o analistas. Un futuro por el que se pelean las grandes tecnológicas y que también genera ciertas dudas por las implicaciones morales y éticas de estos conocimientos.

La última dudosa carrera de las tecnológicas

Como explica Santana, tanto se han disparado estas tecnologías que es muy posible que en unos meses ya sea Facebook o Google (a través de su filial Deepmind) superen las capacidades de GPT-3. Las grandes tecnológicas se han puesto al frente de estos desarrollos y cada año gastan millones en sus mejoras. Esto ayuda al progreso de las mismas, pero también genera dudas en torno a cómo debería evolucionar esta tecnología. "Ahora mismo digamos que la estructura de estos modelos está hecha, o sea todo el mundo puede hacer uno porque además los patrones se han ido liberando, pero lo que diferencia a unos de otros es el dinero que tienes para poder escalarlos con capacidad de computación".

Por ejemplo, según detalla Gonzalo, OpenAI se ha gastado casi 5 millones de dólares en entrenar GPT-3. "Se estima que para optimizar los 175.000 millones de parámetros de GPT-3 hay que gastar en capacidad de cómputo unos 4,6 millones de dólares. Además del coste económico, imagínate la huella ecológica". Porque ese es otro problema, para el desarrollo de estas herramientas se necesita una gran cantidad energía que acaba impactando en el medio ambiente. A nivel general, la consultora McKensey calcula que para el año 2020, el mercado de las tecnologías de la información producirá en torno al 3 o 4% de todas las emisiones de CO2 del mundo.

Personal de Tencent, visitando uno de los centros de datos de la compañía. (Foto: Reuters)
Personal de Tencent, visitando uno de los centros de datos de la compañía. (Foto: Reuters)

A estas dudas, hay que sumarle todo lo referente a la buena utilización de estas herramientas, que ya ha generado un gran debate en todo el sector. Si es capaz de escribir textos complejos y originales, ¿por qué no se podría hacer pasar por una persona o inventar historias que todo el mundo creyese ciertas? Ya es más que conocido el caso de los 'deepfakes', y los expertos también son reticentes en este caso. Por ejemplo OpenAI anunció en 2019 que no liberaría del todo su GPT-2 por miedo a una mala utilización del modelo en pleno debate sobre las 'fake news', y ahora está siendo muy reticente a la hora de permitir a usuarios que prueben su potencial.

"Es una pregunta muy buena que no tiene una respuesta fácil. En tiempo de GPT-2, la comunidad de NLP reaccionó con enfado y con escepticismo al mensaje, había simplemente que creerse que habían dado un paso de gigante, sin ninguna explicación ni prueba. Pero por otro lado es verdad que si algo hacen bien estos sistemas es crear textos 'fake': en el fondo no tienen sentido ni están contrastados con la realidad, pero parecen escritos por humanos. Y es verdad que tiene cierto peligro que cualquiera pueda usar una herramienta así", argumenta Gonzalo.

Tecnología

El redactor recomienda

Escribe un comentario... Respondiendo al comentario #1
13 comentarios
Por FechaMejor Valorados
Mostrar más comentarios