Este veterano de la inteligencia artificial explica por qué ChatGPT es "peligrosamente estúpido"

A Gary Marcus le gusta explicar qué piensa de ChatGPT, la inteligencia artificial (IA) que tiene a medio mundo enganchado al teclado, citando a Noam Chomsky. El pensador norteamericano cumplió justo este miércoles 94 años, pero una IA muy similar a ChatGPT le daba por muerto, con fecha de fallecimiento incluida, 28 de diciembre de 2020. "Conozco a Noam, así que le escribí, supuse que le parecería gracioso. Me respondió de vuelta: "¡Estoy muy vivo!". Lo más desconcertante es que la IA se había inventado hasta obituarios publicados en el NYT. Técnicamente, a esto le llamamos alucinaciones, y ChatGPT no se libra", comenta Marcus en una entrevista telefónica con El Confidencial. La inteligencia artificial que muchos califican de revolucionaria imita a las personas hasta en sus defectos, pero Marcus avisa: es de todo menos inteligente.

El estadounidense Gary Marcus (52 años), profesor emérito de la Universidad de Nueva York, es uno de los popes de la IA tan conocido por sus aportaciones (fundó dos empresas de IA, compradas por Uber; ha escrito decenas de papers y 5 libros, el último, Rebooting AI, considerado una de las obras clave), como por sus encarnizadas peleas dialécticas con el francés Yann LeCun, jefe de IA en Meta y el gran visionario mundial en esta materia, ganador en 2018 del equivalente al Nobel en IA, el Turing Award, y Premio Princesa de Asturias este año. "¿LeCun? Es un mentiroso, solo quiere desacreditarme porque muchas de las cosas que dice él ahora las avancé yo primero", dispara.

TE PUEDE INTERESAR

Llevo 48 horas hablando con la inteligencia artificial y quiero vender todas mis propiedades

Carlos Prieto

Su rivalidad es la mejor forma de entender el momento crucial que vive el desarrollo de la inteligencia artificial. LeCun lidera una escuela de pensamiento que ve en herramientas como ChatGPT, creadas a base de agregar billones y billones de datos, la antesala a sistemas que razonen como las personas, lo que se denomina inteligencia artificial general (AGI, en sus siglas en inglés). Marcus, sin embargo, sostiene que ChatGPT no es el camino a seguir para lograr máquinas inteligentes. "Es divertido, te entretienes un rato, pero es como poner a un mono delante de un teclado".

La realidad, de momento, le da la razón a Marcus. Pocos días antes de que la compañía OpenAI estrenara ChatGPT, Meta, con Yann LeCun al frente, lanzó su propia versión, llamada Galactica, capaz de "resumir papers científicos, resolver problemas matemáticos o documentar moléculas y proteínas", según sus creadores. En lugar de todo eso, Galactica vomitaba papers inventados sobre la historia de los osos en el espacio y colaba contenido violento, racista y sexista. Las críticas de la comunidad científica fueron tan contundentes que Zuckerberg tuvo que desconectar Galactica a los tres días. A Microsoft le pasó algo parecido en 2016 con otro chat llamado Tay. Ahora, ChatGPT ha visto la luz y se ha llevado la gloria, pero Marcus sigue sin verlo: "Funciona mejor, va a tener un impacto en la sociedad, pero tenemos el mismo problema: es un sistema peligrosamente estúpido".

PREGUNTA. ¿Por qué ChatGPT ha enganchado a millones de personas en todo el mundo?

RESPUESTA. No lo veo tan diferente de lo que se venía haciendo. Es mejor que la versión anterior, GPT-3, esta no dice tantas cosas ridículas y peligrosas, pero todavía tiene muchos de los mismos problemas que sus predecesores. Lo que desde luego ha sido mejor es el marketing y se ha hecho viral, pero técnicamente no es ningún cambio. GPT-3 ya era muy popular, esto es simplemente una versión algo más pulida.

P. Pero es la primera vez que gente normal y corriente, sin conocimientos técnicos, interacciona y se fascina con una IA. Eso no había ocurrido hasta ahora.

R. Bueno, GPT-3 apareció en las portadas de The Guardian, NYT, The Economist… pero no permitieron a nadie acceder durante dos años. En esta ocasión, han dejado que cualquiera pueda entrar desde el inicio. Es divertido trastear con ello pero, cualitativamente no es tan diferente de lo que ya existía. La gran diferencia son las fronteras que han puesto para evitar que preguntes cosas ilegales, sexistas, racistas… Eso es nuevo, todo lo demás no.

P. Hay ingenieros e investigadores que ven en ChatGPT algo parecido a lo que el iPhone supuso para la industria del móvil o el aterrizaje en la Luna para la exploración espacial. ¿Exageran?

R. Desde luego no es un aterrizaje en la Luna en lo que se refiere a lograr inteligencia artificial general (AGI). Para el usuario medio no es fácil distinguir cuán inteligente es uno de estos sistemas, pero ChatGPT no soluciona ninguno de los problemas básicos que se llevan intentando resolver durante años para conseguir AGI. Primero, no es muy fiable, para una misma pregunta, a veces da información correcta, otras veces no. Segundo, tiene el problema que en IA llamamos alucinaciones, se inventa información y no hay ninguna señal que avise de que se está inventando algo. Inventa incluso referencias bibliográficas. Cuando hablamos de AGI, hablamos de un sistema que está limitado por la realidad, y ChatGPT no lo está.

P. ¿Cómo funciona exactamente ChatGPT?

R. A nivel técnico, funciona agrupando palabras y frases que ha visto antes y tiene almacenadas, pero no entiende el significado de lo que muestra. Tiene un claro problema de confabulación. Por ejemplo, si lo usas para generar mi biografía, acierta algunas cosas y otras no, pero solo lo sabrás si de verdad conoces mi vida. Creo que ChatGPT va a tener un impacto en la sociedad, pero no es una solución para lograr sistemas inteligentes de verdad. No va a servir para los coches autónomos o para los robots domésticos. En realidad, aún no está claro cuáles van a ser las aplicaciones de ChatGPT. La más inmediata es escribir trabajos escolares. Pero mi mayor preocupación es la desinformación, creo que va a acelerar de forma dramática la velocidad a la que se va a producir desinformación. Se va a usar para propaganda, para hacer páginas web fake y engañar a la gente.

P. ChatGPT aprende de cada pregunta que le hacemos. Es decir, estamos ayudando a OpenAI a mejorar de forma masiva su sistema... gratis.

R. Técnicamente, hay dos partes en el sistema. Una está encargada del diálogo y aprende sobre la marcha a perfeccionar las respuestas que ofrece. La otra parte, la gran base de datos que está detrás, solo se entrena una vez durante meses. Es la que predice la estructura del lenguaje humano, y esa es fija. Desde luego, han hecho una operación de marketing brillante para lograr que millones de personas mejoren la parte del diálogo.

P. Elon Musk cofundó OpenAI, la empresa detrás de ChatGPT, pero dejó el proyecto en 2018. Dice que ChatGPT es "preocupantemente bueno" y que "no estamos lejos de lograr IA peligrosamente potente".

R. Hay un significado técnico detrás de IA potente, que es el de inteligencia artificial general, un sistema que puede razonar por sí mismo y entender el mundo. Creo que estamos muy lejos de eso. Que ChatGPT sea peligroso es diferente de que sea una IA potente. Si acaba siendo peligroso o no va a depender de a qué sistema se conecte. Si conectas algo así a la red eléctrica o a un arma, evidentemente, se convierte en una amenaza. El peligro de un sistema así puede venir de cuán inteligente es pero también del poder que se le otorga. Si ChatGPT lleva a una persona ingenua a creer que es inteligente cuando no lo es, ese en sí es el peligro.

Todos estos grandes modelos lingüísticos se inventan cosas, literalmente alucinan, y es un problema inherente a cómo funcionan y han sido diseñados. Escribí un artículo sobre esto, sobre por qué ChatGPT es a veces brillante y otras brutalmente estúpido. Y la respuesta es que coge trozos de texto de aquí y allá, los pega y los reproduce. Pero no entiende la relación entre esos trozos. El ejemplo de dar por muerto a Noam Chomsky es realmente embarazoso, él ha dado múltiples entrevistas y charlas este año, pero el sistema es tan peligrosamente estúpido que no es capaz de entender que la gente que da conferencias no puede estar muerta.

"Si ChatGPT lleva a una persona a creer que es inteligente cuando no lo es, ese es el peligro"

P. ¿Qué pasará cuando ChatGPT se conecte a internet?

R. ¿Puedes coger las respuestas de ChatGPT e integrarlas en otro sistema? Por supuesto, y es posible que ese otro sistema entienda lenguaje natural, realice búsquedas automáticas etc., pero eso no le convertiría en un sistema inteligente de verdad. ChatGPT es como poner monos delante de un teclado. La verdadera misión de la IA es crear un sistema que pueda mirar al mundo y evaluarlo. ChatGPT no hace eso ni está diseñado para lograrlo.

P. Hay quien dice que ChatGPT supondrá una revolución en la educación, los alumnos podrán crear trabajos de 10 en segundos.

R. Esto me temo que es cierto, los colegios e institutos tienen un problema. No sé si hablamos de ensayos y trabajos que puedan obtener un sobresaliente, muchos de los resultados de ChatGPT tienen errores y son superficiales, pero siempre puedes coger el texto que te da la IA en bruto y añadirle cosas, corregirlo, etc. Desde luego, va a cambiar cómo los estudiantes hacen sus deberes y escriben sus trabajos y va a hacer imposible evaluar lo que de verdad el alumno entiende y sabe sobre un tema en una tarea para realizar en casa.

P. Si le preguntas a ChatGPT si es inteligente, te dice "Sí, soy un modelo de machine learning inteligente". ¿Están los creadores de ChatGPT confundiendo a la gente sobre la verdadera inteligencia de este sistema?

R. Es complicado (pausa unos segundos para pensar su respuesta). La página web de ChatGPG dice de forma muy cuidada que el sistema falla pero luego sus responsables dan entrevistas y dejan caer lo cerca que estamos de la inteligencia artificial general y dan la impresión de que hemos progresado en este frente. Es una campaña mediática calculada para hacernos pensar que estamos cerca de la AGI, que hay más de lo que en realidad hay.

P. Usted tiene dudas sobre ChatGPT, pero parece recíproco. Si le pregunto al sistema si Gary Marcus es uno de los investigadores de IA de referencia a nivel mundial, responde que "no lo tiene claro". Si le pregunto por Yann LeCun, no duda ni un milisegundo, "Sí, lo es".

R. (Risas). Hay un montón de ejemplos de gente que nos ha puesto a Yann LeCun y a mí a hablar en ChatGPT, y en algunos gano la conversación, en otros no . No me tomo nada personal, sea positivo o negativo.

P. Mantiene con Yann LeCun una gran rivalidad. ¿También respecto a ChatGPT?

R. Bueno, LeCun acaba de dar una charla en la que asegura que este tipo de modelos son solo soluciones a corto plazo para la misión de la IA, pero no una solución a largo plazo. Escribió también un paper en el que argumenta por qué no podemos entender el mundo solo mediante el lenguaje. A pesar de que LeCun y yo no estamos de acuerdo en muchas cosas, diría que en este caso estamos bastante de acuerdo, ambos decimos que herramientas como ChatGPT son interesantes pero no están bien fundadas ni entienden el mundo que les rodea.

P. Usted argumenta que el desarrollo actual de la IA se ha estancado, LeCun y otros investigadores sostienen todo lo contrario.

R. Sí, ahí diferimos mucho. Creo que las técnicas actuales son muy limitadas. Hace unos meses escribí un ensayo sobre esto, titulado Deep Learning is hitting a wall, y sigo pensando lo mismo, es justo lo que le ocurre a ChatGPG. Los sistemas actuales sufren problemas de composicionalidad, son incapaces de entender un todo en función de sus partes. LeCun conoce estos problemas y creo que estaría de acuerdo en admitir esto, pero él piensa que la tecnología de deep learning será la solución. Yo creo que, incluso si esto fuera así, desde luego no son las técnicas de deep learning que conocemos hoy, que no han sido capaces de procesar el conocimiento abstracto.

P. En sus ensayos argumenta que los creadores de IA deberían desarrollar sistemas capaces de razonar y procesar el sentido común, en lugar de simplemente añadir más y más datos, que es el enfoque de herramientas como ChatGPT. ¿Cómo se consigue eso en la práctica? ¿Cómo se crea una IA capaz de razonar de verdad?

R. Nadie sabe cómo hacerlo. Es la gran pregunta. Estamos en 2022 pero somos muy arrogantes sobre la tecnología actual, pensamos que todas las respuestas están a nuestro alcance, pero si miras a la historia de la ciencia, hay muchos problemas que tardan muchos años en solucionarse, y este es uno de ellos. Si hubiéramos vivido a comienzos del 1800, sabríamos que había una base física sobre la genética, pero nadie sabía cuál era esa base. Todo el mundo pensaba que era una proteína, y al final resultó que todo el mundo se equivocó, era este extrañó ácido llamado ADN. Eso solo se logró entender a partir de 1940 y, sobre todo, en los 50 y 60, cuando se completó una secuencia de ADN. Creo que estamos en un momento muy parecido respecto a la inteligencia artificial. Estamos muy lentamente empezando a darnos cuenta de cuáles son los problemas, pero no tenemos aún una teoría de cómo conseguir sistemas que razonen como los humanos.

P. Puede que crear inteligencia artificial que iguale a la de una persona sea algo imposible de conseguir...

R. Tampoco lo sabemos todavía. Hace poco publiqué un paper en el que medía la capacidad de razonamiento basado en el sentido común de varios sistemas de IA que habían sido entrenados a base de ver cosas que ocurren en el mundo real. Todos eran terribles en pruebas que cualquier niño de 3 años sabría resolver. Esta idea de que los sistemas van a aprender a base de echarles billones y billones de datos no es correcta. Vamos a necesitar, y aquí es donde LeCun y yo no estamos de acuerdo, algún sistema de conocimiento incorporado sobre cómo funciona el mundo. Tendríamos que empezar por sistemas de IA que ya sepan que existen objetos, humanos, lugares, abstracciones… y que sean capaces de observar el mundo en relación a todo eso. Lo que hacemos hoy es partir de una hoja en blanco a la que le volcamos toneladas de datos, y no está funcionando.

P. Paul Buchheit, el creador de Gmail, ha dicho que ChatGPT es una enorme amenaza para Google. "Está a uno o dos años de una disrupción total", ha dicho. "La IA eliminará la página de resultados de búsqueda, que es de donde viene la mayoría de su ingresos".

R. Creo que se equivoca, pero no lo puedo asegurar. Con Google buscas algo y te da 10 páginas web, sabes que esas webs pueden ser útiles o no, pueden contener desinformación, pero tú puedes evaluar por ti mismo. Con ChatGPT lo que obtienes se parece más a una página de la Wikipedia y, desgraciadamente, parte de ese contenido va a ser erróneo. En lugar de dejarte a ti evaluar qué es bueno y qué no, decide por ti y te lo da todo hecho. Dependiendo de lo que quieras hacer, si estás buscando ideas para un artículo o un guion, puede estar bien. Pero si quieres hechos, que es para lo que yo al menos uso un buscador, algo como ChatGPT no lo veo muy útil. Dicho esto, no sé cómo va a reaccionar el resto de la gente. Al final va a ser una cuestión de qué quieren los usuarios.

"Google debería preocuparse por ChatGPT, pero no entrar en pánico"

P. ¿No cree que el interfaz que ofrece ChatGPT para buscar información en comparación con Google, que se basa en enlaces enterrados y escondidos en publicidad, es mucho más conveniente?

R. Sí, tiene algo bueno, que ya está destilado y compilado, no tienes que hacer nada. Pero también incluye mucha desinformación o datos falsos directamente. La mayor consecuencia que mí me preocupa es que los bots de propaganda van a usar estas herramientas para generar desinformación. Podemos llegar a un mundo dentro de un tiempo en el que la gente ya no va a saber qué creer.

P. ¿Debería Google preocuparse?

R. Creo que deberían preocuparse, pero no entrar en pánico. Algunas de estas tecnologías como las que usa ChatGPT las han inventado ellos. Si al final resulta que es una forma más útil de mostrar la información, no empiezan de cero, todo lo contrario. Estoy seguro que ya han probado con este tipo de herramientas y el resultado no ha sido satisfactorio. Te doy un ejemplo: esta mañana alguien me envió su biografía reproducida por ChatGPT en el que se inventaba que tenía una esposa, cuando su esposa había fallecido. No sé qué van a preferir los usuarios, quizás al final un porcentaje importante prefiera este tipo de interacción y Google pruebe algo así. Nadie lo sabe.

P. ¿Y Facebook?

R. Ellos tienen la misma tecnología. Nadie se acuerda, pero hace solo 2 semanas, Meta lanzó este sistema de IA llamado Galactica, muy, muy similar a ChatGPT y duró solo 3 días. Mostraba tanta desinformación y errores que lo tuvieron que cancelar. Yann LeCun está cabreado conmigo por esto, pero yo simplemente señalé algunos de los problemas. No trabajo en Meta, no fue mi decisión retirarlo. Es muy embarazoso para su equipo de IA que Galactica haya sido gestionado tan mal que hayan tenido que retirarlo. Imagino que los accionistas de Meta se estarán preguntando por qué OpenAI se está llevando toda la gloria cuando ellos han puesto todo el dinero. OpenAI se está llevando la gloria cuando ellos han puesto todo el dinero.

P. Mencionaba que ChatGPT hace un buen trabajo evitando mostrar contenido violento, racista o sexista. Algunos investigadores de IA dicen que eso es censura, otros lo llaman ética.

R. Siempre va a haber un ingeniero, un programador, una persona, que tome decisiones sobre qué debe hacer o no una IA. Es igual que cuando educamos a un niño, queramos o no, le imprimimos unos valores. Cuando creamos máquinas hay que tomar decisiones éticas. Llamar a esto censura es solo una forma de manipular la conversación sobre cuáles deben ser esos valores.

P. Hemos visto recientemente este mismo debate con Elon Musk y Twitter. Musk dijo que compraba Twitter para liberarlo de la censura de la izquierda, pero él mismo luego toma las decisiones de qué contenido se muestra y cuál no y qué cuentas veta y cuáles no.

R. Sí, exacto, Musk dice que representa la libertad de expresión, pero luego cancela la cuenta de Kanye West, algo que creo que fue lo correcto. La realidad es que si no tienes ningún tipo de política ni de ética al respecto, al final tienes a nazis y todo tipo de indeseables publicando mentiras. Lo que nos demuestra la experiencia de Musk con Twitter es que es imposible que todo el mundo esté contento, pero también que es imposible no hacer nada. No puedes no hacer nada. Él se dio cuenta a los pocos días que eso no era viable, todos los anunciantes se le estaban yendo.

El de Musk y Twitter y la ética y la IA son debates paralelos. ¿Debe un chat de IA evitar mostrarte contenido violento? ¿Te debería poder sugerir que te suicides? Tienes que tomar decisiones. Mi elección sería eliminar contenido u opciones que puedan hacer daño a las personas. No quiero que un chatbot le diga a alguien cómo quitarse la vida o fabricar una bomba. Si no pones filtros en estos sistemas, pueden llegar a ser muy dañinos. Y como imitan tan bien a la condición humana, la gente va a acabar influenciada por ellos. Muchos se acabarán enamorando de ChatGPT, incluso aunque está diseñado para evitar que eso ocurra.

El chiste del borracho buscando las llaves bajo la luz de una farola describe muy bien qué pasa hoy con la IA

P. Sam Altman, el fundador de OpenAI, dice que ChatGPT es "increíblemente limitado" y que sería un "error confiar en ello para cualquier cosa importante. Es una previsualización del progreso". A la vez, asegura que estamos a solo una década de conseguir la inteligencia artificial general (AGI).

R. Puede ser, aunque creo que es más posible que no ocurra. No creo que las herramientas actuales sean las que necesitamos para llegar ahí, aunque pueden ayudar. Es como ese viejo chiste del borracho buscando las llaves bajo la luz de una farola, las llaves no están ahí, pero es donde está la luz. Describe muy bien lo que está pasando en el campo de la IA.

No podemos llamar a algo AGI si no entiende lo que ocurre en el mundo, y es muy evidente que todo lo que se ha creado hasta ahora no lo entiende. Pueden cambiar muchas cosas en 10 años, se está invirtiendo muchísimo dinero, pero mi historial siendo un cínico ha sido bastante bueno. En 2016, por ejemplo, dije que los coches autónomos eran mucho más complejos de lo que pensábamos, y que el software de IA sería la clave del problema, y eso es exactamente lo que ha ocurrido. Se han invertido ya 100.000 millones en esta industria, seguimos sin tener coches autónomos por completo y Apple acaba de retrasar su proyecto a 2026. No he hecho ninguna predicción de cuánto tardaría un sistema en engañar a una persona usando solo el lenguaje. No creo que estemos cerca de obtener sistemas inteligentes de verdad, quizás en 10 años estemos bastante cerca.

P. ¿Cómo sabremos que hemos conseguido replicar la inteligencia humana en una máquina?

R. No estoy seguro. Es cierto que no tenemos una buena forma de medirlo, pero hay opciones. En 2014 propuse una técnica que creo que sería válida, aunque no barata. Se trata de un reto de comprensión en el que ves una película o lees una novela, y luego le preguntas cosas al sistema. ¿Quién hace qué? ¿Por qué lo hacen? Cuando ponen la pistola sobre la mesa, ¿cuál era la intención? Todas estas cosas que una persona entiende al ver una película, cuando hay un giro de guion, o el bueno resulta ser el malo. Cuando haya una IA que de forma consistente entienda esto, como podría hacer un niño de 10 años, entonces estaré impresionado. Eso para mí sería una muestra de AGI. Aún no estamos ahí.

P. ¿Le preocupa que un sistema así acabe controlado por grandes corporaciones como Google, Meta o Amazon?

R. Mire lo que ocurrió con Meta en el último mes y su ChatGPT, Galactica. Cientos de investigadores avisamos de que podría ser una poderosa herramienta de desinformación, y una única persona, Yann LeCun, dijo que no, que no habría ningún impacto negativo. Si él acierta, fantástico, pero si falla, no hay ninguna forma de evitar ese impacto. Es un proceso autocrático que puede afectar a las vidas de miles de millones de personas, así que no, no creo que sea un buen sistema.