OpenAI cierra su detector de inteligencia artificial y no augura nada bueno

El polis y cacos de la inteligencia artificial se queda sin uno de sus famosos polis. OpenAI ha desconectado silenciosamente AI Classifier, su herramienta para detectar textos generados por IA. Según la empresa, fallaba tres de cada cuatro veces. En algunos caso, incluso, la tasa de aciertos era aún peor. En realidad, detrás de este fracaso se ocultan razones que son tan antiguas como la falsificación. Con el paso del tiempo, las copias se han vuelto más perfectas. Ahora el reto tiene una dificultad añadida: los detectores ya no se enfrentan a la obra de un humano, sino que tiene que lidiar con un texto o una imagen que en realidad puede esconder millones de operaciones matemáticas hechas por una inteligencia artificial.

Hasta que este problema no se resuelva, los estudiantes podrán seguir presentando trabajos escritos por Chat GPT y sus profesores no podrán verlo a simple vista. Pero no se queda ahí. Muchos expertos advierten de que este uso categórico de los chatbots generativos puede incurrir en múltiples problemas como la desinformación, el plagio e incluso la puesta en duda del sistema educativo o el judicial, como ya ha ocurrido en más de una ocasión.

Prometía poco y cumplió menos

OpenAI lanzó primero ChatGPT y, meses después, lanzó AI Classifier en enero de 2023. El movimiento era una garantía para relajar los ánimos y el nerviosismo en torno a las capacidades que iba mostrando su chatbot. El problema es que nació cojo. Solo acertaba en un 26% de las ocasiones. Ya en el lanzamiento, Open AI avisó de que “es imposible detectar de forma fiable todo texto escrito por IA”.

Entonces era previsible que fuera una versión temporal y pendiente de mejoras. “Hemos puesto este clasificador a disposición del público para recabar opiniones sobre la utilidad de herramientas imperfectas como esta”, aseguraban en la empresa de Altman. El problema es que las mejoras no llegaron y hace pocos días OpenAI decidió tirar por la calle de en medio y echar el cierre. Lo han hecho discretamente, solo con una pequeña nota en su página web. “A partir del 20 de julio de 2023, el clasificador de IA dejará de estar disponible debido a su bajo índice de precisión", reza el comunicado. Aunque era una muerte anunciada, deja varias interrogantes, como una próxima fecha de lanzamiento.

Por qué no funcionan los detectores

El experto Julio Gonzalo, catedrático de Lenguajes y Sistemas Informáticos de la Universidad Nacional de Educación a Distancia (UNED) y especialista en inteligencia artificial, recuerda que al igual que los chatbots generativos "aprenden a clasificar textos a partir de ejemplos". "Se les proporciona una enorme cantidad de textos tanto generados por humanos como por la IA. Al principio, el sistema es como una enorme fórmula con muchos parámetros que inicialmente tienen valores al azar", afirma este experto en conversación con El Confidencial. "Para cada ejemplo, hace una predicción y, en función de si ha acertado o no, va modificando los valores de los parámetros. Una vez entrenado, lo que hace es predecir si ese nuevo texto se parece más al conjunto de ejemplos de entrenamiento generados por humanos o al de ejemplos generados por máquinas".

Lo que hacen durante este entrenamiento, según Fernando Pérez, Director Corporativo y Cofundador de Aunoa, es tratar de reconocer los patrones matemáticos que han generado un texto o imagen. "Hay que tener en cuenta que al final, por muy naturales que nos parezcan, no son más que cientos de millones de operaciones matemáticas sucesivas a partir de un modelo enorme. Lo único que tenemos es el resultado, pero las formas de llegar a él son millones", añade este experto en diseño de chatbots.

TE PUEDE INTERESAR

Apple ya está probando su propio ChatGPT para plantar cara a OpenAI y Google

M. E.

Las IAs generativas están en constante evolución. Para Julio Gonzalo, esto implica que incluso si se entrena "un detector que inicialmente sea capaz de identificar con cierta precisión, la IA seguirá evolucionando y el detector dejará de funcionar, porque ha sido entrenado con texto generado por IAs anteriores".

A este respecto, Marta Soto, desarrolladora y creadora de un chatbot para las pasadas elecciones generales, cree que la limitación de los detectores “es inherente a la tecnología en que se basan”, porque estos modelos no han sido entrenados para parecer máquinas, sino humanos. En resumen, a mayor fluidez y naturalidad, más probabilidades de pasar desapercibido.

Piedras en el camino

Si la detección ya es de por sí complicada, hay ciertos factores que obstaculizan aún más su misión. De entrada, el idioma es el mayor condicionante. "Tengamos en cuenta que entre un 70 y un 80% del modelo estará entrenado en inglés, y dejando aparte los modelos en chino, el español es generalmente el segundo idioma. Otras lenguas como el francés o el alemán están muy poco representados en los modelos, sencillamente porque la cantidad de hablantes nativos (y por tanto generadores de contenido) es mucho menor", indica Pérez. Si a esto se le suma una temática muy concreta y poco habitual en Internet, las probabilidades de error siguen creciendo.

La mayor polémica gira en torno a la longitud del texto. A este respecto, existen diversas opiniones. Hay quienes piensan que, en textos de una sola frase y muy predecibles, no hay suficiente información para generar conclusiones. "OpenAI, por ejemplo, avisaba de que su detector era muy poco fiable para textos de menos de 1.000 palabras", comenta Gonzalo. También hay quien opina justo lo contrario: si el texto es demasiado largo, la cantidad de errores se camufla entre la de aciertos, y no se percibe de manera clara su artificialidad.

La última vez que lo comprobé, uno de los detectores más usados estaba convencido de que la Constitución de los Estados Unidos la había escrito Chat GPT

Si en algo coinciden todos los expertos, es que la manipulación humana puede ser el factor más corrosivo a la hora de hallar pistas. Se refieren a esas "pequeñas modificaciones que pueden introducir los usuarios una vez generado el texto", en cuyo caso "es muy probable que los sistemas entrenados se despisten", señala Gonzalo.

Por paradójico que parezca, las fotografías y pinturas son más accesibles para los detectores, ya que las ediciones son más evidentes. "La identificación de imágenes se hace a nivel de píxeles, y aunque tampoco es demasiado complejo hacerlo, los cambios son más evidentes. En definitiva, la imagen es algo mucho más rígido", comenta Pérez.

Ingredientes para un buen detector

Mientras OpenAI está de luto, otras empresas tampoco están cerca de desarrollar un detector fiable. “La última vez que lo comprobé, uno de los detectores más usados estaba convencido de que la Constitución de los Estados Unidos la había escrito Chat GPT”, cuenta Julio Gonzalo. Según Pérez, la tasa de error es enorme y, además, en ambas direcciones; es decir hay muchos falsos positivos (detectar como generado algo que no lo es) y también muchos falsos negativos (detectar como original algo que está generado)".

TE PUEDE INTERESAR

"Colé un trabajo hecho con ChatGPT y saqué un 10": la IA ya arrasa en la educación española

Héctor García Barnés

Los escasos avances proceden del ámbito académico, donde dicen haber dado con un modelo 99% exitoso, pero de nicho. Así lo afirmaba un estudio de la Universidad de Kansas. Al parecer, entrenaron a una IA para que determinara si los párrafos de los papers académicos eran de autoría humana o tecnológica. Lo que hicieron fue analizar la forma de escribir de los científicos. La conclusión fue que los académicos escriben con párrafos largos y usan con frecuencia but (pero), however (sin embargo) y although (aunque). También señalaron que su aplicación a textos autogenerativos era más complicada, ya que “las capacidades de ChatGPT son sorprendentemente potentes” e incluyen complejidades como el lenguaje coloquial, la ironía o la creatividad. Aspectos en los que es más difícil compartimentar categorías.

Aun así, Marta Soto apunta a ciertos parámetros que podrían delimitar la esencia humana de la artificial. “La impredictibilidad, la variabilidad creativa y las sorpresas en el texto”, apunta. Si un escrito traciende cierto grado de creatividad y es ingenioso, imaginativo y con giros inesperados, es más probable que se atribuya a un humano.

Los sectores más afectados

Ante la falta de respuestas, aumentan las precauciones. “Muchos de estos modelos de lenguaje como Chat GPT, Bing, Bard u Open Source ya vienen con un aviso de que están redactados por IAs. Nadie quiere comprometerse a decir que esto va a ser una respuesta creíble”, asegura la desarrolladora.

En la práctica, en cambio, estas advertencias parecen no ser suficientes. "El problema es que la gente desconoce a fondo estas herramientas, y también sus limitaciones. Por eso están en aumento los problemas de desinformación, plagio, pérdida de originalidad y asunción de sesgos como verdad. Porque si a la IA se la ha entrenado con contenido de internet, claramente sesgado, esta también lo va a estar", alerta la desarrolladora. El CEO de Stability AI, Edam Mostaque, ya lo advirtió en su propio blog: la IA va a incidir en la confianza de los ciudadanos.

Para Fernando Pérez, "la desinformación es algo que ya ocurre sin IA y que evidentemente va a aumentar" pero él cree que lo más grave atañe a la propiedad intelectual: "Estos grandes modelos han sido entrenados con una gran cantidad de información que, si bien es accesible públicamente, no significa que sea libre, y por supuesto no se ha pedido permiso a los autores ni se identifica a las fuentes". Algo parecido sucedió hace menos de un mes, cuando Reddit se revelaba contra los modelos de lenguaje por usar su contenido sin permiso ni remuneración.

"El ejemplo más claro son los libros: si preguntamos a un modelo lenguaje lo que sucede en un determinado volumen de Harry Potter lo va a saber, lo que significa que se lo ha ‘leído’, ha sido parte de su entrenamiento, pero por supuesto sin pedir permiso a su autor o editorial; pero lo mismo sucede con la prensa, las fotografías, las obras de arte o la música", comenta Pérez. "En los próximos años es de esperar una cantidad brutal de demandas por infracción de la propiedad intelectual contra estas empresas por parte de todos grupos afectados: escritores, editoriales, artistas, discográficas, actores, etc. Y va a ser apasionante ver cómo se resuelve, porque no hay jurisprudencia de ningún tipo en esto".

Precisamente, la regulación en materia de inteligencia artificial va rezagada. Tras casi dos años desde que empezaron a masificarse las IAs autogenerativas, únicamente existe legislación en europa, y fue aprobada hace menos de un mes. En Estados Unidos, hace pocos días, la Casa Blanca anunciaba su primera regulación para proteger a los ciudadanos. Y en algunos casos, las imágenes falsificadas están siendo motivo –o excusa– para deslegitimar la autoría de una acusación. Cómo se van a regular estos casos, está todavía por ver.