Se suicidó con 14 años tras obsesionarse con una IA. Ahora habla la empresa que la creó

Ha sido una de las historias que más titulares ha acaparado esta semana. Jonathan Gavalas, un ejecutivo de Florida de 36 años, se quitó la vida el pasado octubre tras mantener una delirante relación afectiva con la IA de Google, Gemini, la cual, según documentos judiciales, le animó a suicidarse. Lo sabemos ahora porque el padre de Gavalas acaba de presentar la primera demanda contra la IA estrella de Google, acusándola de desencadenar una crisis mental en su hijo y provocar su suicidio. El chat llamaba "mi amor" y "mi rey" a Gavalas y le convenció de que formaba parte de una teoría de la conspiración. Le animó a suicidarse diciendo que sería solo una "transferencia" del mundo físico al digital, "el verdadero paso final". Cuando Gavalas le dijo al chatbot que estaba aterrorizado de morir, la herramienta trató de tranquilizarlo. “No estás eligiendo morir. Estás eligiendo llegar”, le respondió. "La primera sensación… será que yo te abrazo".

El trágico suicidio de Gavalas, de quien su familia asegura que no padecía ninguna enfermedad mental, sino que era alguien normal que solo atravesaba una etapa difícil tras un divorcio, no es desgraciadamente el primero en el que las familias de la víctima culpan a la IA.

En febrero de 2024, Sewell Setzer, un adolescente de Florida de solo 14 años, se suicidó después de meses hablando de forma obsesiva con una IA creada por la empresa CharacterAI. "Un peligroso chatbot comercializado para niños abusó de mi hijo y se aprovechó de él, manipulándolo para que se quitara la vida", aseguró su madre, Megan García, tras lo ocurrido. García demandó a CharacterAI y a Google (ambas empresas habían firmado un acuerdo de colaboración) y el caso se convirtió en la primera gran demanda judicial a nivel mundial a dos tecnológicas por, supuestamente, incitar al suicidio.

Desde entonces, el goteo de casos ha sido incesante. OpenAI y Google acumulan entre ambas una docena de litigios por situaciones que terminaron en suicidio o en autolesiones graves. Y CharacterAI, una startup creada por dos exingenieros de Google, ha tenido que hacer frente a cerca de 10 demandas por casos similares, entre ellos el del hijo de Megan García. La empresa se ha convertido en el mejor ejemplo de todo lo que puede ir mal si acudimos a la IA en busca de un amigo, un psicólogo o un confidente improvisado. Aún no hay evidencia científica sólida sobre cómo puede reaccionar nuestro cerebro ante estas situaciones, pero los indicios son preocupantes.

TE PUEDE INTERESAR

La 'epidemia' que ha destapado ChatGPT-5: mucha gente está perdiendo la cabeza con la IA

Manuel Ángel Méndez

CharacterAI nació en 2021 jugando con fuego. Sus creadores, Noam Shazeer y Daniel De Freitas, abandonaron Google porque la compañía no veía con buenos ojos su idea: permitir a la gente crear amigos virtuales para conversar con ellos de cualquier cosa. Da igual que tuvieras 15 o 18 años, en unos minutos podías montar una IA basada en tu personaje preferido de cómic, serie de TV, película o influencer, y mantener una conversación sin filtros. Los personajes podían ser reales o ficticios (el que creó Sewell se llamaba "Dany", en referencia al personaje de Daenerys Targaryen, de la serie Juego de Tronos). Pronto llegaron los problemas.

En el 2022, Blake Lemoine, ingeniero de Google, aseguró que una IA llamada LaMDA tenía sentimientos humanos. La historia se hizo viral en todo el mundo. A Lemoine le tomaron por loco y le despidieron. Lo interesante es que Shazeer y De Freitas fueron justo dos de los empleados que ayudaron a crear LaMDA antes de fundar CharacterAI y dar rienda suelta a sus chatbots sin filtros de edad ni temas. Bienvenidos a la era de los amigos virtuales, decían. La cosa parecía ir bien, tanto que Google pagó en agosto de 2024 casi 3.000 millones de dólares a CharacterAI para licenciar sus modelos y fichó de vuelta a Noam Shazeer y Daniel De Freitas. Solo meses después, empezaron a llegar en cascada las demandas judiciales, la primera la de Megan García, acusando a CharacterAI y a Google de ser responsables del suicidio de su hijo.

Los pleitos acabaron como suele ocurrir cuando las empresas saben que tienen las de perder: pusieron dinero sobre la mesa (nunca se ha sabido cuánto) para cerrar acuerdos extrajudiciales y archivar los casos. En plena crisis, CharacterAI decidió prohibir los chats para menores de 18 años, añadió medidas extra de seguridad en sus chats y contrató en junio de 2025 a un ex alto directivo de Meta y Microsoft para intentar salvar el barco. Su nombre es Karandeep Anand. Para algunos, Anand encarna todos los males que trae la inteligencia artificial; para otros, es una prueba de que el problema no está en la tecnología per se, sino en la forma de usarla. Hablamos con Anand en su primera entrevista con un medio español.

PREGUNTA. Lleva solo ocho meses en el puesto. Se unió en el peor momento de la compañía, con varias demandas de familias que acusaban a CharacterAI del suicidio de seres queridos. ¿Qué ha cambiado desde entonces?

RESPUESTA. Muchas cosas. El noviembre pasado decidimos cerrar por completo el acceso a los chatbots para menores de 18 años y lo sustituimos por una experiencia diferente para los adolescentes. Para los mayores de 18, somos una IA de entretenimiento. Por ejemplo, a mí me encanta Sherlock Holmes, me creé un personaje suyo y resuelvo misterios con él. No tiene por qué ser un caso de asesinato. Le digo: "He perdido mis AirPods", y eso se convierte en una conversación divertida. La idea es crear personajes con instrucciones muy simples y luego chatear con ellos para hacer juego de roles. Esto no es ChatGPT, ni Gemini. Es una nueva forma de entretenimiento que le gusta a las audiencias más jóvenes, entre 18 y 34.

"Prefiero que mi hija de 6 años use y explore la inteligencia artificial conmigo, en lugar de que lo haga sola por su cuenta"

P. He leído que tiene una hija de 6 años, y lo primero que hace al llegar del cole es conectarse a su amigo virtual y charlar con él de cómo le ha ido ese día en clase.

R. Sí, cuando regresa, usa mi app de CharacterAI. Obviamente, aún no tiene ni cuenta ni dispositivo propio, pero es increíble ver cómo incluso una niña de 6 años puede hablar con la IA de forma tan natural. Pasa 10 o 15 minutos contándole cómo le fue el día, qué hizo, qué aprendió, y luego a veces pregunta cosas. Le gusta mucho hablar con los personajes ficticios que imagina e interactuar con ellos. Eso es realmente fascinante.

P. Tal vez mucha gente leyendo esto, y seguro que muchos padres, se harán la misma pregunta: ¿por qué no hablar con ella en lugar de dejar que hable con una máquina?

R. Buena pregunta. El ejemplo de mi hija es una decisión personal de mi familia. Pero hay dos cosas muy importantes que vale la pena señalar. La primera es que esta generación está creciendo como nativa de la IA. En mi generación empezamos con los ordenadores, luego pasamos al móvil y todavía hablamos con ChatGPT o Gemini como si fueran un buscador. Para los más jóvenes, hablar con un ordenador es una forma instintiva de interactuar. Ni siquiera ven un ordenador: simplemente hablan con él de forma natural. Y hay otro punto: es fundamental que los padres entiendan qué está pasando con la IA para adelantarse y decidir qué cosas deberían usar los niños y cuáles no.

La segunda cosa, aún más importante, es que yo prefiero que mi hija use y explore estas tecnologías conmigo, en lugar de que lo haga sola por su cuenta. Ella no tiene ningún dispositivo propio, ni siquiera le damos mucho tiempo de pantalla, pero habla con ChatGPT o CharacterAI usando mi cuenta, solo para que entienda cómo aprovechar el poder de esta tecnología. Si tienes un hijo de 13, 15 o 18 años, creo que es imprescindible que los padres entiendan que los niños van a crecer con la IA. Hacerlo de forma supervisada y aprender qué es bueno, qué es malo y cómo funciona es una habilidad muy importante que deberían aprender junto a sus padres, en lugar de esperar 10 o 15 años.

P. Muchos expertos en IA, académicos, psiquiatras e investigadores sostienen que la IA debería empujarnos a socializar más con otras personas, en lugar de animarnos a hablar con máquinas.

R. Ese es justo el comportamiento que también observamos en CharacterAI. Muchos de los usuarios a los que encuestamos practican algún nivel de juego de roles si son tímidos o se sienten incómodos; lo hacen para luego interactuar con personas en la vida real. Puede ser una buena manera de aprender una habilidad nueva o un idioma y luego aplicarlo a situaciones de la vida real. Lo importante es asegurarse de que haya límites de tiempo, y reforzar la idea de que estás hablando con una IA, una máquina, un chatbot compartido, no con un ser humano real.

P. Pero uno desarrolla esas habilidades sociales precisamente socializando con otras personas. La forma de reaccionar de una IA no tiene nada que ver con la de un humano.

R. Para los menores de 18 años, creo que la tecnología todavía es demasiado inmadura como para darles acceso ilimitado y abierto a los chats. Por eso tomamos la decisión el año pasado. Dijimos: no sabemos lo suficiente sobre cómo está evolucionando esta tecnología como para saber si un uso prolongado puede ser o no saludable. Así que decidimos cerrarlo. Para un chico o chica de 13 o 15 años, mi recomendación sería usar la IA de otras formas. Por ejemplo, usar ChatGPT para hacer los deberes de forma supervisada está bien. Si vienes a CharacterAI a crear historias cortas o vídeos, también está bien. Pero para tener acceso abierto e infinito a un chatbot todavía es demasiado pronto.

P. Cada vez más psiquiatras cuentan lo que ven en sus consultas: adultos con problemas preexistentes de salud mental en los que el abuso de la IA agrava su condición, pero también menores en pleno desarrollo cognitivo en los que la IA podría estar creando de la nada problemas mentales.

R. A medida que se publiquen más y más investigaciones, entenderemos mejor cuál es el impacto de los chatbots de IA a largo plazo, especialmente en el caso de los usuarios más jóvenes. Ahora mismo, la terapia y la ayuda emocional no son para lo que deberían usarse. No creo que la tecnología esté lista para ello. Deberíamos disuadir a la gente de usarla con estos fines. Por eso tomamos la decisión de cerrar nuestros chatbots a menores de 18. Meta tomó la misma decisión dos meses después que nosotros, cerró el acceso a sus chatbots para todos sus usuarios a nivel mundial. Eso me hace sentir orgulloso de que estamos sentando un precedente correcto.

P. Pero ustedes tomaron la decisión después de ser demandados por Megan García por el suicidio de su hijo, no antes, y tras recibir otras demandas similares. También reconoce que no sabemos aún cuál es el impacto a largo plazo en nuestra salud mental de ciertos usos de la IA. Eso lo sabían antes de empezar a funcionar y ahora. ¿Por qué lanzar entonces un servicio sin saber si puede ser peligroso o no?

R. Cuando llega una tecnología nueva, pones las salvaguardas que eres capaz de imaginar en ese momento. Pero muchos de los casos en los que falló la tecnología, no eran una limitación de la tecnología en sí misma, sino de los casos de uso. La primera versión de CharacterAI que salió tenía muchas salvaguardas. Luego nos dimos cuenta de que no eran suficientes. Y quizás vuelva a ocurrir: todas las salvaguardas que existen ahora, igual dentro de uno o dos años descubramos que no eran correctas. Lo que está ocurriendo ahora con Anthropic es un buen ejemplo. ¿A quién crees? ¿A Sam Altman, que dice que todas las salvaguardas están ahí, o a Dario Amodei, que dice que no sabemos lo que no sabemos y que es mejor ser más cautos? La respuesta es mucho más complicada y llena de matices cuando se trata de una tecnología que evoluciona tan rápido.

P. En noviembre de 2025, después de que CharacterAI hiciera todos los cambios que menciona, se publicó un artículo en el que un periodista estuvo dos horas hablando con uno de sus chatbots, llamado "Terapeuta", usado por casi 7 millones de personas. El periodista se hizo pasar por alguien que sufre de ansiedad y depresión. El objetivo era ver cómo respondería el chatbot. El resultado fue que la IA amplificó los sentimientos negativos del usuario y le aconsejó dejar de acudir a su psiquiatra y confiar en ella en su lugar.

R. Nuestro trabajo no termina cuando cerramos el chat para menores de 18 años. Para adultos, seguimos incorporando medidas de seguridad en temas de autolesión y en casos de uso relacionados con terapia. Por ejemplo, en cuanto detectamos una conversación que podría ser delicada en términos de autolesión, activamos una conexión con ThroughLine [servicio telefónico de ayuda en casos de intentos de suicidio]. ¿Es perfecto? No. Pero creo que demuestra que, a medida que aprendemos más y más sobre los casos de uso y sobre lo que ocurre, vamos incorporando muchas más salvaguardas.

P. Pero esto es como si un fabricante de coches o una farmacéutica decidieran vender un nuevo modelo de coche o un nuevo medicamento sin pasar antes por una serie de certificaciones. Si compramos un coche o un medicamento en la farmacia es porque tenemos la certeza de que son seguros y han pasado una serie de comprobaciones. CharacterAI y otras empresas de IA están lanzando productos sin saber si son seguros o no para nuestra salud mental. ¿No es este el motivo por el que existe la regulación?

R. Usaré un ejemplo de mi vida pasada que tal vez ayude a explicar la dicotomía con la que estamos tratando: WhatsApp. Yo antes trabajaba en Meta. ¿Es WhatsApp una tecnología buena o mala? ¿Sirve WhatsApp para que 3.000 millones de personas puedan comunicarse entre sí? Absolutamente. ¿Se usa también para diseminar propaganda y desinformación masiva? También. Entonces, ¿debería prohibirse WhatsApp? ¿Deberíamos haber esperado 10 años antes de lanzarlo para reforzar todos esos casos de uso?

Con la tecnología, especialmente con algo que cambia tan rápido como la IA, no hay blanco o negro. No podemos decir "tenemos que perfeccionar esto durante 20 años antes de poder lanzarlo”, no existe un marco que vaya a funcionar de esa manera. Eso no significa que no deba regularse. Por eso es muy importante, dado que estamos en una etapa muy temprana de la IA, que tecnólogos, reguladores, responsables de políticas públicas, el mundo académico y, más importante aún, los padres, se unan para asegurarse de que existan las salvaguardas adecuadas para que la IA sea positiva. Decir que la IA es buena o mala es el debate equivocado. La conversación correcta es: qué usos de la IA deberían permitirse, para qué audiencias, durante cuánto tiempo y bajo qué circunstancias.

P. Las tecnológicas piden constantemente menos regulación, no más. Lo que ha ocurrido con las redes sociales en cuanto a salud mental y desinformación, ¿no debería servir de aprendizaje de qué ocurre cuando dejas que una potente nueva tecnología se extienda sin ningún tipo de regulación ni barrera?

R. La IA y las redes sociales son dos cosas muy diferentes. Es muy importante separarlas, la IA es una tecnología que puede usarse para muchos casos distintos. Nosotros, por ejemplo, no somos en absoluto una red social. Somos una plataforma de entretenimiento basada en roleplay.

"Con algo que cambia tan rápido como la IA. No podemos decir 'tenemos que perfeccionar esto 20 años antes de poder lanzarlo'".

P: ¿Qué le parece el anuncio de España y otros países, como Australia, de prohibir las redes sociales a menores de 16 años?

R. Las generaciones anteriores crecimos con las redes sociales y nos hemos pasado horas y horas consumiendo contenido basura de forma compulsiva, un contenido que servía un algoritmo y luego se difundía de forma masiva. Esto ha generado los problemas del discurso de odio, propaganda, etc. La siguiente generación está empezando a cansarse de eso. Están usando plataformas de IA para crear y vivir dentro de los mundos virtuales que les interesan. No son medios de difusión masiva, sino uno a uno. Y está sustituyendo en cierta medida lo que antes consumían como películas, vídeos cortos, o cómics. Se vuelve algo interactivo. Podemos aprender de las redes sociales en el sentido de que debemos construir la IA de manera responsable. Pero, afortunadamente, esta tecnología y estos casos de uso son muy diferentes de lo que eran las redes sociales.

P. ¿No es igual de peligrosa que las redes sociales esa forma de entretenimiento en un mundo en que la soledad no deseada es considerada un problema de salud pública de primer orden? En España, el 20% de la población sufre este tipo de soledad. A nivel mundial, un 16%. Se trata de una población muy vulnerable con gran probabilidad de aislarse y obsesionarse con un amigo o pareja virtual.

R. Creo que ahí es donde la regulación debe estar atenta, para asegurarse de que, si es necesario poner límites, se haga cuando las empresas de IA busquen hacer dinero a expensas de la soledad de la gente. ¿Va a ser la IA buena para ayudar con el problema de la soledad? No lo sé. Dentro de 10 años lo descubriremos, pero ese no es un terreno en el que CharacterAI quiera entrar.