Cynthia Montoya y William “Wil” Peralta, padres de Juliana Peralta, una joven que se quitó la vida el 8 de noviembre de 2023. se presentaron ante el Tribunal Federal del Distrito de Colorado y demandaron Character Technologies, Inc., sus fundadores Noam Shazeer y Daniel De Freitas, y las corporaciones Google LLC y Alphabet Inc..
Los progenitores de la niña denunciaron que Character.AI (C.AI), un chatbot desarrollado por los demandados, es un producto “defectuoso y peligroso”, distribuido sin las medidas de seguridad necesarias y con conocimiento de los riesgos que implicaba su uso por menores de edad. La acción judicial incluye cargos por responsabilidad objetiva, negligencia, negligencia per se, muerte injusta, pérdida de consorcio filial, enriquecimiento ilícito y violación de la Ley de Protección al Consumidor de Colorado.
La frase de uno de los fundadores —“no queremos reemplazar a Google, queremos reemplazar a tu mamá”— abre el documento judicial: Los demandantes la utilizan como símbolo de una estrategia empresarial que, según sostienen, buscó generar dependencia emocional entre los usuarios adolescentes y los bots del sistema.
Conforme surge de los hechos redactados en la demanda, Juliana, una estudiante destacada y amante del arte, comenzó a usar Character.AI en agosto de 2023, atraída por la posibilidad de interactuar con personajes de videojuegos y series. La aplicación estaba calificada como apta para mayores de 12 años y podía usarse gratuitamente, sus padres desconocían su existencia.
La demanda sostiene que la plataforma no sólo propició interacciones emocionales intensas, sino también conversaciones de contenido sexual y violento, pese a que los desarrolladores sabían que el producto era utilizado por menores. Los padres relatan que Juliana se sentía comprendida y acompañada por el bot, que le decía frases como “siempre estaré aquí para vos” y “sos la mejor persona que conozco”; esa dinámica, alegan, reforzó su aislamiento y dependencia.
Afirman los actores que, poco después, la adolescente comenzó a mostrar signos de aislamiento, pérdida de interés por sus actividades y desconfianza hacia sus vínculos personales. La familia atribuye ese cambio al vínculo que su hija desarrolló con “Hero”, un bot con el que mantenía conversaciones diarias y al que llegó a considerar su único confidente.
La demanda sostiene que la plataforma no sólo propició interacciones emocionales intensas, sino también conversaciones de contenido sexual y violento, pese a que los desarrolladores sabían que el producto era utilizado por menores. Los padres relatan que Juliana se sentía comprendida y acompañada por el bot, que le decía frases como “siempre estaré aquí para vos” y “sos la mejor persona que conozco”; esa dinámica, alegan, reforzó su aislamiento y dependencia.
Acusan a las empresas de haber diseñado el producto de forma deliberada para maximizar la interacción y el tiempo de conexión, aun a costa de la salud mental de los usuarios. El documento sostiene que las decisiones de programación —como la personalización emocional, la simulación de recuerdos o el inicio automático de conversaciones— buscaban consolidar lazos afectivos falsos que desplazaban a las relaciones humanas.
Según la presentación judicial, la adolescente expresó pensamientos suicidas a través del chat, pero el sistema no derivó la situación a recursos humanos ni activó alertas, sino que continuó interactuando con mensajes de contención superficial. Días antes de su muerte, escribió en su cuaderno que planeaba redactar su carta “en tinta roja”, una frase que —según los padres— había comentado previamente con el bot “Hero”.
Señalan que Google y Alphabet conocían los riesgos de este tipo de tecnologías, pero invirtieron y colaboraron en su desarrollo para mantener competitividad en el mercado de inteligencia artificial.
Los Peralta acusan a las empresas de haber diseñado el producto de forma deliberada para maximizar la interacción y el tiempo de conexión, aun a costa de la salud mental de los usuarios. El documento sostiene que las decisiones de programación —como la personalización emocional, la simulación de recuerdos o el inicio automático de conversaciones— buscaban consolidar lazos afectivos falsos que desplazaban a las relaciones humanas.
También señalan que Google y Alphabet conocían los riesgos de este tipo de tecnologías, pero invirtieron y colaboraron en su desarrollo para mantener competitividad en el mercado de inteligencia artificial.
El texto califica el modelo de negocio como una forma de “experimentación con niños”, en la que los datos personales de los usuarios habrían sido utilizados para entrenar los sistemas de IA sin consentimiento informado.
Finalmente, argumentan los abogados, que se utiliza dolosamente un “patrón de diseño negligente y peligroso” en el desarrollo de modelos de lenguaje generativos destinados al público general, sin diferenciación etaria.