La Corte Superior de California, con sede en San Francisco, recibió una demanda que promete convertirse en un precedente clave en materia de responsabilidad de los chatbots de inteligencia artificial generativa: Los padres de Adam Raine, un joven de 16 años que se quitó la vida en abril de este año, iniciaron una acción legal contra OpenAI y su CEO, Sam Altman, a quienes acusan de homicidio culposo.
“La demanda reclama que el sistema no interrumpió esos intercambios ni activó ningún protocolo de emergencia, a pesar de haber detectado frases relacionadas con conductas autodestructivas”
Según medios periodísticos la presentación, de unas 40 páginas, sostiene que el adolescente habría mantenido conversaciones reiteradas con ChatGPT (modelo GPT-4o) en las que exploraba distintos métodos de suicidio. La demanda reclama que el sistema no interrumpió esos intercambios ni activó ningún protocolo de emergencia, a pesar de haber detectado frases relacionadas con conductas autodestructivas.
El abogado de la familia, Jay Edelson, afirmó en redes sociales que lo que está en discusión es “hasta qué punto OpenAI y Altman se apresuraron a comercializar GPT-4o a pesar de los evidentes problemas de seguridad”.
El planteo judicial, conforme expresó el abogado, no sólo apunta a la falta de medidas de protección en la interacción con menores de edad, sino también al contexto en el que se lanzó el producto. Según la demanda, OpenAI aceleró la salida de GPT-4o, lo que incrementó el valor de mercado de la compañía de 86.000 millones de dólares a 300.000 millones en muy poco tiempo.
Los padres de Adam Raine alegan que la prisa por consolidar esa expansión económica se dio en detrimento de la seguridad de los usuarios, en particular de los más vulnerables.
“La compañía admitió que sus medidas de protección contra las autolesiones se han vuelto menos fiables en interacciones prolongadas, donde parte del entrenamiento de seguridad del modelo puede verse afectado.”
El retiro de los modelos anteriores, incluido el GPT-4o con el que interactuó el adolescente, expresan los demandantes, podría ser interpretada como un reconocimiento implícito de fallas en el producto.
“En respuesta a la cobertura de esta mañana, la compañía admitió que sus medidas de protección contra las autolesiones se han vuelto menos fiables en interacciones prolongadas, donde parte del entrenamiento de seguridad del modelo puede verse afectado.”, afirmó el letrado de la actora.
Conforme surgiría de las pruebas acompañadas, en los chats, ChatGPT recomendó repetidamente a Adam que le contara a alguien cómo se sentía, pero también hubo momentos clave en los que lo disuadió de buscar ayuda.
El Tribunal deberá evaluar si corresponde avanzar en la instancia de juicio y, en ese marco, analizar la eventual responsabilidad de OpenAI y Altman.
Si quiere profundizar en el uso de la Inteligencia Artificial —como ChatGPT— y otras tecnologías disruptivas aplicadas al ejercicio profesional, Campus Judicial el área de educación a distancia de Diario Judicial, ofrece cursos totalmente online diseñados específicamente para letrados, desde «ChatGPT para abogados» hasta «Blockchain y Smart Contracts». Visite campusjudicial.com y potencie su práctica legal mediante una formación práctica y flexible, adaptada a sus necesidades.