El Gobierno español difundió el “Informe técnico sobre la posible responsabilidad penal derivada de la generación y difusión de contenidos sexuales y pornografía infantil mediante IA en redes sociales”, un documento elaborado por los Ministerios de la Presidencia, Justicia y Relaciones con las Cortes; Transformación Digital y Función Pública; y Juventud e Infancia.
El texto analiza la convergencia entre inteligencia artificial generativa y redes sociales como un nuevo entorno de riesgo para la explotación sexual digital de menores. Según el resumen ejecutivo, la combinación de herramientas de IA capaces de crear imágenes hiperrealistas (incluidos deepfakes) y sistemas de difusión masiva ha permitido que contenidos sexuales, incluidos aquellos que afectan a menores, se generen y circulen con una velocidad y alcance sin precedentes.
“Grok, el chatbot de IA integrado en X (antes, Twitter), ha sido clasificado entre los peores chatbots evaluados en términos de seguridad infantil. Esta herramienta de IA permite crear deepfakes sexuales sin conocimientos técnicos previos, sin verificación de edad de las posibles víctimas y sin filtros preventivos efectivos”
El informe sostiene que la violencia sexual digital contra menores se distribuye de forma masiva en plataformas abiertas y que los sistemas algorítmicos no solo alojan, sino que pueden amplificar ese material, cita estimaciones según las cuales el 98% de los deepfakes detectados son pornográficos y que su volumen se habría multiplicado por 16 desde 2023. También recoge que uno de cada cinco jóvenes en España afirma haber sufrido la difusión de desnudos manipulados con IA durante su infancia.
“Grok, el chatbot de IA integrado en X (antes, Twitter), ha sido clasificado entre los peores chatbots evaluados en términos de seguridad infantil. Esta herramienta de IA permite crear deepfakes sexuales sin conocimientos técnicos previos, sin verificación de edad de las posibles víctimas y sin filtros preventivos efectivos”, se lee en dicho texto.
Algoritmos y amplificación
Uno de los ejes centrales del documento es el rol de los algoritmos de recomendación. En el apartado “Antecedentes y contexto”, se describe cómo determinadas plataformas pueden estar recomendando cuentas o contenidos vinculados a material sexualizado de menores, generando “bucles” de recomendación que exponen a usuarios, incluidos menores, a contenidos cada vez más explícitos.
“Distintos informes apuntan a que sus algoritmos de recomendación están amplificando activamente este contenido, creando bucles que sumergen a usuarios en espirales de sexualización de menores y los ponen en contacto con los mismos…que confirmó que Instagram proporciona y recomienda cuentas que difunden enlaces a material de abuso sexual infantil alojado en otras plataformas como Telegram o en aplicaciones de pago.”
El informe menciona investigaciones que atribuyen a sistemas de recomendación la amplificación activa de contenidos ilícitos o dañinos, al tiempo que advierte que la hiperconectividad de menores en redes sociales incrementa la exposición. Nueve de cada diez estudiantes españoles estarían conectados al menos a una red social y más de siete de cada diez a tres o más.
“Distintos informes apuntan a que sus algoritmos de recomendación están amplificando activamente este contenido, creando bucles que sumergen a usuarios en espirales de sexualización de menores y los ponen en contacto con los mismos…que confirmó que Instagram proporciona y recomienda cuentas que difunden enlaces a material de abuso sexual infantil alojado en otras plataformas como Telegram o en aplicaciones de pago.”, se menciona.
Desde la perspectiva del derecho informático, el documento introduce una cuestión relevante: la eventual responsabilidad derivada no solo de la conducta individual de usuarios que generan o comparten el material, sino también del diseño, implementación y gestión algorítmica de las plataformas.
“Se ha constatado que las cuentas de niños pueden recibir fácilmente recomendaciones algorítmicas de contenido sexualizado, mensajes de adultos y sugerencias de comportamiento sexual de riesgo.”
En el capítulo 4, el informe detalla los tipos penales que podrían resultar aplicables en España, particularmente los previstos en los artículos 189 y 189 bis del Código Penal ibérico. Además, señala que estas conductas podrían concurrir con otros delitos, como el previsto en el artículo 173.1 del Código Penal (delito contra la integridad moral), especialmente cuando la difusión genera un grave menoscabo a la dignidad de la víctima.
“Se ha constatado que las cuentas de niños pueden recibir fácilmente recomendaciones algorítmicas de contenido sexualizado, mensajes de adultos y sugerencias de comportamiento sexual de riesgo.”, se resalta.
“Los efectos de esta violencia digital son devastadores y el material generado prácticamente imposible de eliminar. Los supervivientes de estas experiencias tienen entre dos y cuatro veces más probabilidades de autolesionarse o tener pensamientos suicidas. Además, siete de cada 10 afirman que la distribución de sus imágenes les afecta de manera diferente al abuso físico. A diferencia de otros tipos de abuso, este material persiste indefinidamente en la red, amplificando sus efectos nocivos con cada visualización y distribución.”
Uno de los puntos jurídicamente más relevantes es el análisis sobre la posible responsabilidad penal de las plataformas tecnológicas como personas jurídicas, en los términos de los artículos 31 bis y 189 ter del Código Penal. El informe plantea que la responsabilidad podría fundarse en dos ejes: La puesta a disposición de herramientas de IA que permitan generar imágenes sexuales de menores y la configuración algorítmica que facilite o fomente la difusión masiva de ese contenido.
“Los efectos de esta violencia digital son devastadores y el material generado prácticamente imposible de eliminar. Los supervivientes de estas experiencias tienen entre dos y cuatro veces más probabilidades de autolesionarse o tener pensamientos suicidas. Además, siete de cada 10 afirman que la distribución de sus imágenes les afecta de manera diferente al abuso físico. A diferencia de otros tipos de abuso, este material persiste indefinidamente en la red, amplificando sus efectos nocivos con cada visualización y distribución.”, concluye el mencionado documento.