En la causa "C. R. A. Y OTROS S/ ACCIONES DERIVADAS PROTECCION NINEZ Y ADOLESCENCIA", el Juzgado de Familia, Niñez y Adolescencia de Paso de los Libres ordenó el bloqueo de un sitio web que generaba imágenes íntimas falsas de mujeres con Inteligencia Artificial.
La demanda fue interpuesta por los padres de una de las adolescentes afectadas y, según se detalló en el expediente, la herramienta creaba falsas imágenes de desnudez con la cara de las menores que luego eran difundidas a través de WhatsApp.
La magistrada remarcó que “el entorno digital no garantiza barreras efectivas de edad ni consentimiento, lo que expone especialmente a niños y adolescentes a formas modernas de violencia simbólica, digital y psicológica, configurando una situación de alto riesgo”.
La aplicación se denomina UndressHer.app y, de acuerdo al informe pericial informático remitido, cuenta con una naturaleza técnica “que utiliza inteligencia artificial (IA), específicamente modelos generativos avanzados como Redes Generativas Antagónicas (GANs) o modelos de difusión, para modificar digitalmente imágenes de personas. Su función principal consiste en simular la eliminación digital de ropa en fotografías cargadas por los usuarios".
Tras analizar el caso, la jueza Marta Rut Legarreta ordenó al ENACOM el bloqueo inmediato de un sitio web desde el territorio argentino y advirtió que el daño concreto se produjo por el funcionamiento de esta aplicación, que permite crear y compartir contenido sexual simulado sin verificar edad ni consentimiento.
El fallo explicó que “es una plataforma que utiliza inteligencia artificial para generar imágenes manipuladas simulando desnudez, presentando serios cuestionamientos éticos y legales”.
"Su uso indebido puede implicar graves consecuencias en términos de privacidad y seguridad personal. La falta de transparencia sobre sus responsables y procedimientos internos subraya aún más la controvertida naturaleza de esta aplicación”, se agregó al respecto.
La magistrada remarcó que “el entorno digital no garantiza barreras efectivas de edad ni consentimiento, lo que expone especialmente a niños y adolescentes a formas modernas de violencia simbólica, digital y psicológica, configurando una situación de alto riesgo”.
Dicho panorama, profundizó la jueza, obliga a tomar “medidas cautelares urgentes de protección con el fin de evitar que la persistencia del acceso irrestricto a dicha aplicación constituya un riesgo cierto de repetición del daño, tanto respecto de las victimas identificadas en autos como de otros potenciales afectados”.
Entre otras, la magistrada fundamentó su decisión en la “Ley Olimpia” que incluye a la violencia digital entre las modalidades de violencia contra las mujeres de la Ley 26.485 e incorpora en su objeto el respeto de la “dignidad, reputación e identidad, incluso en los espacios digitales”.