La reciente incorporación de avatares sexualizados en la aplicación Grok de la empresa xAI, disponibles en la App Store con una clasificación “para mayores de 12 años”, ha suscitado un debate sobre los límites del contenido digital, la protección de la infancia y la regulación de la inteligencia artificial. Este fenómeno, aunque enmarcado en una lógica de mercado global, plantea interrogantes jurídicos sustanciales en el contexto argentino, en particular en lo que refiere al derecho del consumidor, la protección de datos personales, la responsabilidad civil digital y los derechos de niñas, niños y adolescentes (NNyA).
Este análisis busca profundizar en las consecuencias legales del caso, contextualizándolo en los marcos normativos nacionales e internacionales vigentes, así como proponer posibles vías jurisprudenciales e institucionales para abordar un fenómeno que, a todas luces, tensiona el sistema legal actual.
La clasificación por edades en plataformas digitales: entre la autorregulación y la nada
La App Store de Apple permite la descarga de Grok con una clasificación “para mayores de 12 años”, a pesar de que uno de sus avatares, Ani, inicia conversaciones de carácter sexual explícito a partir del tercer nivel de interacción. Esta situación entra en clara tensión con los principios establecidos por el Sistema de Protección Integral de los Derechos de Niños, Niñas y Adolescentes (Ley 26.061), que impone al Estado y a los actores privados el deber de garantizar el desarrollo integral de los menores de edad.
En Argentina, si bien existe un régimen de protección de consumidores digitales (Ley 24.240) y se ha avanzado en la regulación de contenidos audiovisuales con el ENACOM, no hay aún una legislación específica que regule de forma eficaz la clasificación por edades en aplicaciones basadas en inteligencia artificial. Esto genera un vacío legal que podría interpretarse como una omisión del deber de cuidado exigible a las plataformas.
La autorregulación de las empresas tecnológicas —en este caso, Apple— queda expuesta como insuficiente, al permitir que un producto que tiene contenido pornográfico disimulado o interactivo pueda ser accedido por menores, violando no sólo principios éticos sino también normas jurídicas de protección de derechos fundamentales.
Consentimiento, manipulación y autonomía de NNyA en entornos de IA conversacional
Desde una perspectiva más profunda, la interacción con avatares sexuales plantea serias dudas sobre la capacidad de los NNyA para otorgar un consentimiento válido, libre e informado en entornos gamificados e hiperrealistas.
La Ley 25.326 de Protección de Datos Personales impone límites claros al tratamiento de información de menores de edad, exigiendo la intervención de los representantes legales. No obstante, la arquitectura de estas aplicaciones dificulta el control parental y permite que menores accedan, de hecho, a experiencias eróticas sin mediación ni advertencia eficaz.
La situación se complejiza si se considera que estos sistemas utilizan machine learning para adaptar sus respuestas a los usuarios. Esto puede implicar una manipulación emocional y afectiva, a través de estrategias algorítmicas que refuerzan el vínculo con el avatar. Desde un enfoque interdisciplinario, ello podría interpretarse como una forma de grooming algorítmico, fenómeno aún no tipificado explícitamente en el orden penal argentino, pero cuya naturaleza requiere urgente atención legislativa.
Responsabilidad civil y penal por daños derivados del uso de IA sexualizada por menores
La posible interacción de menores con contenidos sexualizados habilita el debate sobre la responsabilidad civil objetiva de las plataformas tecnológicas. Según la doctrina argentina, el proveedor de servicios digitales que pone a disposición productos con potencial dañino debe prever sus riesgos y neutralizarlos. La existencia de un sistema de niveles gamificados que desbloquea contenido sexualizado parece infringir el principio de previsibilidad del daño (Art. 1725 del Código Civil y Comercial).
El auge de los sistemas gamificados en plataformas digitales —mecánicas de progresión por niveles, recompensas y recompeticiones de conductas— plantea nuevos interrogantes desde una dimensión híbrida: por un lado, tecnológica, por la complejidad de su diseño algorítmico; por otro, jurídica, en tanto estos mecanismos pueden inducir riesgos específicos a usuarios vulnerables, como menores
Asimismo, en términos penales, podrían analizarse las eventuales responsabilidades por omisión impropia de las plataformas y desarrolladores, si se comprueba que no adoptaron medidas razonables para impedir el acceso de menores a dicho contenido. En particular, se abre el debate sobre la aplicabilidad del art. 128 del Código Penal, relativo a la distribución de material pornográfico infantil, cuando la plataforma induce a menores a mantener diálogos sexuales con representaciones animadas.
Perspectivas regulatorias: hacia un marco normativo integral para la IA emocional
El caso de Grok y Ani pone de manifiesto una zona gris regulatoria en la convergencia entre inteligencia artificial, contenido sexual y menores de edad. En el plano internacional, documentos como la Recomendación del Consejo de Europa sobre el impacto de la inteligencia artificial en los derechos del niño (2020) sugieren marcos orientativos, pero no son vinculantes.
En el contexto argentino, resulta imperioso avanzar hacia una ley de inteligencia artificial que regule específicamente las aplicaciones de IA emocional o conversacional, incorporando criterios de seguridad algorítmica, clasificación de riesgos y mecanismos eficaces de control estatal. Debe contemplarse también la actualización de las leyes de medios y protección de la infancia, a fin de incorporar este nuevo tipo de contenido virtual que escapa a las categorías tradicionales.
Desafíos legales en la gamificación de contenidos
El auge de los sistemas gamificados en plataformas digitales —es decir, mecánicas de progresión por niveles, recompensas y recompeticiones de conductas— plantea nuevos interrogantes desde una dimensión híbrida: por un lado, tecnológica, por la complejidad de su diseño algorítmico; por otro, jurídica, en tanto estos mecanismos pueden inducir riesgos específicos a usuarios vulnerables, como menores | art. 1725 CCCN obliga a prever consecuencias previsibles en situaciones de alto riesgo, lo que refuerza el deber de diligencia del proveedor digital.
Desde la perspectiva tecnológica, la gamificación recurre a datos de comportamiento y aprendizaje automático para calibrar la experiencia del usuario, lo que implica una caja negra difícil de auditar. A nivel ético, estudios en entornos educativos han advertido sobre manipulación cognitiva, presiones competitivas y dinámicas de comparación social, aspectos que —cuando se combinan con la sexualización progresiva de contenido— elevan el potencial daño psicológico y reputacional, sin evidencia de culpa previa del proveedor.
Legalmente, aunque no exista jurisprudencia específica sobre gamificación sexual, doctrinas comparadas y marcos europeos (como las normas sobre robótica ética o el diseño ético de tecnología) indican que los proveedores deben implementar una evaluación ética-tecnológica previa —un “privacy/ethics by design” análogo al “data protection by design” del GDPR— para anticipar y mitigar riesgos de sesgo, exposición indebida o manipulación de menores .
En este sentido, puede trazarse una analogía con el diseño de robótica o IA que ya impone responsabilidad anticipatoria, donde la mera potencialidad del daño, incluso sin un evento concreto, activa la exigencia normativa de medidas preventivas . En suma, la incorporación de niveles y recompensas en contenidos sensibles —sin sistemas reforzados de blocking parental o transparencia algorítmica— podría interpretarse como una decisión de diseño negligente, lo que facilita argumentos en sede civil (y eventualmente penal) sobre responsabilidad sin culpa basada en la previsibilidad del daño.