Organizaciones en Países Bajos demandan a Grok y X por permitir la generación de material sexual ilegal mediante herramientas de inteligencia artificial. El centro especializado en abuso online Offlimits y el Fondo de Ayuda a las Víctimas interpusieron una acción urgente al considerar que las funcionalidades disponibles pueden vulnerar la legislación neerlandesa y europea.
La demanda sostiene que herramientas como las denominadas “apps para desnudar” permiten crear imágenes realistas en las que personas, incluidos menores de edad, aparecen parcial o totalmente desnudas sin su consentimiento.
¿Qué funciones de Grok están bajo cuestionamiento legal?
Según las organizaciones, la versión Grok 4.2, lanzada recientemente, permite generar videos completos a partir de una sola fotografía mediante inteligencia artificial. Advierten que esta capacidad podría utilizarse para producir contenido que constituya abuso sexual infantil.
Las entidades argumentan que el diseño de estas herramientas facilita la creación y difusión de material que puede ser punible penalmente. La demanda exige que Grok y la plataforma X cesen de inmediato las funcionalidades que posibilitan “desnudar” digitalmente a personas sin autorización.
Además, solicitan que se suspendan todas las opciones que permitan generar material que pueda calificarse como abuso sexual infantil.
Multa de 100,000 euros por cada día de incumplimiento
En caso de que no se desactiven las funciones señaladas, las organizaciones piden al tribunal la imposición de una multa coercitiva de 100,000 euros por día mientras continúen activas.
Offlimits advirtió sobre un aumento “explosivo” de la violencia sexual en internet impulsada por herramientas de IA. Su director ejecutivo, Robbert Hoving, declaró:
“Las imágenes editadas o creadas con IA se utilizan para acosar, humillar o intimidar sexualmente a las víctimas en internet. Estamos ante un accidente en cámara lenta”.
Impacto en jóvenes de 12 a 25 años
De acuerdo con datos citados por las organizaciones, uno de cada dos jóvenes en Países Bajos ha sufrido alguna forma de intimidación o abuso sexual en internet. Entre 17,000 y 39,000 jóvenes de entre 12 y 25 años podrían haber sido víctimas de imágenes sexuales creadas mediante IA solo en el último año.
La directora del Fondo de Ayuda a las Víctimas, Ineke Sybesma, sostuvo que para quienes sufren este tipo de hechos no existe diferencia entre una imagen real y una generada artificialmente.
“La vergüenza es real, las consecuencias son reales, y esto no para por sí solo, porque internet no olvida”.
¿Qué leyes podrían estarse vulnerando?
Las organizaciones señalan que las funcionalidades ofrecidas vulnerarían el derecho a la privacidad, el Reglamento General de Protección de Datos (RGPD), la Ley de Servicios Digitales de la Unión Europea, el Código Penal neerlandés y el derecho a la propia imagen.
Recordaron además que la jurisprudencia europea exige consentimiento demostrable para la difusión de material sexual. Añadieron que la eliminación posterior del contenido no resulta suficiente cuando el propio diseño de la plataforma facilita el abuso.
Tribunal de Ámsterdam analizará el caso
El caso será examinado por un tribunal de Ámsterdam el 12 de marzo, donde se evaluará si las funcionalidades de inteligencia artificial deben suspenderse de manera inmediata mientras se resuelve el fondo del asunto.
La decisión podría sentar un precedente en la regulación del uso de herramientas de IA capaces de generar imágenes y videos con apariencia realista sin el consentimiento de las personas involucradas.