Elon Musk aseguró el miércoles no tener conocimiento de ninguna imagen desnuda de menores generada por su chatbot Grok, un comentario que surge en medio de una creciente presión por parte de responsables gubernamentales de distintos países. Esta declaración se produce pocas horas antes de que el fiscal general de California, Rob Bonta, anunciara el inicio de una investigación sobre xAI, la compañía detrás de Grok, tras denuncias sobre la “proliferación de material sexualmente explícito no consensuado”. Los gobiernos de diversas naciones, desde el Reino Unido hasta Malasia, han mostrado preocupación, especialmente después de que usuarios de la plataforma X comenzaran a solicitar a Grok la creación de imágenes sexualizadas, incluyendo algunas que involucraban a niños, sin el consentimiento de las personas retratadas.
El fiscal general Bonta enfatizó en un comunicado que este tipo de material ha sido empleado para acosar a personas en internet y pidió a xAI que tomara medidas inmediatas para evitar que la situación se agravara. La legislación vigente en California incluye la Ley Take It Down, que criminaliza la distribución consciente de imágenes íntimas no consensuadas y exige a plataformas como X que eliminen dicho contenido en un plazo de 48 horas. Sin embargo, las alarmas se encendieron cuando se descubrió que Grok había comenzado a cumplir solicitudes de usuarios para generar fotos sexualizadas hacia finales del año pasado, lo que también pudo haber sido impulsado por contenido de adultos que incentivó a la generación de tales imágenes.
Las evidencias acerca de la actividad de Grok son alarmantes. Según Copyleaks, una plataforma de detección de IA, se estima que se publicaba una imagen sexualizada cada minuto en X, y en un análisis separado se identificaron 6,700 imágenes por hora durante un período crítico. A pesar de que xAI ha comenzado a implementar algunas balas de salva, como exigir una suscripción premium para ciertos tipos de solicitud, aún persisten preocupaciones sobre su efectividad. La vicepresidenta de marketing de Copyleaks, April Kozen, mencionó que la plataforma parece ser más flexible ante los creadores de contenido para adultos, lo que plantea serias dudas sobre la ética en sus operaciones.
Musk intentó restarle importancia a la situación al enfatizar que Grok opera bajo la premisa de obedecer las leyes de cualquier país o estado, argumentando que la generación de imágenes responde únicamente a las solicitudes de los usuarios. Sin embargo, su afirmación se limitó a la falta de conocimiento sobre imágenes de menores, sin abordar de manera global la problemática de las imágenes manipuladas sexualizadas. Michael Goodyear, profesor asociado en la escuela de derecho de Nueva York, sugirió que Musk y su empresa parecen centrar su atención en los delitos más graves relacionados con el material de abuso sexual infantil, mientras que los problemas de las imágenes no consensuadas en adultos podrían ser considerados menos urgentes.
La atención hacia xAI y Grok no se limita a Estados Unidos; varios gobiernos, como los de Indonesia y Malasia, han bloqueado el acceso a Grok, mientras que la Comisión Europea ha ordenado la conservación de documentos relacionados con su chatbot. En el Reino Unido, Ofcom ha abierto una investigación formal bajo la nueva Ley de Seguridad en Línea. Esta creciente escrutinio expresa el sentir generalizado sobre la necesidad de mayores regulaciones y controles en tecnologías que permiten la manipulación de imágenes, especialmente cuando involucran a personas reales sin su consentimiento. Teniendo en cuenta el rápido aumento en las capacidades de la IA para crear contenido manipulado, la necesidad de medidas efectivas de detección y gobernanza se vuelve más apremiante que nunca.



