Discord ha reconocido que un error en su sistema de moderación asistido por inteligencia artificial (IA) resultó en la suspensión incorrecta de más de 8,000 cuentas durante los últimos dos meses. Este problema se atribuye a una serie de falsos positivos, donde imágenes inofensivas, como hojas de cálculo y tableros de ajedrez, fueron erróneamente detectadas como contenido dañino. A pesar de que la compañía ha estado trabajando en estas suspensiones desde mayo, el fin de semana pasado se suspendieron 200 cuentas adicionales antes de que el equipo de Discord identificara y solucionara la situación. Actualmente, la firma está en proceso de restaurar todas las cuentas afectadas, poniendo de relieve un gran desafío en la moderación automatizada, una práctica que muchas plataformas están adoptando en la lucha contra el contenido ilegal o abusivo.
A través de un hilo en la red social X, Discord explicó el funcionamiento de su sistema de moderación, que consiste en comparar el contenido subido a su plataforma con bases de datos de material perjudicial conocido. Sin embargo, la compañía admitió que este tipo de tecnología puede generar falsos positivos, es decir, suspender cuentas por error. A pesar de que un moderador humano debe revisar el contenido marcado antes de tomar cualquier medida, en esta ocasión, un fallo en el proceso provocó la suspensión imediata de las cuentas denunciadas. Discord aseguró que está trabajando en implementar mejores salvaguardias para evitar que este tipo de errores ocurran en el futuro.
Los usuarios afectados por estas suspensiones han expresado su frustración en las redes sociales, donde han compartido testimonios sobre haber perdido sus cuentas permanentemente simplemente por subir imágenes que contenían patrones de cuadrícula. Se ha sugerido que los sistemas de moderación de IA de Discord han aumentado su sensibilidad a estos patrones, ya que se han utilizado anteriormente para ocultar contenido inapropiado. Muchos de los perjudicados han señalado que las sanciones impuestas únicamente por detecciones automatizadas pueden tener consecuencias devastadoras, especialmente para aquellos que utilizan Discord como plataforma para trabajo, comunidades de juego o conexiones sociales.
“Perder una cuenta de Discord por un error de este tipo es extremadamente perjudicial y puede afectar seriamente a los usuarios. Todos los días, millones son víctimas de suspensiones erróneas generadas por IA, y esto necesita cambiar”, afirmó un usuario en X. Varios de ellos han reclamado la restitución de sus cuentas, destacando que muchos de ellos dependen intensamente de esta plataforma para sus actividades diarias. La situación ha suscitado llamados a mayor responsabilidad y transparencia por parte de las compañías en el manejo de sus sistemas de moderación automatizados.
Desde la aparición de este problema, otros servicios también han enfrentado controversias similares relacionadas con la moderación de IA. El año pasado, usuarios de Instagram y Facebook reportaron suspensiones inexplicables de cuentas, y aunque los sospechosos fueron los sistemas automáticos de moderación, Meta nunca aceptó públicamente la culpa. Por su parte, la Junta de Supervisión de Meta ha exigido una mayor claridad en sus procedimientos. Asimismo, Tumblr vivió un episodio parecido con una oleada de quejas por suspensiones masivas sin explicaciones claras. Este panorama resalta la necesidad de un enfoque más cuidadoso y transparente en la moderación contenida por IA en las plataformas de redes sociales.
