Meta anunció el jueves una serie de medidas destinadas a proteger a los adolescentes que interactúan con su chatbot de inteligencia artificial, alertando a los padres si sus hijos discuten sobre suicidio o autolesionismo. La compañía ha declarado que, además de las notificaciones, trabaja en la implementación de un sistema que permita contactar servicios de emergencia si se detecta que una conversación sugiere que un usuario puede estar en riesgo. Estas acciones son una respuesta a la creciente preocupación pública y regulatoria sobre cómo la inteligencia artificial puede influir en la salud mental de los usuarios más jóvenes.
La medida se implementa en un contexto de creciente escrutinio por parte de reguladores y padres en relación al papel de las plataformas digitales en la vida de los adolescentes. La preocupación principal radica en cómo los chatbots de inteligencia artificial responden a los usuarios en crisis, en especial a los adolescentes, que son más susceptibles a problemas de salud mental. Meta ha afirmado que ha desarrollado un sistema de detección que identifica conversaciones con referencias claras al autolesionismo, en un esfuerzo por crear un entorno más seguro para los jóvenes usuarios.
Meta ha reconocido que las alertas pueden ser alarmantes para los padres y, por ello, ha implementado una verificación manual de las conversaciones señaladas por su sistema de IA antes de enviar alertas. En caso de que la intención del adolescente sea ambigua, la empresa opta por notificar a los padres como medida de precaución. Esta decisión busca establecer un balance entre la protección del usuario y la inquietud que puede generar recibir una alerta por parte de los padres.
Además de las nuevas alertas, Meta también ha ampliado su función de “Contenido Limitado”, permitiendo que los padres establezcan restricciones adicionales sobre la interacción de sus hijos con el chatbot de Meta AI. Esto significa que el chatbot rechazará un mayor número de solicitudes, apuntando a crear un espacio más seguro y adecuado para los adolescentes. Aunque la compañía no ha especificado el contenido de las solicitudes adicionales que serán rechazadas, se espera que estas medidas ayuden a mitigar el riesgo de conversaciones sobre temas potencialmente dañinos.
Por último, es importante destacar que Meta ya aplica un protocolo similar cuando detecta publicaciones en Facebook o Instagram que sugieren riesgo de suicidio. Esta extensión del protocolo al chatbot de Meta AI subraya el compromiso de la empresa con la seguridad de sus usuarios, tanto jóvenes como adultos, y marca un paso hacia una mayor responsabilidad por parte de las plataformas tecnológicas en la protección de la salud mental de sus usuarios.
