Lucha contra las promociones engañosas efectuadas por medios sintéticos mediante un cambio en el enfoque de aplicación
5 de junio de 2025
El Consejo ha anulado la decisión de Meta de mantener en la plataforma una publicación de Facebook que mostraba un video manipulado por inteligencia artificial (IA) en el que una persona aparenta ser la leyenda del fútbol brasileño Ronaldo Nazário promocionando un juego en línea. Eliminar la publicación es coherente con las normas comunitarias de Meta sobre fraude y spam. Meta también debió rechazar el contenido como anuncio, ya que sus normas prohíben utilizar la imagen de una persona famosa para atraer la atención de los usuarios a un anuncio.
Según informes públicos, el Consejo señala que Meta probablemente permite una cantidad significativa de contenido fraudulento en sus plataformas para evitar una posible aplicación excesiva en un subconjunto reducido de promociones genuinas por parte de celebridades. Los revisores a gran escala no cuentan con la autoridad para aplicar esta prohibición sobre contenido que crea una identidad falsa o simula ser una persona famosa con el fin de estafar o engañar. Meta debe aplicar esta prohibición a gran escala proporcionando a los revisores indicadores, a menudo fáciles de identificar, que permitan distinguir el contenido generado por IA.
Sobre el caso
En septiembre de 2024, un usuario compartió una publicación que incluía un video manipulado por IA en el que una persona aparenta ser el exfutbolista brasileño Ronaldo Nazário. En el video, se alienta a las personas a descargar una aplicación para jugar el popular juego en línea Plinko (o Plinco).
El audio del video, que imita la voz de Ronaldo Nazário, no está sincronizado con el movimiento de sus labios. El video también muestra imágenes poco realistas generadas por IA de un maestro, un conductor de autobús y un trabajador de supermercado, junto con el salario promedio de esos empleos en Brasil. El audio afirma que quienes juegan Plinko pueden ganar más dinero con el juego que con los empleos mencionados. El video invita a los usuarios a hacer clic en un enlace para descargar la aplicación, aunque este los redirige a un juego diferente llamado “Bubble Shooter”. La publicación tuvo más de 600 000 visualizaciones.
Un usuario denunció el contenido a Meta como fraude o estafa, pero la denuncia no recibió prioridad. La empresa no eliminó el contenido. El usuario apeló esta decisión ante Meta, pero dicha apelación tampoco recibió prioridad para su revisión manual, por lo que el contenido permaneció en Facebook. Finalmente, el usuario apeló la decisión de Meta ante el Consejo, con el argumento de que la publicación parecía estar patrocinada. Si se promociona una publicación, se crea un anuncio a partir de ella.
El anuncio se desactivó por infringir la norma publicitaria sobre prácticas comerciales inaceptables de la empresa, aunque la publicación original no patrocinada permaneció en la plataforma. Después de que el Consejo identificó este caso para su revisión, Meta eliminó la publicación original por infringir su política sobre fraude, estafas y prácticas engañosas. Posteriormente, Meta confirmó que la publicación también infringía su política de spam.
Los medios sintéticos y las promociones efectuadas mediante esta tecnología están en aumento a nivel mundial, incluidos aquellos que muestran a figuras públicas promoviendo campañas políticas fraudulentas y estafas financieras. Los informes destacan que muchas de las estafas financieras en Brasil que se originan en Facebook, Instagram y WhatsApp involucran contenido manipulado por inteligencia artificial.
Conclusiones clave
La eliminación del contenido es coherente con las responsabilidades de Meta en materia de derechos humanos. Las promociones manipuladas y engañosas representan riesgos significativos para los derechos de privacidad y reputación de la persona representada. También afectan al público, ya que pueden facilitar fraudes.
Al Consejo le preocupa que los revisores de contenido a gran escala no puedan eliminar publicaciones que crean una identidad falsa o que simulan ser una persona famosa “con la intención de estafar o engañar”, incluso cuando el contenido presenta indicadores evidentes de que infringe las políticas de Meta. Este tipo de contenido solo puede ser eliminado por los equipos especializados de Meta, lo que aumenta la probabilidad de una aplicación insuficiente de su política sobre fraude, estafas y prácticas engañosas.
Es probable que Meta permita una cantidad significativa de contenido fraudulento en sus plataformas para evitar una posible aplicación excesiva en un subconjunto reducido de promociones genuinas por parte de celebridades. Esto resulta particularmente preocupante cuando las promociones genuinas de celebridades probablemente ya cuentan con otras protecciones contra una aplicación excesiva, ya sea mediante sistemas formales como la verificación o los puntos de contacto dentro de Meta. Por lo tanto, el Consejo recomienda que Meta modifique su enfoque y aplique esta política a gran escala.
La naturaleza manipulada o falsa del video es evidente. El Consejo concluye que la publicación infringe la prohibición de Meta sobre la creación de identidades falsas o el hacerse pasar por una persona famosa con la intención de estafar o engañar, conforme a la política de normas comunitarias sobre fraude, estafas y prácticas engañosas. También infringe la prohibición de Meta sobre compartir enlaces engañosos o falsos, según su norma comunitaria sobre spam, ya que promociona Plinko pero dirige a un juego diferente. Por lo tanto, el Consejo considera que la publicación debió haberse eliminado cuando se denunció. Incluso antes de eliminar la publicación, Meta debió aplicar una etiqueta de “contenido generado por IA”, conforme a su política sobre medios manipulados. Meta también debió rechazar el contenido como anuncio, ya que su norma publicitaria sobre prácticas comerciales inaceptables prohíbe el uso de la imagen de una persona famosa y tácticas engañosas para atraer la atención de los usuarios a un anuncio.
Meta tiene la responsabilidad de “mitigar los impactos adversos en los derechos humanos” de contenido monetizado que podría constituir estafas o engaños, de acuerdo con los Principios Rectores sobre las Empresas y los Derechos Humanos de las Naciones Unidas. Cuando se pague por promocionar contenido, Meta debe asegurarse de que estas publicaciones no infrinjan sus políticas.
La decisión del Consejo asesor de contenido
El Consejo asesor de contenido anula la decisión de Meta de mantener la publicación en Facebook.
Además, el Consejo recomienda que Meta haga lo siguiente:
- Aplique a gran escala su política de fraude, estafas y prácticas engañosas, que prohíbe el contenido que “intenta crear una identidad falsa o hacerse pasar por una persona famosa con la intención de estafar o engañar”, mediante la provisión de indicadores a los revisores para identificar este tipo de contenido. Esto podría incluir, por ejemplo, la presencia de marcas de agua de manipulación de medios y metadatos, o factores evidentes como la falta de sincronización entre el video y el audio.
Más información
Para leer los comentarios públicos sobre este caso, haga clic aquí.
