Video manipulado con IA que promociona juegos de apuestas

Resumen

El Consejo anuló la decisión de Meta de conservar una publicación de Facebook en la que aparecía un video manipulado con IA de una persona que parecía ser el legendario futbolista brasileño Ronaldo Nazário apoyando un juego online. La eliminación de la publicación es coherente con la norma comunitaria sobre fraude y spam de Meta. Meta también debería haber rechazado el contenido como publicidad, ya que sus reglas prohíben el uso de la imagen de una persona famosa para incentivar a las personas a interactuar con un anuncio.

En función de informes públicos, el Consejo señala que es probable que Meta esté permitiendo conservar una cantidad considerable de contenido con estafas en sus plataformas para evitar una potencial sobreaplicación de sus políticas en un pequeño subgrupo de apoyo genuino por parte de celebridades. Los revisores encargados de los procedimientos a gran escala no tienen suficiente autoridad para aplicar esta prohibición en contenido que crea a una persona falsa o que pretende ser alguien famoso con el fin de estafar o cometer fraude. Meta debería aplicar esta prohibición en los procedimientos a gran escala proporcionando a los revisores indicadores recurrentes de fácil identificación que distingan el contenido generado con IA.

Información sobre el caso

En septiembre de 2024, un usuario compartió una publicación que contenía un video manipulado con IA de una persona que parecía ser el futbolista brasileño retirado Ronaldo Nazário. En el video, animaba a las personas a descargarse una app para jugar el popular juego online Plinko (o Plinco).

En el video, el audio que imitaba a Ronaldo Nazário no estaba sincronizado con el movimiento de los labios. El video también mostraba imágenes no realistas generadas con IA de un maestro, un conductor de ómnibus y un trabajador de una tienda de alimentos, y el salario promedio de sus trabajos en Brasil. En el audio, se afirmaba que los jugadores de Plinko podían ganar más dinero en el juego que en los trabajos mencionados. El video animaba a los usuarios a hacer clic en un enlace de descarga de la app, a pesar de que este llevaba a otro juego llamado Bubble Shooter. La publicación obtuvo más de 600.000 visualizaciones.

Un usuario reportó el contenido a Meta como fraude o estafa, pero no se priorizó el reporte. La empresa no eliminó el contenido. El usuario apeló esta decisión a Meta, pero esta apelación tampoco se priorizó para que llegara a la etapa de revisión manual, por lo que el contenido permaneció en Facebook. Por último, el usuario apeló la decisión de Meta al Consejo e indicó que la publicación pareciera ser una publicidad. Si se promociona una publicación, se crea un anuncio a partir de la publicación.

El anuncio se inhabilitó por infringir la norma de publicidad sobre prácticas comerciales no aceptables de la empresa, aunque la publicación orgánica original se conservó en la plataforma. Luego de que el Consejo seleccionara este caso para revisión, Meta eliminó la publicación original por infringir la política de fraude, estafas y prácticas engañosas. Más tarde, Meta confirmó que la publicación también infringía su política de spam.

Los deepfakes y el apoyo con estos están en aumento en todo el mundo, incluidos aquellos que involucran figuras públicas que promocionan campañas políticas fraudulentas y estafas financieras. Según informes, muchas de las estafas financieras en Brasil que se originan en Facebook, Instagram y WhatsApp tienen que ver con contenido manipulado con IA.

Conclusiones principales

La eliminación del contenido es coherente con las responsabilidades de Meta en materia de derechos humanos. Los apoyos manipulados engañosos implican riesgos significativos para los derechos a la privacidad y la reputación de la persona representada. También afectan al público al facilitar un posible fraude.

Al Consejo le preocupa que los revisores de contenido que trabajan en los procedimientos a gran escala no puedan eliminar las publicaciones que crean a una persona falsa o que pretende ser alguien famoso "en un intento de estafar o cometer fraude", incluso cuando el contenido incluye indicadores evidentes de que infringe las políticas de Meta. Solo equipos especializados de Meta pueden eliminar tal contenido, lo que aumenta la probabilidad de que se subaplique su política de fraude, estafas y prácticas engañosas.

Meta probablemente esté permitiendo conservar una cantidad considerable de contenido con estafas en sus plataformas para evitar una posible sobreaplicación de sus políticas en un pequeño subgrupo de apoyo genuino por parte de celebridades. Esto resulta especialmente preocupante dado que es probable que el apoyo genuino de celebridades cuente con otras protecciones frente a la sobreaplicación, ya sea a través de los sistemas formales, como la verificación cruzada, o puntos de contacto en Meta. Por lo tanto, el Consejo recomienda a Meta cambiar su enfoque y aplicar esta parte de la política en los procedimientos a gran escala.

Se nota claramente que el video se manipuló o que es falso. El Consejo determinó que la publicación infringe la prohibición de Meta de mostrar a personas falsas o que pretenden ser alguien famoso con el fin de estafar o cometer fraude conforme a la norma comunitaria sobre fraude, estafas y prácticas engañosas. También infringe la prohibición de Meta de compartir enlaces engañosos conforme a la norma comunitaria sobre spam, ya que se promociona Plinko, pero dirige a otro juego. Por lo tanto, el consejo determinó que la publicación se debió haber eliminado en el momento en que se reportó. Incluso antes de la eliminación de la publicación, Meta debería haber aplicado la etiqueta "Información de IA", conforme a la política de contenido multimedia manipulado. Meta también debería haber rechazado el contenido como publicidad, ya que la norma de publicidad sobre prácticas comerciales no aceptables prohíbe el uso de la imagen de una persona famosa y tácticas engañosas para inducir a las personas a que interactúen con un anuncio.

Meta tiene la responsabilidad de "mitigar las consecuencias negativas sobre los derechos humanos" del contenido monetizado que pudiera conllevar estafas o fraudes en línea con los Principios Rectores sobre las Empresas y los Derechos Humanos de las Naciones Unidas. Cuando recibe pagos por promocionar contenido, Meta debería garantizar que estas publicaciones no infrinjan sus políticas.

Decisión del Consejo asesor de contenido

El Consejo asesor de contenido anuló la decisión de Meta de conservar la publicación en Facebook.

Asimismo, el Consejo le recomendó a Meta:

• Aplicar la prohibición de la política de fraude, estafas y prácticas engañosas de incluir contenido que "intente crear una persona falsa o que pretenda ser una persona famosa con el fin de estafar o defraudar" en los procedimientos a gran escala proporcionándoles a los revisores indicadores para identificar tal contenido. Por ejemplo, la presencia de metadatos y marcas de agua de manipulación de contenido multimedia, o factores evidentes, como el desfase entre el video y el audio.

* Los resúmenes de casos ofrecen información general sobre los casos y no sientan precedentes.

Decisión del caso completa

1. Descripción y contexto del caso

En septiembre de 2024, un usuario publicó un video manipulado con IA de una persona que parecía ser el legendario futbolista brasileño retirado Ronaldo Nazário animando a otras personas a descargarse una app para jugar Plinko. Plinko (o Plinco) es un popular juego online que consiste en dejar caer una bola que atraviesa un tablero lleno de clavijas. Los jugadores ganan distintos premios según el lugar al que llega la bola.

En el comienzo del video, Ronaldo Nazário habla a cámara. Si bien parece realista a primera vista, el audio que imita a la estrella de fútbol no está sincronizado con los movimientos de los labios. El video luego muestra imágenes no realistas generadas con IA de un maestro, un conductor de ómnibus y un trabajador de una tienda de alimentos, así como el salario promedio de sus trabajos en Brasil. En el audio que imita la voz de Ronaldo Nazário, se afirma que Plinko es fácil de jugar y que los jugadores promedio pueden ganar más dinero en el juego que en esos trabajos. Por último, el video anima a los usuarios a hacer clic en un enlace para descargar la app, pero deriva a otro juego llamado Bubble Shooter. La publicación obtuvo más de 600.000 visualizaciones, y diferentes usuarios la reportaron más de 50 veces.

Un usuario reportó el contenido a Meta como fraude o estafa, pero el reporte no se priorizó para revisión manual y la empresa tampoco eliminó el contenido. Luego, el usuario apeló esta decisión a Meta. Dicha apelación tampoco se priorizó para que llegara a la etapa de revisión manual, por lo que el contenido permaneció en la plataforma. El usuario finalmente apeló la decisión de Meta ante el Consejo.

Este usuario indicó que el contenido aparecía como una publicación promocionada. Meta les permite a los usuarios pagar para "promocionar" las publicaciones con el fin de aumentar su visibilidad y llegar a públicos más amplios. Cuando se promociona una publicación, se crea un anuncio a partir de la publicación. De forma separada, Meta le comunicó al Consejo que el anuncio se inhabilitó por infringir la política de la empresa. Por lo tanto, la publicación dejó de promocionarse para aumentar su visibilidad, pero la publicación orgánica original se conservó en la plataforma. Luego de que el Consejo seleccionara este caso para revisión, Meta eliminó la publicación original, ya que determinó que infringía la política de fraude, estafas y prácticas engañosas. La empresa también aplicó una falta estándar en el perfil del usuario que creó la publicación. Más tarde, Meta confirmó que la publicación también infringía su política de spam.

El Consejo destacó el siguiente contexto en cuanto a la decisión que tomó en este caso:

El problema de los deepfakes y el apoyo con deepfakes es cada vez mayor en todo el mundo. Los deepfakes son asuntos sociales y políticos de relevancia en Brasil, que a menudo involucran a figuras públicas influyentes. Por ejemplo, se pudo ver información errónea manipulada con IA, incluido el apoyo falso a candidatos, en las campañas electorales recientes. En 2024, el Ministerio de Deportes de Brasil manifestó inquietudes respecto del contenido de medios sociales que promocionaba juegos de apuestas online y que prometía dinero fácil sin advertir los riesgos asociados. Según informes, muchas de las estafas financieras de Brasil que se originan en Facebook, Instagram y WhatsApp incluyen contenido manipulado con IA (consultar el comentario del público PC-31027, Centre for Advanced Studies in Cyber Law and Artificial Intelligence).

2. Respuestas de los usuarios

El usuario que reportó el contenido mencionó que el video era una mentira y una estafa por usar la imagen de Ronaldo Nazário para inducir a las personas a descargarse un juego y usarlo. También indicó que Meta coloca advertencias y etiquetas en otras publicaciones, pero que no colocó ninguna en este caso ni eliminó la publicación. Expuso que el contenido aparecía como una publicación promocionada y que era visiblemente falso.

3. Respuestas y políticas de contenido de Meta

I. Políticas de contenido de Meta

Norma comunitaria sobre fraude, estafas y prácticas engañosas

En las bases de la política de fraude, estafas y prácticas engañosas, se establece que el "objetivo [de Meta] es proteger a los usuarios y negocios para evitar que los engañen para robarles dinero, bienes o información personal". Para ello, elimina contenido que "intencionalmente usa medios engañosos, como representación engañosa intencional, información robada y afirmaciones exageradas, para estafar o engañar a los usuarios y negocios, o para impulsar la interacción".

En la sección de la política que indica que Meta requiere "información o contexto adicionales para hacer cumplir [la norma]", se establece que la empresa "puede eliminar contenido" que "intente crear una persona falsa o que pretenda ser una persona famosa con el fin de estafar o defraudar". Esto significa que solo los equipos de revisión especializados de Meta pueden aplicar esta regla y que los revisores de los procedimientos a gran escala no pueden hacerlo.

Norma comunitaria sobre spam

En las bases de la política de spam, se explica que Meta no permite "contenido que esté diseñado para engañar, confundir o abrumar a los usuarios para aumentar las visualizaciones de forma artificial". Las reglas prohíben el contenido con enlaces engañosos, definido como "contenido que incluye un enlace que promete un tipo de contenido, pero muestra algo sustancialmente distinto".

Norma comunitaria sobre información errónea

En la norma comunitaria sobre información errónea, se indica que Meta elimina contenido únicamente "cuando tiene probabilidades de contribuir de manera directa al riesgo de un daño físico inminente" o "es probable que contribuya de manera directa a interferir en el funcionamiento de los procesos políticos". La empresa también "[requiere] que las personas avisen, mediante [su] herramienta de aviso de IA, cada vez que publican contenido orgánico con videos fotorrealistas o audios con sonido realista creados o alterados digitalmente".

Si el contenido multimedia manipulado no infringe de otra forma las Normas comunitarias, es posible que Meta "[coloque] una etiqueta informativa por encima o que lo rechacemos si se envía como un anuncio cuando el contenido es una imagen, un video o un audio que parece real, que se creó o alteró digitalmente y genera un riesgo particularmente alto de engañar materialmente al público en asuntos de importancia pública".

Norma de publicidad sobre prácticas comerciales no aceptables

En la política de prácticas comerciales no aceptables, se explica que los anuncios "no deben promocionar productos, servicios, esquemas ni ofertas usando prácticas engañosas o fraudulentas identificadas". En sus normas para anuncios, Meta prohíbe el "[uso de] la imagen de una persona famosa y tácticas engañosas para inducir a las personas a que interactúen con un anuncio".

II. Respuestas de Meta

A raíz de que el Consejo seleccionara este caso, Meta determinó que había cometido un error en su decisión de conservar el contenido y eliminó la publicación por infringir la norma comunitaria sobre fraude, estafas y prácticas engañosas. Meta indicó que la publicación infringía su prohibición de contenido que "intente crear una persona falsa o que pretenda ser una persona famosa con el fin de estafar o defraudar". Meta explicó que, al hacer parecer con ayuda de IA que Ronaldo Nazário estaba usando o promocionando un juego online, el video intentaba estafar a las personas para que usaran un producto que, de otro modo y sin dicho apoyo, no hubieran descargado.

En respuesta a las preguntas del Consejo sobre la aplicación de políticas en contenido con personas falsas, Meta explicó que aplica la política solamente en la etapa de escalamiento para garantizar que la persona representada en el contenido no haya apoyado el producto genuinamente. Meta indicó que esto requiere un análisis que depende en gran medida del contexto y conocimientos especializados. Meta afirmó: "La interpretación de los revisores de los procedimientos a gran escala de qué constituye una 'persona falsa' podría variar en las distintas regiones y generar inconsistencias en la aplicación de las políticas".

Meta también determinó que el contenido infringía su norma comunitaria sobre spam, que prohíbe el uso de enlaces engañosos. En este caso, la publicación incluía un enlace que dirigía a un juego que no era Plinko. Para Meta, el uso de un enlace a otro juego sugiere que el contenido se diseñó para estafar o defraudar a las personas o para generar interacción de forma engañosa.

Meta le informó al Consejo que eliminar este contenido también protegía los derechos y la reputación de otras personas. Concluyó que "los riesgos relativos a la autenticidad superaban el valor de expresión y que no había un medio menos intrusivo disponible para limitar este contenido que no fuera la eliminación".

El Consejo le hizo diez preguntas a Meta, por ejemplo, acerca de sus prácticas de aplicación de políticas, cómo etiqueta el contenido multimedia manipulado y cuál es su enfoque respecto de las estafas que usan imágenes de celebridades para generar interacción con contenido orgánico y pagado. Meta respondió todas las preguntas.

En respuesta a las preguntas del Consejo sobre el etiquetado de contenido manipulado con IA, Meta indicó que no etiquetó la publicación como contenido generado con IA antes de su eliminación. De acuerdo con Meta, el video "no incluía los indicadores estándar del sector que señalan que es contenido generado con IA ni tenía una aclaración del usuario".

4. Comentarios del público

El Consejo recibió cuatro comentarios del público que cumplieron las condiciones de presentación: un comentario de Latinoamérica y el Caribe, uno de Oriente Medio y África del Norte, uno de los Estados Unidos y Canadá, y uno de Asia central y meridional. Para leer los comentarios del público enviados con consentimiento de publicación, haz clic aquí.

Los comentarios enviados se referían a los siguientes temas: el impacto socioeconómico de los deepfakes, la efectividad de las prácticas de aplicación de políticas de Meta y las consecuencias de la decisión de Meta de dejar de aplicar las políticas de forma proactiva respecto de ciertas categorías de contenido.

5. Análisis del Consejo asesor de contenido

El Consejo analizó la decisión de Meta en este caso en relación con sus políticas de contenido, valores y responsabilidades en materia de derechos humanos. Asimismo, el Consejo evaluó las implicaciones de este caso para el enfoque más general de Meta en cuanto a la gobernanza de contenido.

El Consejo seleccionó este caso para examinar por primera vez los desafíos involucrados en la aplicación de las políticas de fraude, estafas y prácticas engañosas y de spam de Meta. Se espera que el volumen de contenido multimedia manipulado utilizado para estafar aumente, en particular, con los avances de la IA generativa. Este caso recae dentro de la prioridad estratégica del Consejo respecto de aplicación automática de políticas y selección de contenido.

5.1 Cumplimiento de las políticas de contenido de Meta

I. Reglas de contenido

El Consejo determinó que la publicación infringe la prohibición de Meta de "crear una persona falsa o que pretenda ser una persona famosa con el fin de estafar o defraudar", conforme a la norma comunitaria sobre fraude, estafas y prácticas engañosas. El video hace parecer que Ronaldo Nazário está alentando a otras personas a descargarse una app de juegos de apuestas con la cual pueden ganar dinero fácilmente. Se nota claramente que el video se manipuló o que es falso, ya que es evidente que el audio que imita a la estrella del fútbol no está sincronizado con los movimientos de los labios. El Consejo no halló ningún informe de carácter público que sugiriera que Ronaldo Nazário apoya a este juego.

Asimismo, el Consejo determinó que la publicación infringía la prohibición de Meta de compartir enlaces engañosos, conforme a su norma comunitaria sobre spam, ya que el contenido "incluye un enlace que promete un tipo de contenido, pero muestra algo sustancialmente distinto". El video promociona Plinko y anima a los usuarios a descargarse el juego, pero el enlace incluido dirige a otro juego.

II. Aplicación de políticas

Meta tuvo varias oportunidades de revisar y eliminar este contenido antes de que llegara al Consejo. A pesar de que el video obtuvo más de 600.000 visualizaciones y de que más de 50 usuarios lo reportaron, Meta no priorizó esta publicación para revisión cuando se reportó por primera vez ni cuando más tarde se realizó la apelación.

Antes de su eliminación, se debió haber etiquetado conforme a la norma comunitaria sobre información errónea de Meta para indicar que incluía contenido multimedia manipulado. En la decisión del caso Video alterado del presidente Biden, el Consejo recomendó que Meta debía etiquetar el contenido manipulado para evitar que los usuarios fueran engañados sobre su autenticidad. Meta implementó esta recomendación. En este caso, el video se alteró digitalmente para engañar a los usuarios para que creyeran que Ronaldo Nazário, una figura pública reconocida, apoyaba la app de juegos de apuestas. Conforme a su nuevo enfoque respecto del contenido generado con IA, Meta debería haber aplicado la etiqueta "Información de IA" para indicar que el contenido se había alterado o creado de forma digital.

Meta etiqueta el contenido manipulado engañoso sobre la base de metadatos y marcas de agua. La empresa le indicó al Consejo que "etiquetó una gran cantidad de contenido siguiendo este enfoque", pero que no divulga públicamente estadísticas relativas a la eficacia de dicho enfoque. Para el contenido que no incluye tales marcadores (por ejemplo, esta publicación), puede haber otros indicadores de que se trata de contenido generado con IA. En esta publicación, el audio y el video no estaban sincronizados, y el video incluía imágenes generadas con IA de baja calidad. Según destacaron los expertos a los que consultó el Consejo y autoridades públicas, un desfase entre el video y el audio es un indicador clave de que el contenido se manipuló con IA. También citaron otros indicadores, como movimientos faciales no naturales, inconsistencias en las luces y las sombras, y la falta de coherencia y continuidad en el movimiento.

Al Consejo también le preocupa que los revisores de contenido que trabajan en los procedimientos a gran escala no puedan eliminar las publicaciones que crean a una persona falsa o que pretende ser alguien famoso "en un intento de estafar o cometer fraude", según lo prohíbe la política. El motivo de esto es que solo los equipos especializados de Meta pueden eliminar tal contenido. Este enfoque aumenta la probabilidad de que se subaplique la política de fraude, estafas y prácticas engañosas de Meta. Si bien algunas publicaciones podrían requerir conocimientos especializados para identificar la inclusión de personas falsas, otras (como la de este caso) podrían resolverse en los procedimientos a gran escala.

Meta también debería haber rechazado el contenido como publicidad, ya que su norma de publicidad sobre prácticas comerciales no aceptables prohíbe el uso de la "imagen de una persona famosa y tácticas engañosas para inducir a las personas a que interactúen con un anuncio". Asimismo, Meta declaró públicamente que evalúa los anuncios con tecnología de reconocimiento facial para detectar deepfakes con celebridades. Meta le informó al Consejo que su sistema de revisión de anuncios, que se basa principalmente en automatización, está "diseñado para revisar todos los anuncios antes de que comiencen a circular". A pesar de estos mecanismos, parece que Meta de todos modos aceptó este contenido como publicidad. Más tarde, Meta le informó al Consejo que el anuncio se inhabilitó por infringir su norma de publicidad sobre prácticas comerciales no aceptables, pero el contenido orgánico permaneció activo en la plataforma. El hecho de que Meta determinara que el contenido infringía una norma de publicidad e inhabilitara el anuncio no desencadenó ninguna revisión adicional por posibles infracciones de las Normas comunitarias para la publicación orgánica subyacente, a pesar de la superposición clara de las políticas. Para cerrar esta brecha, la empresa podría iniciar una revisión de las políticas de contenido orgánico cuando se determina que cierto contenido infringe una política de publicidad.

5.2 Cumplimiento de las responsabilidades de Meta en materia de derechos humanos

El Consejo determinó que la eliminación del contenido de Facebook fue coherente con las responsabilidades de Meta en materia de derechos humanos.

El artículo 19(2) del Pacto Internacional de Derechos Civiles y Políticos (ICCPR) brinda una amplia protección a la expresión. Esto incluye "la libertad de buscar, recibir y difundir información e ideas de toda índole". El Comité de Derechos Humanos enumera formas de expresión específicas en el artículo 19 y manifiesta que el derecho a la libertad de expresión puede incluir la publicidad comercial (observación general n.º 34, párrafo 11).

Si un Estado impone restricciones sobre la libertad de expresión, estas deben cumplir los requisitos de legalidad, fin legítimo y necesidad y proporcionalidad (artículo 19, párrafo 3, ICCPR). Se suele hacer referencia a estos requisitos como "prueba de tres partes". El Comité de Derechos Humanos destacó que esta prueba también tiene relevancia en contextos de publicidad comercial (observación general n.º 34, párrafo 33). El Consejo utiliza este marco para interpretar las responsabilidades de Meta en materia de derechos humanos en línea con los Principios Rectores sobre las Empresas y los Derechos Humanos de las Naciones Unidas, que Meta se comprometió a cumplir en su Política corporativa de derechos humanos. El Consejo lo hace tanto respecto de la decisión sobre el contenido en particular en revisión como de lo que esto pone de manifiesto acerca del enfoque más amplio de Meta en relación con la gestión del contenido. Como indicó el Relator Especial de la ONU sobre libertad de expresión, "las empresas no tienen las obligaciones de los Gobiernos, pero sus efectos son de un tipo que les obliga a evaluar el mismo tipo de cuestiones sobre la protección del derecho de sus usuarios a la libertad de expresión" (A/74/486, párrafo 41).

El Consejo en reiteradas ocasiones resaltó la importancia de proteger el discurso político y social (observación general n.º 34, párrafo 38). Esas consideraciones no tienen validez en este caso. El Consejo determinó que esta publicación es discurso comercial que puede limitarse si se cumple la prueba de tres partes.

I. Legalidad (claridad y accesibilidad de las reglas)

El principio de legalidad exige que las reglas que limitan la expresión sean accesibles y claras, y estén formuladas con precisión suficiente para que una persona pueda regular su comportamiento de conformidad con ellas (observación general n.º 34, párrafo 25). Las personas que usan las plataformas de Meta deben ser capaces de acceder a las reglas y entenderlas, y los revisores de contenido deben tener pautas claras respecto de su aplicación.

El Consejo determinó que la claridad y la accesibilidad de las reglas de la política de fraude, estafas y prácticas engañosas de Meta son suficientes. Al Consejo le resulta evidente que la prohibición de "crear una persona falsa o que pretenda ser una persona famosa con el fin de estafar o defraudar" abarca a las publicaciones que usan el parecido con una figura pública para apoyar de forma fraudulenta un producto o una app.

II. Fin legítimo

Cualquier restricción declarada sobre la libertad de expresión debe procurar uno o más de los fines legítimos mencionados en el ICCPR, como proteger los derechos o la reputación de los demás. La prohibición de Meta de publicaciones que crean personas falsas para estafar o defraudar a otras personas cumple los dos fines. En primer lugar, procura proteger a las personas de estafas y fraudes (artículo 17 de la Declaración Universal de los Derechos Humanos). En segundo lugar, protege los derechos y la reputación de las personas representadas, ya que este contenido afecta su derecho a la privacidad y su capacidad para decidir cómo se crean y divulgan las imágenes de ellas mismas (artículo 17 del ICCPR; consultar también la decisión del caso Imágenes de IA explícitas de figuras públicas femeninas).

III. Necesidad y proporcionalidad

El principio de necesidad y proporcionalidad previsto en el artículo 19(3) del ICCPR exige que las restricciones que se apliquen a la expresión "deben ser adecuadas para desempeñar su función protectora; deben ser el instrumento menos perturbador de los que permitan conseguir el resultado deseado, y deben guardar proporción con el interés que debe protegerse". Asimismo, conforme a los Principios Rectores sobre las Empresas y los Derechos Humanos de las Naciones Unidas (UNGP), las medidas de una empresa en respuesta a un daño potencial deben considerar su capacidad de influencia para perjudicar los derechos humanos (UNGP 19[b]).

El Consejo determinó que la decisión eventual de Meta de eliminar el contenido de Facebook fue una medida necesaria y proporcionada. En este caso, la eliminación es la medida menos intrusiva para proteger al público de estafas, en particular, a aquellas personas con reducida alfabetización digital, así como para evitar el uso indebido de la imagen de Ronaldo Nazário. El impacto en su privacidad y reputación es inmediato, y podría ocasionarse un daño financiero en el público, por lo que Meta debería eliminar dicho contenido.

Aplicación de políticas

Meta tiene la responsabilidad de "mitigar las consecuencias negativas sobre los derechos humanos" del contenido monetizado que pudiera conllevar estafas o fraudes, en línea con los UNGP. Si Meta recibe pagos por aumentar el alcance del contenido a través de su programa de promoción, la empresa debería prestar especial atención a garantizar que estas publicaciones no infrinjan sus políticas.

Estos apoyos, en especial, cuando se crean con herramientas de IA generativa, pueden ser difíciles de detectar para quienes los ven. La disponibilidad de herramientas de IA generativa avanzadas para crear videos aumentó drásticamente en los últimos años y es probable que lo siga haciendo. Como se mencionó anteriormente, los informes destacan que algunas estafas financieras de Brasil se originan en Facebook, Instagram y WhatsApp, incluso aquellas que usan deepfakes.

Los anuncios y el contenido orgánico con deepfakes de Plinko no parecen ser un asunto nuevo. Como parte de su investigación para este caso, el Consejo buscó en la biblioteca de anuncios de Meta contenido sobre la "app Plinko". En el momento de la búsqueda, el Consejo encontró más de 3.900 anuncios activos de dicho contenido, y alrededor de 3.500 de estos incluían videos. De estos videos, varios mostraban apoyos similares generados con IA, incluidos deepfakes del futbolista portugués Cristiano Ronaldo. En términos de contenido orgánico, el Consejo también detectó deepfakes que mostraban al director ejecutivo de Meta, Mark Zuckerberg, apoyando a Plinko.

Al Consejo le preocupa que los revisores de contenido que trabajan en los procedimientos a gran escala no puedan eliminar las publicaciones que crean a una persona falsa o que pretende ser alguien famoso "en un intento de estafar o cometer fraude", incluso cuando el contenido incluye indicadores evidentes de que infringe las políticas de Meta. El enfoque de Meta de solo aplicar esta política luego de buscar contexto adicional en la etapa de escalamiento favorece la subaplicación de las políticas en el contenido infractor. En función de informes públicos, incluidos bases de datos de incidentes reportados e informes periodísticos, el Consejo destacó que, para evitar una posible sobreaplicación de sus políticas en un pequeño subgrupo de apoyo genuino por parte de celebridades, la empresa probablemente esté permitiendo conservar una cantidad considerable de contenido con estafas en sus plataformas. Esto resulta especialmente preocupante dado que es probable que el contenido de apoyo genuino de celebridades cuente con otras protecciones frente a la sobreaplicación, ya sea a través de los sistemas formales, como la verificación cruzada, o puntos de contacto en Meta. Por lo tanto, el Consejo recomienda a Meta cambiar su enfoque y aplicar esta parte de la política en los procedimientos a gran escala.

6. Decisión del Consejo asesor de contenido

El Consejo asesor de contenido anuló la decisión original de Meta de conservar la publicación en Facebook.

7. Recomendaciones

Aplicación de políticas

1. Para combatir mejor el apoyo con celebridades manipulado y engañoso, Meta debería aplicar la prohibición de la política de fraude, estafas y prácticas engañosas de incluir contenido que "intente crear una persona falsa o que pretenda ser una persona famosa con el fin de estafar o defraudar" en los procedimientos a gran escala proporcionándoles a los revisores indicadores para identificar tal contenido. Por ejemplo, la presencia de metadatos y marcas de agua de manipulación de contenido multimedia, o factores evidentes, como el desfase entre el video y el audio.

El Consejo considerará que la recomendación está implementada cuando tanto las normas de acceso público como las internas privadas se actualicen para reflejar este cambio.

* Nota de procedimiento:

• La preparación de las decisiones del Consejo asesor de contenido está a cargo de paneles conformados por cinco miembros, quienes deben aprobarlas por mayoría. Las decisiones del Consejo no necesariamente representan las opiniones de todos los miembros.
• En virtud de su acta constitutiva, el Consejo asesor de contenido tiene la facultad de revisar apelaciones de usuarios cuyo contenido fue eliminado por Meta, apelaciones de usuarios que reportaron contenido que Meta mantuvo publicado y decisiones que Meta le presente (artículo 2, sección 1, del acta constitutiva). El Consejo tiene autoridad vinculante para ratificar o anular las decisiones sobre contenido de Meta (artículo 3, sección 5, y artículo 4 del acta constitutiva). El Consejo podrá emitir recomendaciones no vinculantes a las que Meta deberá responder (artículo 3, sección 4, y artículo 4). Cuando Meta se compromete a tomar medidas respecto de las recomendaciones, el Consejo supervisa su implementación.
• En cuanto a la decisión del caso, se encargó una investigación independiente en nombre del Consejo. El Consejo recibió asistencia de Duco Advisors, una empresa asesora dedicada a la intersección de geopolítica, confianza, seguridad y tecnología.

Volver a Decisiones de casos y opiniones consultivas sobre políticas