Identificar y etiquetar audio y video manipulados con IA a gran escala

El Consejo asesor de contenido anuló la decisión de Meta de no etiquetar un clip de audio probablemente manipulado en el que dos políticos kurdos iraquíes debaten sobre manipular las elecciones parlamentarias, a menos de dos semanas de la apertura de las urnas, en el contexto de una elección altamente disputada y polarizada. El Consejo exige que Meta etiquete el contenido.

Al Consejo le preocupa que, a pesar de la creciente prevalencia de contenido manipulado en distintos formatos, la aplicación de la política de medios manipulados por parte de Meta sea incoherente. Meta debe priorizar la inversión en tecnología para identificar y etiquetar contenidos de audio y video manipulados a gran escala, de manera que los usuarios estén debidamente informados.

Como en este caso, la falta cometida por Meta al aplicar automáticamente una etiqueta a todas las instancias del mismo contenido manipulado resulta incoherente e injustificable.

Además, Meta debe garantizar que las etiquetas para el contenido manipulado estén disponibles en el idioma local ya habilitado en sus plataformas. Esto debe formar parte, al menos, de los esfuerzos de Meta por garantizar la integridad electoral.

Sobre el caso

Menos de dos semanas antes de las elecciones parlamentarias en el Kurdistán iraquí, en octubre de 2024, un medio de comunicación popular afiliado a uno de los principales partidos políticos de la región, el Partido Demócrata del Kurdistán (Kurdistan Democratic Party, KDP), compartió en su página de Facebook un clip de audio de dos minutos. El texto de la publicación, en kurdo sorani, afirma que el audio corresponde a una “conversación grabada” entre los hermanos Bafel y Qubad Talabani, miembros del otro partido político principal de la región, la Unión Patriótica del Kurdistán (Patriotic Union of Kurdistan, PUK), sobre sus “planes siniestros” para manipular las elecciones de octubre de 2024. En el audio, dos hombres hablan con una voz en off en inglés (con subtítulos en kurdo sorani e inglés). Uno de los hombres afirma que se ha garantizado un “mínimo de 30 escaños” para la PUK, pero que deben “deshacerse” de los “11 escaños” que el KDP supuestamente “siempre ha utilizado a su favor”. El otro hombre está de acuerdo y subraya la necesidad de hacer que parezca que esos escaños se han ganado legítimamente, ya que la gente lo sabe, pero no puede probar que la PUK cuenta con el respaldo de Bagdad y de su “vecino”. La página de Facebook del medio cuenta con aproximadamente 4 000 000 de seguidores. La publicación ha tenido cerca de 200 000 visualizaciones.

Dos usuarios denunciaron el contenido por información errónea, pero Meta cerró los reportes sin realizar una revisión. Después de que uno de esos usuarios apelara a Meta, la empresa mantuvo su decisión basada en una puntuación del clasificador. El usuario, entonces, apeló ante el Consejo asesor de contenido.

Meta identificó otras publicaciones con el mismo clip de audio en las páginas de Facebook e Instagram del mismo medio de comunicación y en la página de Facebook del KDP. Tras consultar con un medio informativo externo al Kurdistán iraquí y con un socio de confianza para revisar la posibilidad de que el audio se hubiera creado digitalmente, Meta etiquetó algunas de las publicaciones, pero no el contenido en este caso. La etiqueta que se aplicó a otras publicaciones con el mismo audio indica: “Este contenido puede haberse creado digitalmente o modificado para parecer real”.

Conclusiones clave

En lo que respecta a la identificación de contenido creado o manipulado con IA en sus plataformas, Meta informó al Consejo que solo tiene la capacidad de identificar y etiquetar automáticamente imágenes estáticas, pero no contenido de video o audio. Dado el nivel de experiencia y los recursos con los que cuenta la empresa, así como el amplio uso de sus plataformas, Meta debe priorizar la inversión en tecnología para identificar y etiquetar videos y audios manipulados a gran escala.

La falta de implementación por parte de Meta de las herramientas necesarias para aplicar automáticamente la etiqueta “Información generada por IA” a todas las instancias del mismo contenido manipulado resulta incoherente e injustificable. En el caso Video manipulado del presidente Biden, Meta se comprometió a implementar la recomendación del Consejo de que, cuando se trate de contenido manipulado que no infrinja otras normas comunitarias, la empresa debe aplicar una etiqueta a “todas las instancias idénticas de ese contenido en la plataforma”. La afirmación de Meta en este caso, de que no aplica automáticamente la etiqueta de “Alto riesgo” al contenido que contiene el audio, contradice esa recomendación. “Información generada por IA” y “Alto riesgo” son etiquetas informativas que Meta utiliza para contenido manipulado.

El Consejo observa que existen indicadores confiables, incluidas señales técnicas, que apuntan a que el clip fue creado digitalmente. Este cumple con los criterios de contenido manipulado establecidos en la política de información errónea de Meta. Colocar una etiqueta de “Alto riesgo” es coherente con las políticas de Meta y con sus responsabilidades en materia de derechos humanos. El audio fue publicado durante un periodo electoral muy reñido en una región con antecedentes de elecciones irregulares. Esto aumenta la capacidad del audio para influir en las decisiones electorales y perjudicar la integridad del proceso electoral. Aplicar una etiqueta informativa al contenido del caso, en lugar de eliminarlo por completo, se ajusta a los requisitos de necesidad y proporcionalidad.

Al Consejo le preocupa que las etiquetas de contenido manipulado de Meta no estén disponibles en kurdo sorani. Esto a pesar de que el kurdo sorani es uno de los idiomas disponibles dentro de la aplicación para los usuarios de Facebook. Para garantizar que los usuarios estén informados cuando el contenido se ha creado o alterado digitalmente, Meta debe, como mínimo, incorporar esta etiqueta en el idioma local ya disponible en sus plataformas como parte de sus esfuerzos para proteger la integridad electoral.

Al Consejo también le preocupa que la empresa dependa de terceros para realizar evaluaciones técnicas sobre la posible manipulación de contenido. Meta debería reconsiderar la posibilidad de incorporar este tipo de especialización técnica a nivel interno.

El Consejo señala que la cuestión en este caso es si el audio es real o falso, más allá de si lo que se dice en él es cierto. Dado que etiquetar el audio como probablemente creado o alterado digitalmente también alertaría a los usuarios sobre la veracidad de su contenido, el Consejo considera que la aplicación de la política de información errónea sobre el contenido manipulado es suficiente. No obstante, al Consejo le preocupa que Meta no contara con verificadores de datos que hablen kurdo durante el proceso electoral, como parte de sus medidas de integridad electoral.

La decisión del Consejo asesor de contenido

El Consejo asesor de contenido anula la decisión de Meta de no etiquetar el contenido y exige que se aplique una etiqueta a la publicación.

Además, el Consejo recomienda que Meta haga lo siguiente:

  • Aplicar una etiqueta pertinente a todo el contenido con el mismo material manipulado, incluidas todas las publicaciones que contienen el audio manipulado en este caso.
  • Asegurar que las etiquetas informativas para el contenido manipulado en Facebook, Instagram y Threads se muestren en el mismo idioma que el usuario haya seleccionado para la plataforma.

Más información

Para leer los comentarios públicos sobre este caso, haga clic aquí.

Volver a Noticias