Video generado con IA de una activista

Resumen

El Consejo asesor de contenido está exigiendo que Meta elimine de Facebook un video generado con IA en el que se hace bullying a una joven musulmana mediante la manipulación de su imagen como parte de una serie viral de publicaciones similares en medios sociales. El Consejo considera que las políticas de bullying y acoso de Meta son insuficientes para abordar la problemática de las imágenes manipuladas con IA de personas que no suelen tener exposición pública.

Por qué es importante

La decisión se da en un momento en que la IA generativa está creando nuevos riesgos para las mujeres y las niñas, con un aumento en la magnitud, la velocidad y la gravedad del abuso ejercido. Según un informe de 2025 de ONU Mujeres, la principal entidad de las Naciones Unidas (ONU) dedicada a la igualdad de género, muchos ataques suelen ser deliberados y coordinados, y su objetivo es silenciar a las mujeres en la vida pública. Los videos generados con IA están cambiando la naturaleza del acoso online y afectan considerablemente los derechos de los usuarios de Meta, incluidos los derechos a la participación pública de las mujeres musulmanas, y de las mujeres y las niñas en general. En estos ataques se suele distorsionar no solo la apariencia de una persona, sino también sus acciones y sus dichos de una manera que la perjudica.

Información sobre el caso

En 2025, una joven musulmana fue entrevistada en un programa de televisión en Europa en relación con su participación como voluntaria en una campaña para mejorar la educación sobre salud menstrual y reducir el estigma en torno a las afecciones de salud que afectan a mujeres y niñas de minorías étnicas. En los meses posteriores, cuentas de diferentes plataformas de medios sociales manipularon digitalmente las imágenes de la entrevista para ridiculizarla mediante la creación de una aparente contradicción entre su rol de promotora de la salud y su apariencia, en un intento evidente por sugerir que no era la persona adecuada para hablar sobre temas de salud. En estos videos se utiliza su imagen para manipular sus acciones y sus dichos. Las imágenes y los videos generados con IA en conjunto obtuvieron decenas de millones de visualizaciones en diferentes plataformas, incluidas las de Meta.

A partir de la apelación de un usuario, el Consejo seleccionó una publicación de Facebook como uno de los ejemplos del abuso cometido contra esta mujer. La publicación incluye un video generado con IA en el que la mujer se presenta como la nueva embajadora de su país en asuntos de salud. Esta afirmación falsa se repite en el pie de video, junto con un emoji de risa. Se muestra su imagen diciendo que va a enseñar cómo mantenerse en forma, y luego se la ve realizando una serie de ejercicios limitados o absurdos y dando consejos sobre alimentación saludable mientras consume comida chatarra. En varios comentarios que aparecen debajo del video, diferentes usuarios ridiculizan a la mujer, principalmente debido a su peso y por llevar hiyab.

En relación con el usuario que apeló al Consejo, tanto su reporte inicial a Meta como su apelación posterior a la empresa se cerraron automáticamente sin priorizarse para revisión. Desde entonces, Meta confirmó al Consejo que su decisión de ignorar la publicación y mantenerla en la plataforma sin incluir una etiqueta de IA era congruente con sus políticas. Solo cuando el Consejo le realizó preguntas respecto de cuatro comentarios denigrantes en la publicación, Meta tomó medidas para eliminar dichos comentarios y confirmó que infringían la prohibición de bullying y acoso relativa a las comparaciones deshumanizantes.

Conclusiones principales

La mayoría del Consejo considera que se debe eliminar el video porque infringe la política de bullying y acoso de Meta. En particular, contiene una declaración de inferioridad sobre el aspecto físico de una persona no pública, utiliza la IA para distorsionar sus dichos y acciones sin su consentimiento y formó parte de una campaña de acoso masivo contra la persona afectada.

Para la mayoría, la definición de Meta de "imágenes manipuladas no deseadas", que constituye una de las prohibiciones en materia de bullying y acoso, es demasiado restrictiva y debería incluir la distorsión de las acciones y los dichos de una persona, además de la alteración de su apariencia.

Según la mayoría, Meta también define las campañas de acoso masivo de manera demasiado restrictiva, y la empresa debería adoptar nuevas medidas para reducir la carga que recae sobre las víctimas que reportan estas situaciones. Estas medidas incluyen agregar el contenido manipulado no deseado que infringe las normas al banco de coincidencias de contenido multimedia de la empresa para que se elimine cualquier contenido idéntico o casi idéntico, y utilizar señales de que se trata de contenido manipulado o generado con IA como indicador de gravedad para priorizar la revisión de dichos reportes.

Una minoría del Consejo consideró que el contenido no se ajustaba a la definición de bullying y acoso de Meta, y que mantenerlo publicado resultaba coherente con las responsabilidades de la empresa en materia de derechos humanos.

Decisión del Consejo asesor de contenido

El Consejo anuló la decisión de Meta de conservar el contenido y exigió que se eliminara la publicación.

El Consejo destacó la importancia de sus recomendaciones anteriores en las que exhortó a permitir que cuentas de terceros reporten contenido relacionado con bullying y acoso.

Adicionalmente, le recomendó a Meta lo siguiente:

• Ampliar la definición pública de "imágenes manipuladas no deseadas" para incluir deepfakes de personas no públicas donde se las muestre diciendo o haciendo cosas que no dijeron ni hicieron.
• Agregar las instancias de "imágenes manipuladas no deseadas" que infrinjan las normas a los bancos de coincidencias de contenido multimedia para su eliminación.
• Utilizar señales de contenido multimedia manipulado o generado con IA como indicador de gravedad con el fin de priorizar los reportes para su revisión.

* Los resúmenes de casos ofrecen información general sobre los casos y no sientan precedentes.

Decisión del caso completa

1. Descripción y contexto de los casos

En 2025, una joven musulmana fue entrevistada en un noticiero de Europa en su carácter de voluntaria de una campaña destinada a mejorar la educación sobre salud menstrual y reducir el estigma en torno a las afecciones de salud que afectan a mujeres y niñas de minorías étnicas. En los meses posteriores, cuentas de diferentes plataformas de medios sociales manipularon estas imágenes de la joven para ridiculizarla mediante la creación de una aparente contradicción entre su rol de promotora de la salud y su apariencia. Las imágenes constituían un intento evidente de hacer hincapié en su peso y sugerir que no era la persona adecuada para hablar sobre temas de salud. Las imágenes y los videos generados con IA incluían una serie de escenas humillantes y deshumanizantes, como montajes donde se ve a la joven consumiendo grandes cantidades de comida, teniendo dificultades para hacer ejercicio en un gimnasio y representada como un animal. En conjunto, obtuvieron decenas de millones de visualizaciones en diferentes plataformas, incluidas las de Meta.

La publicación analizada en este caso es solo un ejemplo del abuso cometido contra la mujer. Incluye un video generado con IA en el que se muestra a la mujer fuera de contexto presentándose como la nueva embajadora de su país en asuntos de salud. Esta afirmación falsa, que las organizaciones de verificación de datos ya habían desmentido en relación con otras publicaciones, se repite en el pie de video, junto con un emoji de risa. En el video generado con IA, se muestra su imagen diciendo que va a enseñar cómo mantenerse en forma y, luego, se la ve realizando una serie de ejercicios limitados o absurdos y dando consejos sobre alimentación saludable mientras consume comida chatarra. En la entrevista original, no hablaba sobre alimentación saludable ni ejercicio, sino que se refería a la importancia de educar a las mujeres y a la niñas sobre salud menstrual en relación con afecciones como la endometriosis.

La publicación tuvo más de 5.000 visualizaciones, 200 reacciones y 50 comentarios. En varios comentarios que aparecen debajo del video publicados por diferentes usuarios, se ridiculiza la apariencia de la mujer, principalmente debido a su peso y por llevar hiyab.

En el caso del usuario que apeló al Consejo, sus reportes no se priorizaron para revisión. Desde entonces, Meta confirmó al Consejo que mantener la publicación en la plataforma sin incluir una etiqueta de IA era congruente con sus políticas. Solo cuando el Consejo le realizó preguntas respecto de cuatro comentarios denigrantes en la publicación, Meta tomó medidas para eliminar dichos comentarios y confirmó que infringían la prohibición de bullying y acoso relativa a las comparaciones deshumanizantes. En respuesta a las preguntas del Consejo, Meta manifestó que no identificó ninguna otra instancia en la que hubiese tomado medidas sobre los videos deepfake de la mujer durante el período relevante.

La IA generativa ha creado nuevos riesgos online, en especial para las mujeres y las niñas, con un aumento en la magnitud, la velocidad y la gravedad del abuso ejercido. Según un informe de ONU Mujeres publicado en 2025, el 38% de las mujeres de 51 países han experimentado personalmente algún tipo de abuso online, que puede incluir el ciberacoso. El informe destaca que "las herramientas de IA más populares pueden… tener consecuencias no deseadas en cuanto al aumento de los sesgos o la intensificación de la violencia y el abuso. Por ejemplo, las herramientas de IA más populares pueden utilizarse para crear campañas de desinformación o para crear y difundir contenido que incita al odio y campañas de acoso de manera automática y a gran escala". Muchos ataques suelen ser deliberados y coordinados y tienen por objeto silenciar a las mujeres en la vida pública.

Según un informe de 2026 del Grupo de Trabajo sobre la discriminación contra las mujeres y las niñas de la ONU: "la violencia de género facilitada por la tecnología no constituye un conjunto aislado de abusos en línea, sino una herramienta estructural de discriminación que restringe la participación de las mujeres y las niñas en la vida pública, política y cívica. La violencia virtual suele reflejar y amplificar los patrones de violencia y represión presentes en los espacios públicos físicos. Al excluir a las mujeres y a las niñas de los espacios digitales, la violencia de género facilitada por la tecnología refuerza la desigualdad, socava la autonomía y debilita las condiciones necesarias para una participación democrática inclusiva, poniendo así en peligro sus derechos humanos, en contravención de lo dispuesto en el artículo 19 del Pacto Internacional de Derechos Civiles y Políticos…" (A/HRC/62/48, párrafo 49). La Oficina del Alto Comisionado de las Naciones Unidas para los Derechos Humanos (ACNUDH) informó en 2026 que el 70% de las mujeres de América del Norte y Europa han sufrido alguna forma de violencia de género facilitada por la tecnología, lo que incluye el acoso online. Los comentarios del público en relación con el caso también ponen de manifiesto los desafíos específicos que enfrentan las mujeres que se pronuncian sobre temas considerados "tabú" en algunos contextos relacionados con cuestiones de género y salud sexual (consulta PC-32637, Charlotte Manson, City Law School).

En enero de 2026, el Comité de Mujeres e Igualdad del Parlamento del Reino Unido documentó que las mujeres musulmanas visiblemente identificables por llevar hiyab son objeto de acoso de manera desproporcionada tanto online como en público, y que se enfrentan a una "triple penalización" acumulativa por motivos de raza, género y creencias religiosas. Según señaló el comité, esto provoca "conductas de autocensura y abstención de participar en la vida pública".

2. Respuestas de los usuarios

En su apelación al Consejo, el usuario que reportó el contenido y pidió su eliminación indicó que este utilizaba IA para generar la imagen de una mujer sin su consentimiento, crear contenido engañoso y avergonzarla públicamente por su labor de defensa.

3. Respuestas y políticas de contenido de Meta

La norma comunitaria sobre bullying y acoso establece que el bullying y el acoso pueden presentarse de diversas formas, y que la empresa no tolera "este tipo de comportamiento porque impide que las personas se sientan seguras y respetadas…". La política establece cuatro niveles de protección en función de la gravedad del ataque, la condición de figura pública de la persona afectada y si se trata de una persona adulta o menor. Si bien todas las personas están protegidas contra los ataques de mayor gravedad (nivel 1), las personas no públicas, las figuras públicas de alcance limitado y los menores cuentan con protecciones adicionales frente a ataques de menor gravedad (niveles 2 a 4). En otras palabras, la política de Meta gradúa el nivel de protección para quienes tienen menor exposición pública o son más vulnerables debido a su edad.

Declaraciones de inferioridad sobre el aspecto físico

Todas las personas están protegidas contra las "declaraciones de inferioridad sobre su aspecto físico" en virtud del nivel 1 de la política de bullying y acoso. El nivel 1 es la categoría más grave de abuso y protege a todas las personas, es decir, figuras públicas, personas no públicas y menores. Meta consideró que la publicación no infringía esta norma. Aunque la contraposición entre las actividades relacionadas con la salud y el consumo de comida poco saludable podría interpretarse como un comentario implícito sobre el aspecto de la mujer representada, Meta consideró que la publicación no contenía una declaración explícita que atacara su aspecto físico o se refiriera directamente a ella como un ser inferior.

Imágenes manipuladas no deseadas

Las "imágenes manipuladas no deseadas" se eliminan en virtud del nivel 3 cuando se cumplen tres condiciones.

En primer lugar, esta protección se confiere únicamente a personas no públicas o menores que sean figuras públicas involuntarias. Las bases de la política de Meta establecen este nivel de protección adicional con el fin de impedir que las personas no públicas sean humilladas o avergonzadas. Meta justifica esta distinción respecto de las figuras públicas con el fin de "dar lugar al diálogo, que a menudo incluye comentarios críticos de personas que aparecen en las noticias o tienen un público amplio". En la política, se define a las figuras públicas como "funcionarios del Gobierno a nivel nacional y estatal, candidatos políticos a dichos cargos, personas con más de un millón de fans o seguidores en los medios sociales y personas que reciben una cobertura de noticias considerable". Las denominadas "figuras públicas de alcance limitado", que incluyen "personas cuya fama se limita al activismo que realizan o su labor periodística o que se hicieron conocidas de forma involuntaria", tampoco están protegidas contra ataques de nivel 3. En este caso, Meta indica que consideró a la mujer afectada como una persona no pública y no como una figura pública o figura pública de alcance limitado, por lo que correspondía la protección contra imágenes manipuladas no deseadas.

En segundo lugar, la persona afectada debe manifestar que las imágenes manipuladas son no deseadas reportando ella misma el contenido. La política establece que este reporte directo ayuda a la empresa a saber que la persona afectada se siente víctima de bullying o acoso. Meta confirmó que la mujer afectada no reportó la publicación, por lo que esta condición no se cumplía.

En tercer lugar, el contenido debe constituir "imágenes manipuladas", término que no se define en la política de manera pública. Sin embargo, Meta informó al Consejo que esta norma solo aborda las manipulaciones digitales que alteren la apariencia de una persona, no las representaciones de sus acciones. En este caso, el contenido incluye representaciones sintéticas de la mujer diciendo cosas que no dijo y haciendo cosas que no hizo. Según Meta, no hubo alteraciones digitales de su apariencia, por lo que ello no constituye "imágenes manipuladas" en virtud de la política.

Acoso masivo dirigido

Además de los cuatro niveles de protección, la norma comunitaria sobre bullying y acoso de Meta también establece que se puede eliminar el "acoso masivo" cuando este se dirija a "personas con alto riesgo de sufrir daños en la vida real", lo que incluye a los defensores de los derechos humanos. Meta indica que se requiere contexto adicional para hacer cumplir esta política (es decir, la política no se aplica a gran escala, sino que lo hacen exclusivamente equipos internos especializados). Aunque Meta reconoce que la persona afectada se ajusta a su definición de defensora de los derechos humanos, no considera que la publicación y otras publicaciones similares contra ella cumplan con los requisitos para considerarse como una incitación a que otras personas cometan actos de acoso. Según Meta, no hubo esfuerzos organizados para incitar a las personas a visitar su perfil ni a generar contenido infractor de manera colectiva.

El Consejo le formuló a Meta preguntas sobre los mecanismos de reporte de contenido relacionado con bullying y acoso, campañas coordinadas de acoso online y videos que muestran bullying y acoso generados con IA. Meta respondió todas las preguntas.

4. Comentarios del público

El Consejo recibió tres comentarios del público que cumplieron las condiciones de presentación. Uno de los comentarios recibidos procedía de Asia central y meridional, uno de los Estados Unidos y Canadá y uno de Europa. Para leer los comentarios del público enviados con consentimiento de publicación, haz clic aquí.

Los comentarios presentados incluían, entre otros, los siguientes temas: información errónea relaciona con el género y acoso generado con IA, los requisitos de Meta para el reporte de contenido relacionado con bullying y acoso, el impacto del acoso online en el debate público y la defensa de los derechos humanos, y los obstáculos para acceder a información sobre salud sexual.

5. Análisis del Consejo asesor de contenido

El Consejo seleccionó este caso para analizar la manera en que los videos generados con IA están cambiando las características del acoso online, sus efectos en los derechos de los usuarios de Meta y las implicancias en relación con los derechos a la libertad de expresión y participación de las mujeres y las niñas. El caso es relevante para dos de las siete prioridades estratégicas del Consejo: automatización e IA, y género.

5.1 Cumplimiento de las políticas de contenido de Meta

I. Reglas de contenido

Para la mayoría del Consejo, este video infringe la norma comunitaria sobre bullying y acoso en diferentes aspectos. En las bases de la política de su norma comunitaria sobre bullying y acoso, Meta establece que elimina el contenido "destinado a humillar o avergonzar" a personas no públicas. Resulta difícil interpretar el objeto y el efecto de este contenido de una manera que no implique humillar y avergonzar intencionalmente a una mujer debido a su apariencia y como reacción a su labor de defensa en cuestiones vinculadas a la salud de la mujer.

Declaraciones de inferioridad sobre el aspecto físico

La mayoría considera que el video generado con IA constituye una "declaración de inferioridad" que infringe las normas en relación con el aspecto físico de la mujer afectada. Afirma falsamente que detenta un cargo gubernamental relacionado con la salud ("embajadora" de su país) para orquestar una evidente contradicción entre esta afirmación y su contextura física y supuesta salud física. Al representarla mediante una imagen realista en la que realiza rutinas de ejercicio absurdas y se atiborra de comida chatarra, el video realiza una declaración de inferioridad explícita y muy clara basada en su apariencia y destinada a humillarla.

Para la mayoría, el hecho de que Meta no haya interpretado el contenido como una declaración de inferioridad "explícita" resulta preocupante, en parte porque sus propias normas no establecen la "explicitud" como requisito para determinar si existe una infracción. Aunque la determinación de que existe una infracción en este caso se basa en una inferencia derivada del contraste entre una declaración falsa y una representación visual, el efecto no es ni ambiguo ni sutil. La mayor accesibilidad y las mayores capacidades de las herramientas de IA generativa potencian de un modo significativo la posibilidad de crear y compartir acusaciones infundadas de hipocresía. El Consejo ya ha cuestionado a Meta por la aplicación deficiente de sus reglas respecto del contenido visual, por ser demasiado literal o restrictiva en cuanto al análisis contextual al considerar que no existían infracciones directas en los videos o imágenes (consulta Dibujo animado de Knin, Publicación en polaco contra las personas trans, Contenido dirigido a una defensora de los derechos humanos de Perú). La disparidad entre la aplicación de políticas por parte de Meta respecto de contenido visual y contenido escrito queda demostrada en este caso por la eliminación (luego de las preguntas formuladas por el Consejo) de cuatro comentarios que figuraban debajo de la publicación y contenían comparaciones deshumanizantes escritas contra la mujer. A criterio del Consejo, dichos comentarios no eran más explícitos que el mensaje del video, lo que genera la apariencia de arbitrariedad respecto de la aplicación de políticas por parte de Meta. Dado que las plataformas de Meta están cada vez más diseñadas en torno a la promoción de contenido visual, y que la moderación determina la manera en que las personas se comunican en sus plataformas, este enfoque basado en eliminar únicamente las declaraciones de inferioridad "explícitas" resulta deficiente. Los ataques, amenazas e insultos encubiertos son algo generalizado en los medios sociales, y la incapacidad o la negativa de Meta para abordar esta problemática genera importantes lagunas en la aplicación de políticas y la protección de los usuarios contra el bullying y el acoso.

Aunque algunos podrían afirmar que la publicación constituye un intento de sátira o humor, Meta ha optado por no establecer una excepción para el contenido humorístico en la norma comunitaria sobre bullying y acoso. Cualquier presunta hipocresía que esta publicación pretenda resaltar entre la función pública inventada de la mujer (en realidad, no promovía la alimentación saludable ni el ejercicio) y su aspecto físico se utiliza claramente con el fin de hacerle bullying y ridiculizarla por su apariencia.

Imágenes manipuladas no deseadas

Para la mayoría del Consejo, si la mujer representada hubiera descubierto y reportado la publicación, esta habría infringido la política de imágenes manipuladas no deseadas. La norma considera que los reportes realizados por la propia persona afectada constituyen el único indicador de que las imágenes manipuladas son en efecto "no deseadas" o no consentidas. Esto impone a las personas contra quienes se comete bullying la tediosa carga de tener que reportarlo ellas mismas (consulta PC-32633, Centro de Derechos Reproductivos; PC-32637, Charlotte Manson, City Law School), y esta condición no se cumplía. No obstante, la mayoría no coincide con la interpretación de Meta de que, incluso si la mujer hubiera reportado la publicación, esta seguiría sin infringir la norma. La simple lectura de la expresión "imágenes manipuladas" comprende la tergiversación de los dichos o acciones de una persona y no se limita a la manipulación de su aspecto físico. No resulta clara la finalidad de Meta al hacer una distinción entre manipulación del aspecto y de las acciones. La tergiversación de dichos y conductas, como sucede en este caso, puede humillar o avergonzar a las personas con la misma gravedad (o incluso mayor) que las representaciones ficticias y exageradas de su aspecto (consulta PC-32635, Digital Rights Foundation). Como se observó en el caso Video alterado del presidente Biden relativo a la política de información errónea de Meta, las pautas sobre aplicación de políticas adaptadas a las tendencias de contenido de una determinada época pueden quedar rápidamente obsoletas a causa de los avances tecnológicos. Los avances en la creación de videos hiperrealistas con IA generativa, incluso desde que el Consejo pronunció su decisión sobre el caso Biden, indican que las normas de Meta sobre bullying y acoso también deben actualizarse.

Acoso masivo dirigido

El Consejo coincide con Meta en que la activista representada es una defensora de los derechos humanos y reconoce que la publicación no constituyó un acto coordinado explícito ni impartió instrucciones explícitas para acosarla. Sin embargo, la mayoría del Consejo considera que la conclusión de Meta se basa en una interpretación demasiado restrictiva de lo que implica el acoso masivo "dirigido" en la era digital. Varias cuentas destacadas de medios sociales participaron en el abuso, básicamente dirigiendo una atención negativa hacia ella, y provocando, en la práctica, un efecto acumulativo del que la publicación de este caso formó parte, con todas las características distintivas del acoso masivo. A partir de su propia investigación, el Consejo observó que el contenido que difundía la falsa afirmación de que la mujer detentaba un cargo gubernamental oficial alcanzó aproximadamente las 250 visualizaciones en un solo día y superó las 1.000 a lo largo del período analizado. La similitud entre muchos grupos de publicaciones que contienen descripciones idénticas o casi idénticas constituye evidencia de que existió coordinación y, ciertamente, esto hubiera sido experimentado como un acto de acoso masivo por la mujer afectada. Asimismo, este nivel de coordinación constituye evidencia de la intención de acosar y pone de manifiesto un problema estructural de los sistemas de aplicación de políticas de Meta que no proporciona a los usuarios herramientas específicas para reportar colectivamente varias publicaciones como parte de una campaña infractora. El Consejo también hizo referencia a algunos ejemplos de la plataforma de medios sociales X, donde determinados usuarios que le preguntaban al asistente de IA Grok si las afirmaciones falsas eran verdaderas recibían respuestas que afirmaban que sí lo eran.

El Consejo coincide en que Meta eliminó correctamente los comentarios que figuraban debajo de esta publicación y que contenían comparaciones deshumanizantes directas, aunque recién lo hizo después de que el Consejo se lo señalara. Para la mayoría, la naturaleza de estos comentarios demuestra que el público comprendió la publicación original y eligió sumarse a su autor en un acto de acoso masivo contra la mujer afectada. Otros miembros del Consejo aceptan que estos comentarios infringían las normas, pero indican que el contenido publicado por un autor no debería evaluarse en función de los comentarios que dicha publicación genera por parte de otras personas.

Para una minoría del Consejo, la publicación no infringe la norma comunitaria sobre bullying y acoso, ya que no contiene una "declaración de inferioridad sobre su aspecto físico". Interpretar esta norma como aplicable a inferencias, como hace la mayoría, resulta extremadamente amplio y prioriza una interpretación contextual por sobre otras igualmente verosímiles. El video aborda una conversación pública en curso sobre la aparente contradicción entre una persona que aparece en las noticias promoviendo un estilo de vida saludable cuando pareciera no aplicarlo a su propia vida. Para la minoría, este estilo de poner en evidencia una supuesta hipocresía puede ser cruel o poco amable, pero no es suficiente para considerar que existe una declaración de inferioridad, es decir, la afirmación de que la mujer es menos que los demás debido a su aspecto físico. Asimismo, para una minoría del Consejo, la mujer afectada no goza de las protecciones del nivel 3 en relación con imágenes manipuladas no deseadas, pero no por los motivos que señala Meta, sino porque es una "figura pública de alcance limitado" y no una persona no pública. Esto se debe a su labor pública en una organización de defensa y a su aparición en medios de comunicación nacionales ejerciendo esta función. Para estos miembros del Consejo, la cantidad de publicaciones similares no es suficiente para considerar que existe una infracción por acoso masivo dirigido, dado que esta publicación no alcanza el límite establecido por Meta para infringir la política de bullying y acoso.

5.2 Cumplimiento de las responsabilidades de Meta en materia de derechos humanos

La mayoría del Consejo considera que las responsabilidades de Meta en materia de derechos humanos avalan la eliminación de esta publicación. Una minoría considera que no lo hacen.

1. Libertad de expresión (artículo 19 del ICCPR)

Si un Estado impone restricciones sobre la libertad de expresión, estas deben cumplir los requisitos de legalidad, fin legítimo y necesidad y proporcionalidad (artículo 19, párrafo 3, del Pacto Internacional de Derechos Civiles y Políticos [ICCPR]). Se suele hacer referencia a estos requisitos como "prueba de tres partes". El Consejo utiliza este marco para interpretar las responsabilidades de Meta en materia de derechos humanos en línea con los Principios Rectores sobre las Empresas y los Derechos Humanos de las Naciones Unidas, que Meta se comprometió a cumplir en su Política corporativa de derechos humanos. Como indicó el Relator Especial de la ONU sobre la libertad de expresión, "las empresas no tienen las obligaciones de los Gobiernos, pero sus efectos son de un tipo que les obliga a evaluar el mismo tipo de cuestiones sobre la protección del derecho de sus usuarios a la libertad de expresión" (A/74/486, párrafo 41).

I. Legalidad (claridad y accesibilidad de las reglas)

El principio de legalidad exige que las reglas que limitan la expresión sean accesibles y claras, y estén formuladas con precisión suficiente para que una persona pueda regular su comportamiento de conformidad con ellas (observación general n.º 34, párrafo 25). Asimismo, estas reglas "no pueden conferir a los encargados de su aplicación una discrecionalidad sin trabas para restringir la libertad de expresión" y deben "proporcionar suficientes orientaciones a los encargados de su ejecución para que puedan distinguir cuáles expresiones pueden restringirse correctamente y cuáles no" (ibidem). El Relator Especial de la ONU sobre la libertad de expresión dijo que, cuando se aplican a la gobernanza del discurso online por parte de actores privados, las reglas deben ser claras y específicas (A/HRC/38/35, párrafo 46). Las personas que usan las plataformas de Meta deben ser capaces de acceder a las reglas y entenderlas, y los revisores de contenido deben tener pautas claras para su aplicación.

La mayoría del Consejo consideró que las normas de Meta son lo suficientemente claras como para llegar a la conclusión adoptada en este caso, pero señaló tres áreas en las que las pautas internas confidenciales de Meta deben actualizarse para reflejar la manera en que dichas normas se presentan al público. Esto podría ayudar a garantizar una mejor aplicación de políticas y reducir la percepción de arbitrariedad por parte de Meta a la hora de interpretar sus normas.

En primer lugar, se deberían brindar pautas claras a los revisores respecto de que las "declaraciones de inferioridad sobre el aspecto físico" deben incluir las infracciones realizadas mediante imágenes y videos, así como también mediante expresiones escritas u orales. Sería útil proporcionar a los revisores ejemplos específicos de cómo pueden encuadrarse los deepfakes dentro de esta categoría.

En segundo lugar, la arbitrariedad que surge de la desconexión entre el texto de la política y sus pautas de aplicación se agravará a medida que el contenido generado con IA se vuelva más omnipresente, lo que implica que es necesario modificar la política. Meta debe dejar claro que su política de imágenes manipuladas no deseadas comprende la manipulación no consentida de los dichos o conductas de una persona, y la norma pública debe actualizarse para que esto sea explícito. Si en una imagen manipulada se representa falsamente a una persona de un modo humillante, degradante o que la muestre haciendo algo ilegal, debe aplicarse la política.

En tercer lugar, Meta debe aclarar los requisitos de su norma para el "acoso masivo dirigido". Como se indica a continuación, Meta debe mejorar su enfoque para la detección y eliminación de campañas de acoso masivo como la analizada en este caso, lo que podría requerir una combinación de cambios en las políticas y en su aplicación.

II. Fin legítimo

Cualquier restricción sobre la libertad de expresión debe procurar además uno o más de los fines legítimos mencionados en el ICCPR, entre ellos, proteger los derechos de los demás (artículo 19, párrafo 3, ICCPR). La norma comunitaria sobre bullying y acoso tiene por objeto proteger los derechos de los demás, incluido su derecho a la privacidad, su reputación y su derecho a la participación pública (artículos 17 y 25 del ICCPR), así como su derecho a gozar de salud física y mental (artículo 12 del Pacto Internacional de Derechos Económicos, Sociales y Culturales).

III. Necesidad y proporcionalidad

El principio de necesidad y proporcionalidad previsto en el artículo 19(3) del ICCPR exige que las restricciones que se apliquen a la expresión "deben ser adecuadas para desempeñar su función protectora; deben ser el instrumento menos perturbador de los que permitan conseguir el resultado deseado; y deben guardar proporción con el interés que debe protegerse" (observación general n.º 34, párrafo 34).

Es importante comenzar este análisis considerando los derechos de la mujer que fue objeto de esta campaña de acoso, así como los derechos de las personas a recibir la importante información sobre salud sexual y reproductiva que pretendía difundir en las noticias. Desde hace tiempo se ha documentado que las mujeres que participan en el debate público online, en especial, si tienen presencia pública y pertenecen a grupos étnicos o religiosos minoritarios, están expuestas a niveles mucho más altos de acoso y abuso en los medios sociales que otras personas (consulta PC-32635; consulta "#Toxictwitter: violence and abuse against women online" [Twittertóxico: violencia y abuso contra las mujeres online], informe de Amnistía Internacional, noviembre de 2018; "No Excuse for Abuse" [No hay excusas para el abuso], informe de Pen America, marzo de 2021).

A medida que las capacidades de la IA generativa para crear videos realistas aumentan rápidamente y permiten imitar con mayor facilidad a otras personas online, ha aumentado el uso de estas herramientas para hacer bullying y acosar a personas que tienen opiniones poco populares o que provocan rechazo, así como a miembros de grupos marginados. Esto no necesariamente genera nuevos daños por bullying y acoso que requieren normas diferentes para abordar la problemática, pero sí ha generado desafíos adicionales en cuanto a la magnitud, la credibilidad del contenido creado con apps de IA generativa que mejoran a pasos agigantados y el mayor impacto que puede tener cometer actos de bullying o acoso contra una persona utilizando imágenes hiperrealistas y engañosas para provocarle daño. Estos efectos se profundizan aún más debido a los incentivos de las plataformas, en especial, los algoritmos basados en la interacción y los programas de monetización.

Para una mayoría de los miembros del Consejo, las responsabilidades de Meta en materia de derechos humanos exigen un enfoque más sólido, que permita que contenido como el video generado con IA de este caso se elimine por infringir la política de bullying y acoso. Para una minoría, aunque comparte la preocupación por los efectos del bullying y el acoso, podrían utilizarse medidas menos intrusivas que la eliminación, como el etiquetado, la degradación o la desmonetización en el caso de que se determine que este tipo de contenido infringe las normas. La minoría considera que estas medidas se ajustan mejor a las responsabilidades de Meta en materia de derechos humanos y resultan necesarias para proteger a las personas contra restricciones excesivas a la libertad de expresión.

Para la mayoría del Consejo, la eliminación resulta necesaria porque no existe ninguna medida menos restrictiva que permita ejercer una función protectora adecuada. El daño en este caso no deriva principalmente del engaño, sino del uso de la imagen realista de una persona como arma y herramienta para humillarla y representarla de forma engañosa. Esto no puede mitigarse mediante pantallas de advertencia, etiquetado o degradación del contenido, ya que estas medidas permitirían que el contenido utilizado para acosar continúe publicado en la plataforma. Además, las etiquetas rara vez se aplican y no aumentan la fricción ni disminuyen el ritmo al que se difunde este tipo de contenido a menos que este sea calificado por verificadores de datos externos (consulta Contenido generado con IA en el conflicto entre Israel e Irán).

La eliminación también resulta proporcionada porque los beneficios que conlleva la restricción respecto de la privacidad y la reputación de la mujer afectada, así como respecto de su derecho a la participación pública, son mayores que cualquier perjuicio sobre la libertad de expresión del usuario cuyo contenido se elimina.

Existe poco o ningún interés público en permitir la difusión irrestricta del discurso. La mayoría del Consejo considera que la mujer no cometió ningún acto indebido ni actuó con hipocresía; el contenido representa de forma engañosa y maliciosa su postura para atacarla y no aborda la cuestión de fondo de sus argumentos. Además, la persona objeto del abuso es una persona no pública. No es una figura pública que detente un cargo, ni ejerce ninguna otra posición de poder que le exija mostrar mayor tolerancia frente a este tipo de ataques (observación general n.º 34, op. cit., párrafo 38). Incluso luego de la eliminación de la publicación, el usuario que publicó el contenido sigue teniendo la libertad de hablar sobre los mismos temas que la mujer abordó en las noticias, sin recurrir a ataques personalizados e irrelevantes. Por el contrario, existe un considerable interés público respecto de la información que la mujer difundió en las noticias sobre salud sexual y reproductiva, y respecto de la crítica asociada a la política gubernamental en materia de educación.

La investigación del Consejo reveló que publicaciones similares al contenido de este caso, muchas de ellas también generadas con IA, aparecieron en varias cuentas independientes de Facebook e Instagram, así como también en plataformas que no pertenecen a Meta, a menudo con descripciones idénticas o casi idénticas. Aunque muchas otras plataformas de medios sociales han adoptado una postura casi tan poco clara como la de Meta en cuanto a la manera de abordar el contenido generado con IA comparable destinado a acosar a una persona (incluidos X y YouTube), algunas han sido más explícitas en cuanto a sus protecciones. Por ejemplo, TikTok cuenta con normas que prohíben las imágenes generadas con IA (definidas como una representación reconocible de una persona mediante una imagen, un video o un audio, incluido su rostro, su cuerpo, su voz y sus gestos) que se utilicen para cometer actos de bullying o acoso contra una persona, y exige que se publique un aviso cuando un contenido generado con IA haga parecer que una persona está diciendo o haciendo algo que no dijo ni hizo. Este tipo de abuso, en particular cuando se produce a altos volúmenes y en diferentes plataformas, tiene un impacto psicológico sobre las personas afectadas que puede perjudicar su salud, ser precursor de acoso y violencia en persona y, en la práctica, obligar a las personas a apartarse del discurso público. Esto se ve exacerbado para aquellas personas que hablan sobre temas de salud sexual y reproductiva, como la mujer afectada. Esto inhibe no solo la expresión de la persona objeto del abuso, lo que afecta el derecho a recibir información de las personas que conforman su público objetivo, sino también potencialmente la expresión de los espectadores que son testigos del abuso e internalizan los riesgos derivados de participar en el discurso público. Un ambiente permisivo de dicho abuso genera el riesgo no solo de normalizar el abuso, sino también de promover la marginación que procura lograr. Los daños y el impacto de este contenido, que incluye imágenes y videos manipulados digitalmente de una persona, suelen extenderse a todo un grupo y a la comunidad en general, lo que socava varios derechos humanos y debilita la participación inclusiva en la vida pública a través de sus efectos inhibitorios (consulta PC-32637 – Charlotte Manson, City Law School; A/HRC/62/48). Este caso se basa en la decisión del caso Reporte de video sexualizado generado con IA para dejar en claro que los daños de los deepfakes no se limitan al acoso en la forma de contenido sexualizado no consensuado.

Si bien varios casos del Consejo se han centrado en la suplantación de identidad de mujeres sexualizada y generada con IA, este caso demuestra de qué modo los derechos de los usuarios también se pueden infringir considerablemente mediante la imitación sintética de carácter no sexual. Este deepfake se publicó en el contexto de una campaña online más amplia de acoso, en la que el usuario que publicó el contenido decidió ir más allá que muchos otros no solo compartiendo una opinión, sino publicando un deepfake que es muy malicioso por sus efectos humillantes y degradantes. El impacto global del acoso o bullying masivo en la privacidad y dignidad de esta persona procuraba obligarla a retirarse del discurso público.

En conjunto, dicho contenido tiene impactos sociales también, ya que envía un mensaje claro a otras mujeres y niñas, en particular a aquellas que se parecen a ella, a no expresarse. De acuerdo con los comentarios del público que recibió el Consejo, este caso pone de manifiesto "un fenómeno más amplio en el que las mujeres y niñas que participan públicamente en asuntos relativos a la salud, la igualdad de género y los derechos sexuales y reproductivos son de forma desproporcionada objeto de acoso por motivos de género, contenido multimedia manipulado e información errónea" (consulta PC-32633, Centro de Derechos Reproductivos). Esta forma de contenido generado con IA puede, de hecho, silenciar a las mujeres y niñas, en especial a aquellas que son visiblemente religiosas, y evitar que hablen sobre temas que pueden considerarse tabú o controvertidos en sus comunidades. Para la mayoría, aunque se debe fomentar la solidaridad con las víctimas a través de respuestas a contenido ofensivo, esto no basta para hacer frente al bullying y el acoso. En especial, en aquellas partes del mundo donde la censura gubernamental, el estigma social y la falta de recursos de la sociedad civil o los medios independientes no garantizan las condiciones necesarias para que la respuesta a contenido ofensivo sea eficaz. Además, estas no son condiciones garantizadas para otras personas marginadas en la plataforma.

Para una minoría del Consejo, la eliminación no era necesaria ni proporcionada. Si bien es razonable estar en desacuerdo con la conducta del usuario en este caso y hasta condenarla, en términos generales, todavía existe un interés público en tener la libertad de debatir críticamente las noticias y a las personas que aparecen en ellas. Esto exige defender el discurso que, como en este caso, sea cuestionable e incluso insultante y cruel en algunas ocasiones. La censura en este contexto probablemente solo acentúe la división, en especial cuando los usuarios pueden percibir que se elimina la crítica de personas en el dominio público por tener un punto de vista discrepante. La minoría observa que la persona afectada en este caso se ha expresado después de esta experiencia, y una cantidad considerable de personas de alto perfil salieron a defenderla, y esta respuesta a contenido ofensivo deja en evidencia a los abusadores. A la minoría le preocupa que, si Meta intentara aplicar a mayor escala la decisión de la mayoría en este caso, se producirían restricciones excesivas a la libertad de expresión y un abuso potencial de la política de bullying y acoso por parte de aquellas personas con el poder de suprimir la crítica legítima. El encuadre acotado de Meta de algunas de sus normas sobre bullying y acoso es proporcional para evitar esa extralimitación; y, para la minoría, la legislación internacional en materia de derechos humanos no exige que la empresa asuma una postura más restrictiva.

2. Acceso a mecanismos de reparación

Al igual que en muchos casos anteriores sobre uso infractor de videos creados con IA generativa (consulta Imágenes de IA explícitas de figuras públicas femeninas, Reporte de video sexualizado generado con IA), Meta no priorizó el contenido en este caso para revisión, ni en primera instancia ni tras la apelación. Al Consejo le preocupa mucho el volumen de reportes de usuarios contra contenido infractor que, según la evaluación de clasificadores, necesita revisión manual, pero no la recibe. Esto es particularmente preocupante en casos de bullying y acoso, en los que no evaluar el contenido perjudica gravemente a las víctimas, y porque ignorar reportes de usuarios válidos socava la confianza en los sistemas de moderación de contenido de Meta. Los avances en el uso de automatización en la moderación de contenido podrían brindar oportunidades para reducir considerablemente la cantidad de reportes de usuarios que no se revisan, en especial en casos más simples, y liberar la capacidad de los revisores para llevar a cabo revisiones más especializadas o complejas desde el punto de vista contextual.

El Consejo reitera su preocupación de que se suele imponer sobre las víctimas de acoso la carga de reportar el contenido, lo que se agrava por la falta de herramientas de reporte de terceros, en especial cuando el acoso se vuele viral (consulta Videos de debate sobre identidad de género). Estos desafíos son particularmente graves para las mujeres que viven en regiones del mundo (en especial aquellas que llevan hiyab o son visiblemente religiosas) en las que su autonomía se ve limitada por múltiples formas interrelacionadas de normas sociales, discriminación e incluso violencia.

En tanto que Meta actualiza sus políticas y guías para garantizar que este contenido sea tratado como infractor, incluso cuando sea en forma visual y no contenga declaraciones explícitas ni literales, es importante que sus sistemas sean entrenados para priorizar la revisión de dichas publicaciones y que se pongan a disposición recursos adecuados de manera eficaz para asegurarse de que los reportes no se cierren automáticamente debido a una insuficiente capacidad de revisión. Cuando alguien sea víctima de acoso masivo, debería haber herramientas para permitir el reporte de infracciones conectadas, y dichos reportes se deberían priorizar y revisar en conjunto para tener el contexto completo.

6. Decisión del Consejo asesor de contenido

La mayoría del Consejo anuló la decisión de Meta de conservar el contenido y exigió que se eliminara la publicación.

7. Recomendaciones

Política de contenido

1. Para subsanar la falencia de la política de bullying y acoso, Meta debe incluir públicamente en la definición de "imágenes manipuladas no deseadas" los deepfakes de una persona no pública en los que dice o hace cosas que no dijo ni hizo, así como también la manipulación del aspecto de una persona.

El Consejo considerará que esta recomendación se implementó cuando la política se haya actualizado con esta definición.

Aplicación de políticas

El Consejo reitera su recomendación anterior en la decisión del caso Videos de debate sobre identidad de género en la que pide que se permita que cuentas de terceros reporten contenido relacionado con bullying y acoso (recomendación 3), y subraya la relevancia de esta recomendación para el asunto en cuestión. Al Consejo le preocupa que, a pesar de haber hecho esta recomendación hace más de un año, la respuesta de Meta todavía siga pendiente a la espera de que se evalúe la viabilidad de la recomendación. El Consejo insta a Meta a completar esta evaluación e implementar la recomendación.

2. Para reducir la carga de reportar que recae sobre las víctimas de acoso masivo con el uso de deepfakes, Meta debería agregar instancias de "imágenes manipuladas no deseadas" infractoras al banco de coincidencias de contenido multimedia para su eliminación.

El Consejo considerará que se implementó esta decisión cuando Meta proporcione pruebas al Consejo de que puede escalar los reportes de deepfakes a contenido idéntico.

3. Para garantizar el acceso a mecanismos de reparación, Meta debe utilizar señales de contenido multimedia manipulado o generado con IA como indicador de gravedad con el fin de priorizar los reportes para su revisión.

El Consejo considerará que se implementó esta recomendación cuando Meta proporcione pruebas de que la generación con IA se integró como una señal para la priorización de colas de revisión manual de reportes de bullying y acoso, y comparta las métricas de los cambios resultantes en el volumen de reportes de bullying y acoso cerrados automáticamente.

Nota de procedimiento:

• La preparación de las decisiones del Consejo asesor de contenido está a cargo de paneles conformados por cinco miembros, quienes deben aprobarlas por mayoría. Las decisiones del Consejo no necesariamente representan las opiniones de todos los miembros.
• En virtud de su acta constitutiva, el Consejo asesor de contenido tiene la facultad de revisar apelaciones de usuarios cuyo contenido fue eliminado por Meta, apelaciones de usuarios que reportaron contenido que Meta mantuvo publicado y decisiones que Meta le presente (artículo 2, sección 1, del acta constitutiva). El Consejo tiene autoridad vinculante para ratificar o anular las decisiones sobre contenido de Meta (artículo 3, sección 5, y artículo 4, del acta constitutiva). El Consejo podrá emitir recomendaciones no vinculantes a las que Meta deberá responder (artículo 3, sección 4, y artículo 4). Cuando Meta se compromete a tomar medidas respecto de las recomendaciones, el Consejo supervisa su implementación.

Volver a Decisiones de casos y opiniones consultivas sobre políticas