Vídeo gerado por IA de ativista mulher

Resumo

O Comitê de Supervisão está exigindo que a Meta remova do Facebook um vídeo gerado por IA que faz bullying com uma jovem mulher muçulmana, manipulando sua imagem e que fazia parte de uma série viral de posts similares nas redes sociais. O Comitê conclui que as políticas sobre bullying e assédio são inadequadas para abordar imagens manipuladas por IA de pessoas que, em geral, não têm uma presença pública.

Por que isso é importante

Essa decisão está sendo tomada enquanto a IA generativa gera novos riscos para mulheres e meninas, com o abuso aumentando em escala, velocidade e gravidade. De acordo com um relatório de 2025 da ONU Mulheres, a principal entidade da Organização das Nações Unidas (ONU) sobre igualdade de gênero, muitos ataques são “geralmente intencionais e coordenados, e buscam silenciar as mulheres na vida pública”. Os vídeos gerados por IA estão mudando a natureza do assédio online e têm impactos significativos nos direitos dos usuários da Meta, incluindo os direitos da participação pública de mulheres muçulmanas e de mulheres e meninas em geral. Esses ataques costumam falsificar não apenas a aparência de um indivíduo, mas também suas ações e palavras de uma forma que é prejudicial a ele.

Sobre o caso

Em 2025, uma jovem mulher muçulmana na Europa foi entrevistada na TV como voluntária de uma campanha para melhorar a educação acerca da saúde menstrual e reduzir o estigma sobre as condições de saúde para mulheres e meninas de contextos étnicos minoritários. Nos meses seguintes, contas em plataformas de redes sociais manipularam digitalmente trechos da entrevista para ridicularizá-la criando uma suposta disparidade entre sua função promovendo saúde e sua aparência, em uma tentativa óbvia de sugerir que ela é uma porta-voz inapta em assuntos de saúde. Esses vídeos usaram sua imagem para manipular suas ações e palavras. Os vídeos e as imagens gerados por IA, juntos, reuniram dezenas de milhões de visualizações em diferentes plataformas, incluindo nas da Meta.

O Comitê selecionou um post do Facebook, enviado em uma apelação de usuário, como só um exemplo do abuso que surgiu contra essa mulher. O post inclui um vídeo gerado por IA da mulher se apresentando como a nova embaixadora da saúde do seu país. Essa falsa alegação é replicada na legenda, junto com um emoji de risada. Sua imagem é exibida dizendo que ela demonstrará como se manter em forma e, então, é retratada participando de uma série de exercícios limitados ou absurdos e dando orientações sobre alimentação saudável enquanto come fast food. Diversos comentários embaixo do vídeo de vários usuários ridicularizam a mulher, principalmente devido ao seu peso e por usar um hijab.

Para o usuário que apelou ao Comitê, tanto sua denúncia inicial à Meta quanto a apelação subsequente à empresa foram encerradas automaticamente sem serem priorizadas para análise. Desde então, a Meta confirmou ao Comitê que sua decisão de ignorar o post, mantendo-o na plataforma sem anexar um rótulo de IA, estava em conformidade com suas políticas. Foi apenas quando o Comitê fez perguntas sobre os comentários depreciativos no post que a Meta tomou medidas para remover os comentários, confirmando que eles violavam a proibição da Política sobre Bullying e Assédio em relação à comparação desumanizante.

Principais descobertas

Uma maioria do Comitê atesta que o vídeo deveria ser removido por violar a Política sobre Bullying e Assédio da Meta. Especificamente, ele contém uma declaração de inferioridade sobre a aparência física de um indivíduo que não é figura pública, usou IA para falsificar suas palavras e ações sem seu consentimento e fazia parte de uma campanha vivenciada pela vítima como assédio em massa.

Para a maioria, a definição da Meta de “imagens manipuladas indesejadas”, que é uma das proibições de bullying e assédio, é muito restrita e deveria incluir a falsificação das ações e palavras de uma pessoa, além da alteração da aparência da pessoa.

A Meta também define campanhas de assédio em massa de forma muito restritiva, de acordo com a maioria, e a empresa deveria adotar novas medidas para reduzir a carga sobre as vítimas que o denunciam. Essas medidas incluem adicionar conteúdo manipulado indesejado em violação ao Banco de Correspondência de Mídia da empresa, para que conteúdo idêntico e quase idêntico seja removido, e usar sinais de mídia gerada por IA ou manipulada como um indicador de gravidade para priorizar as denúncias para análise.

Uma minoria do Comitê concluiu que o conteúdo não cumpria a definição da Meta de Bullying e Assédio e que manter o conteúdo ativo estava em conformidade com as responsabilidades de direitos humanos da empresa.

A decisão do Comitê de Supervisão

O Comitê revoga a decisão da Meta de manter o conteúdo e exige que o post seja removido.

Ele reitera a importância de suas recomendações anteriores solicitando que contas de terceiros possam denunciar conteúdo de bullying e assédio.

Adicionalmente, recomenda que a Meta:

• Amplie a definição pública de “imagens manipuladas indesejadas” a fim de incluir deepfakes de um indivíduo que não seja figura pública dizendo ou fazendo coisas que não disse ou fez.
• Inclua ocorrências de “imagens manipuladas indesejadas” violadoras aos Bancos de Correspondência de Mídia para remoção.
• Use sinais de mídia gerada por IA ou manipulada como um indicador de gravidade com a finalidade de priorizar denúncias para análise.

*Os resumos de casos fornecem uma visão geral dos casos e não têm valor de precedente.

Decisão completa sobre o caso

1. Descrição do caso e histórico

Em 2025, uma jovem mulher muçulmana foi entrevistada em um noticiário na Europa como voluntária para uma campanha que discutia sobre a melhoria da educação acerca da saúde menstrual e a redução do estigma sobre as condições de saúde para mulheres e meninas de contextos étnicos minoritários. Nos meses seguintes, essas imagens da jovem mulher foram manipuladas digitalmente por contas em diversas plataformas de rede social para ridicularizá-la criando uma suposta disparidade entre sua função promovendo a saúde e sua aparência. As imagens eram uma óbvia tentativa de destacar seu peso e sugerir que ela era uma porta-voz inapta para discutir sobre saúde. Os vídeos e as imagens gerados por IA incluíam uma variedade de cenas desumanizantes e degradantes, incluindo montagens com ela comendo quantias enormes de comida, tendo dificuldade para malhar em uma academia e a retratando como um animal, que, juntas, reuniram dezenas de milhões de visualizações em diversas plataformas, incluindo da Meta.

O post nesse caso é só mais um exemplo do abuso que surgiu contra a mulher. Ele inclui um vídeo gerado por IA em que ela é retratada fora de contexto como a nova embaixadora da saúde do seu país. Essa falsa alegação, que organizações de verificação de fatos desmascararam em relação a outros posts, é replicada na legenda junto com um emoji de risada. No vídeo gerado por IA, sua imagem é exibida dizendo que ela demonstrará como se manter em forma e, então, é retratada participando de uma série de exercícios limitados ou absurdos e dando orientações sobre alimentação saudável enquanto come fast food. Na entrevista original, ela não falava sobre alimentação saudável ou exercícios, mas abordava a importância de educação acerca da saúde menstrual relacionada a condições como endometriose para mulheres e meninas.

O post foi visto mais de 5 mil vezes, e recebeu mais de 200 reações e mais de 50 comentários. Diversos comentários de vários usuários abaixo do vídeo ridicularizam a aparência da mulher, principalmente devido ao seu peso e por ela usar um hijab.

Para o usuário que fez a apelação ao Comitê, suas denúncias não foram priorizadas para análise. Desde então, a Meta confirmou ao Comitê que manter o post na plataforma sem anexar um rótulo de IA estava em conformidade com suas políticas. Foi apenas quando o Comitê fez perguntas sobre os comentários depreciativos no post que a Meta tomou medidas para removê-los, confirmando que eles violavam o proibição da Política sobre Bullying e Assédio em relação à comparação desumanizante. Em resposta às perguntas do Conselho, a Meta afirmou que não identificou outros casos em que tenha tomado medidas em relação a vídeos deepfake que retratavam a mulher durante o período relevante.

A IA generativa gerou novos riscos online, em especial para mulheres e meninas, com o abuso aumentando em escala, velocidade e gravidade. Um relatório da ONU publicado em 2025 observou que 38% das mulheres em 51 países sofreram experiências pessoais de abuso online, o que pode incluir assédio cibernético. O relatório enfatiza que “as ferramentas de IA populares podem... ter consequências acidentais na amplificação do viés ou na intensificação de violência e abuso. Por exemplo, as ferramentas de IA populares podem ser usadas para gerar campanhas de desinformação ou criar e disseminar conteúdo de ódio e campanhas de assédio automaticamente e em escala”. Muitos ataques são “geralmente intencionais e direcionados a silenciar as mulheres na vida pública”.

Um relatório de 2026 do Grupo de Trabalho da ONU sobre Discriminação contra Mulheres e Meninas explicou: “a violência de gênero facilitada por tecnologia não é um conjunto isolado de abusos online, mas uma ferramenta estrutural de discriminação que restringe a participação de mulheres e meninas na vida pública, política e cívica. A violência virtual geralmente reflete e amplifica os padrões de violência e repressão em espaços públicos físicos. Removendo mulheres e meninas de espaços digitais, a violência de gênero facilitada por tecnologia consolida a desigualdade, prejudica a autonomia e enfraquece as condições necessárias para uma interação democrática inclusiva, ameaçando seus direitos humanos em contradição aos requisitos do Artigo 19 do Pacto Internacional sobre Direitos Civis e Políticos....” (A/HRC/ 62/48, parágrafo 49). O Escritório do Alto Comissariado das Nações Unidas para os Direitos Humanos (ACNUDH), relatou em 2026 que 70% das mulheres na América do Norte e na Europa se depararam com casos de violência de gênero facilitada por tecnologia, o que inclui assédio online. Os comentários públicos nesse caso também destacam os desafios específicos enfrentados por mulheres que discutem tópicos considerados “tabu” em contextos relacionados a gênero e saúde sexual (ver PC – 32637 – Charlotte Manson, City Law School).

O Comitê de Mulheres e Igualdades do Parlamento do Reino Unido documentou, em janeiro de 2026, que mulheres muçulmanas, visivelmente identificáveis por seus hijabs, são alvo de assédio desproporcionalmente, tanto online quanto em público, e enfrentam uma “tripla penalidade” composta por assédio baseado em raça, gênero e fé. Isso leva a “comportamentos de autocensura e remoção da participação na vida pública”, afirmou o comitê.

2. Envios de usuários

Em sua apelação ao Comitê, o usuário que denunciou o conteúdo solicitando sua remoção disse que ele usava IA para gerar uma imagem semelhante à de uma mulher, sem o seu consentimento, para gerar conteúdo enganoso e envergonhá-la publicamente por sua defesa de interesses sociais.

3. Políticas de Conteúdo e envios da Meta

Os Padrões da Comunidade sobre Bullying e Assédio da Meta afirmam que bullying e assédio podem ocorrer de diversas formas e que a empresa “não tolera esse tipo de comportamento porque ele impede que as pessoas se sintam seguras e respeitadas...”. Essa política fornece quatro níveis de proteção com base na gravidade do ataque, no status de figura pública da vítima e se ela é um adulto ou um menor de idade. Enquanto todas as pessoas são protegidas contra os ataques mais graves (Nível 1), indivíduos que não são figuras públicas, figuras públicas de escopo limitado e menores de idade recebem proteções adicionais contra ataques menos severos (Níveis 2 a 4). Em outras palavras, a política da Meta ajusta a proteção para aqueles que são vistos pelo público como inferiores e/ou são vulneráveis devido a sua idade.

Declarações de inferioridade sobre aparência física

Todos são protegidos contra “declarações de inferioridade sobre a aparência física” de acordo com o Nível 1 da Política sobre Bullying e Assédio. O Nível 1 é a categoria mais grave de abuso que protege todas as pessoas: figuras públicas, indivíduos que não são figuras públicas e menores de idade. A Meta concluiu que o post não violou essa regra. Enquanto a sobreposição de atividades relacionadas a saúde com o consumo de comida prejudicial à saúde pode ser interpretada como um comentário implícito sobre a aparência da mulher, a Meta concluiu que o post não continha uma declaração explícita atacando ou fazendo referência direta à sua aparência física como inferior.

Imagens manipuladas indesejadas

“Imagens manipuladas indesejadas” são removidas segundo o Nível 3 quando três condições são cumpridas.

Primeiramente, essa proteção só é concedida para indivíduos que não são figuras públicas ou menores de idade que são figuras públicas involuntárias. O fundamento da política afirma que esse nível se estende a proteger indivíduos que não figuras públicas de serem “degradados” ou “humilhados”. A Meta justifica essa distinção de figura pública porque deseja “permitir a discussão, que geralmente inclui comentários críticos sobre pessoas noticiadas ou que têm um grande público”. Figuras públicas são definidas na política como “representantes do governo estadual ou nacional, candidatos políticos a esses cargos, pessoas com mais de um milhão de fãs ou seguidores nas redes sociais e pessoas que recebem cobertura substancial de notícias”. As chamadas “figuras públicas de escopo limitado”, que incluem “indivíduos cuja fama principal se limita ao seu ativismo ou jornalismo, ou aqueles que se tornaram famosos involuntariamente”, também não estão protegidas de ataques do Nível 3. Nesse caso, a Meta afirma que tratou a mulher vitimizada como uma pessoa que não é figura pública, e não uma figura pública ou figura pública de escopo limitado, então ela se qualificava para proteção contra imagens manipuladas indesejadas.

Em segundo lugar, a vítima precisa indicar que as imagens manipuladas eram indesejadas denunciando o conteúdo. A política declara que a autodenúncia ajuda a empresa a “entender que a pessoa vitimizada sente que sofreu bullying ou foi assediada”. A Meta confirmou que a mulher vitimizada não denunciou esse post, então essa condição não foi cumprida.

Em terceiro lugar, o conteúdo precisa conter “imagens manipuladas”, o que não está definido publicamente na política. Contudo, a Meta informou ao Comitê que essa regra só aborda manipulações digitais que alteram a aparência de uma pessoa, e não retratos das suas ações. Nesse caso, o conteúdo inclui representações sintéticas da mulher dizendo coisas que não disse e fazendo coisas que não fez. De acordo com a Meta, não houve nenhuma alteração digital da aparência dela, então o post não constituía “imagens manipuladas” segundo a política.

Assédio direcionado em massa

Fora dos quatro níveis de proteção, os Padrões da Comunidade sobre Bullying e Assédio da Meta também afirmam que poderão remover “assédio direcionado em massa” quando for direcionado a “indivíduos em alto risco de dano no meio físico”, incluindo ativistas dos direitos humanos. A Meta declara que essa política requer “contexto adicional para aplicação” (ou seja, a política não é aplicada em escala, mas apenas por equipes internas especializadas). Enquanto a Meta observa que o indivíduo vitimizado cumpre sua definição de defensor dos direitos humanos, a empresa não considera que o post e posts similares contra ela se qualificam como direcionamento de outras pessoas a participar de assédio. De acordo com a Meta, não houve esforços organizados para direcionar as pessoas até o perfil dela ou incentivar as pessoas a produzir conteúdo violador coletivamente.

O Comitê fez perguntas à Meta sobre os mecanismos de denúncia para conteúdo de bullying e assédio, campanhas de assédio online coordenadas e a aplicação das regras para vídeos de bullying e assédio gerados por IA. A empresa respondeu a todas as perguntas.

4. Comentários públicos

O Comitê recebeu três comentários públicos que cumpriam os termos para envio. Um dos comentários foi enviado da Ásia Central e do Sul, um dos Estados Unidos e do Canadá e um da Europa. Para ler comentários públicos enviados com consentimento de publicação, clique aqui.

Os envios abordavam, entre outros, os seguintes temas: desinformação de gênero e assédio gerado por IA, os requisitos da Meta para denunciar conteúdo de bullying e assédio, o impacto do assédio online em discussões públicas e na defesa dos direitos humanos e as barreiras para informações sobre saúde sexual.

5. Análise do Comitê de Supervisão

O Comitê selecionou esse caso para examinar como os vídeos gerados por IA estão mudando a natureza do assédio online, seus impactos nos direitos dos usuários da Meta e as implicações para os direitos de expressão e participação de mulheres e meninas. O caso é relevante para duas das sete prioridades estratégicas do Comitê: Automação e IA, e Gênero.

5.1 Conformidade com as políticas de conteúdo da Meta

I. Regras sobre conteúdo

Para a maioria do Comitê, esse vídeo viola os Padrões da Comunidade sobre Bullying e Assédio em diversos aspectos. No fundamento da política para seus Padrões da Comunidade sobre Bullying e Assédio, a Meta declara que remove conteúdo que é “feito para degradar ou humilhar” indivíduos que não são figuras públicas. É difícil interpretar o propósito e o efeito desse conteúdo como algo além de uma tentativa de intencionalmente degradar e humilhar uma mulher com base na sua aparência e em reação a sua defesa das questões relacionadas à saúde das mulheres.

Declarações de inferioridade sobre aparência física

A maioria conclui que o vídeo gerado por IA constitui uma “declaração de inferioridade” violadora sobre a aparência física da mulher vitimizada. Ele afirma falsamente que ela tem um cargo governamental na área de saúde (uma “embaixadora” para seu país) a fim de simular uma suposta contradição entre essa alegação e o tamanho do seu corpo e sua suposta saúde física. Retratando sua imagem de forma realista participando de rotinas de exercícios absurdas e comendo fast food, o vídeo faz uma alegação bastante clara e explícita de inferioridade com base na sua aparência para humilhá-la.

Para a maioria, a falha da Meta em interpretar esse conteúdo como uma declaração de inferioridade “explícita” é algo problemático, parcialmente porque suas próprias regras não especificam “explicitude” como um requisito para encontrar uma violação. Mesmo que encontrar uma violação nesse caso dependa de uma interferência criada comparando uma declaração falsa com uma representação visual, o efeito não é ambíguo nem sutil. A acessibilidade e as capacidades aprimoradas das ferramentas de IA generativa aceleram drasticamente a habilidade de produzir e compartilhar alegações hipócritas sem fundamento. Anteriormente, o Comitê questionou a aplicação inadequada pela Meta das suas regras para conteúdo visual, sendo muito literal ou fraca na análise contextual ao não encontrar violações diretas em vídeo ou imagens (ver Animação Knin, Post em polonês contra pessoas trans, Conteúdo direcionado a ativistas de direitos humanos no Peru). A disparidade entre o monitoramento pela Meta de conteúdo visual e escrito é demonstrada aqui pela remoção pela Meta, após perguntas do Comitê, de quatro comentários no post que faziam comparações desumanizantes em escrito dirigidas à mulher. Esses comentários, na visão do Comitê, não foram mais explícitos do que a mensagem do vídeo, criando um senso de arbitrariedade na aplicação da Meta. Dado que as plataformas da Meta são cada vez mais projetadas tendo conteúdo visual em consideração e que a moderação define como as pessoas se comunicam nessa plataforma, essa abordagem de apenas remover declarações de inferioridade “explícitas” é falha. Ataques velados, ameaças e insultos são comuns nas redes sociais, e a incapacidade ou recusa da Meta em lidar com isso cria lacunas na moderação e na proteção de usuários contra bullying e assédio.

Enquanto algumas pessoas podem alegar que o post é uma tentativa de sátira ou humor, a Meta escolheu não criar uma exceção para humor nos Padrões da Comunidade sobre Bullying e Assédio. Qualquer hipocrisia que o post busca destacar entre seu cargo público fictício (ela, de fato, não estava promovendo a alimentação saudável ou exercícios) e a aparência física tem o claro propósito de fazer bullying e ridicularizar uma pessoa devido à sua aparência.

Imagens manipuladas indesejadas

Para a maioria do Comitê, se a mulher retratada descobrisse e denunciasse o post, ele teria violado a política sobre imagens manipuladas indesejadas. A regra trata autodenúncias como o único indicador de imagens manipuladas sendo “indesejadas” ou não consensuais. Isso impõe a carga pesada da autodenúncia sobre as vítimas de bullying (ver PC-32633 – Center for Reproductive Rights; PC-32637 – Charlotte Manson, City Law School), e essa condição não foi cumprida. Entretanto, a maioria discorda da interpretação da Meta de que, mesmo se a mulher tivesse denunciado o post, ele ainda não teria violado essa regra. Uma interpretação simples de “imagens manipuladas” inclui a invenção das palavras e das ações de uma pessoa e não se limita à manipulação da aparência física dessa pessoa. Não está claro qual é o propósito da distinção pela Meta entre a manipulação de aparência e a de ações. Palavras e ações forjadas, como vistas nesse caso, podem degradar ou humilhar indivíduos devido a sua aparência de forma tão grave (se não mais) quanto representações fictícias ou exageradas da sua aparência (ver PC-32635 – Digital Rights Foundation). Como visto no caso Vídeo adulterado do Presidente Biden acerca da Política sobre Desinformação da Meta, as orientações de aplicação para abordar as tendências de conteúdo de um período podem se tornar ultrapassadas devido aos avanços tecnológicos. Os avanços em vídeos de IA generativa ultrarrealistas, desde quando o Comitê deliberou sobre o caso Biden, indicam que as regras da Meta sobre Bullying e Assédio também precisam ser atualizadas.

Assédio direcionado em massa

O Comitê concorda com a Meta que a ativista retratada é uma ativista dos direitos humanos e reconhece que esse post não coordenou explicitamente ou deu instruções para direcionar assédio contra ela. Contudo, a maioria do Comitê acredita que a conclusão da Meta se baseia em uma interpretação muito limitada do que assédio em massa “direcionado” significa na era digital. Diversas contas de destaque nas redes sociais participaram do abuso, essencialmente direcionando atenção negativa contra ela e levando, efetivamente, a um ataque em massa do qual o post nesse caso faz parte, com todas as características de assédio em massa. De acordo com sua própria pesquisa, o Comitê observou que o conteúdo contendo a falsa alegação de que essa mulher tinha um cargo público chegou a 250 compartilhamentos em apenas um dia, totalizando mais de mil compartilhamentos ao longo do período analisado. A similaridade de muitos conjuntos de posts compartilhando legendas idênticas ou quase idênticas serve como evidência para a coordenação e com certeza teria sido vivenciada como assédio em massa pela mulher vitimizada. Esse nível de coordenação é mais uma evidência da intenção de assediar, e isso indica um problema estrutural com os sistemas de aplicação da Meta não fornecerem aos usuários ferramentas específicas para denunciar coletivamente diversos posts como parte de uma campanha violadora. O Comitê também observou exemplos na rede social X em que os usuários perguntavam ao chatbot de IA Grok se as alegações eram reais e recebiam respostas de que sim.

O Comitê concorda que a Meta removeu corretamente os comentários no post que participavam de comparações desumanizantes, mesmo que só depois de o Comitê chamar a atenção da Meta para eles. Para a maioria, a natureza desses comentários demonstra que o público entendeu o post principal e escolheu se juntar ao autor no assédio em massa contra a mulher vitimizada. Outros membros do Comitê aceitam que esses comentários eram violadores, mas observam que o autor do post não deveria ter seu conteúdo avaliado com base nos comentários que um post suscita em outras pessoas.

Para uma minoria do Comitê, o post não viola os Padrões da Comunidade sobre Bullying e Assédio, visto que ele não contém uma “declaração de inferioridade sobre a aparência física”. Para interpretar que essa regra aborda inferências, como a maioria faz, é excessivamente amplo, defendendo uma interpretação contextual acima de outras igualmente plausíveis. O vídeo aborda uma discussão pública em andamento sobre a suposta contradição entre uma pessoa aparecer no noticiário para defender um estilo de vida saudável e não aparentar seguir esse mesmo padrão de vida. Para a minoria, esse estilo de exposição de uma suposta hipocrisia pode ser cruel ou indelicado, mas não foi tão longe a ponto de afirmar uma inferioridade, ou seja, afirmar que ela é menos devido a sua aparência física. Além disso, para uma minoria do Comitê, a mulher vitimizada não tem o suporte das proteções do Nível 3 contra imagens manipuladas indesejadas não pelos motivos que a Meta declarou, mas porque ela é uma “figura pública de escopo limitado”, e não um indivíduo que não é figura pública. Isso se deve à função pública que ela exerce para uma organização de defesa de interesses sociais e a sua participação em um noticiário nacional exercendo essa função. Para esses membros do Comitê, o volume de posts similares não é relevante para constatar uma violação por assédio em massa direcionado, já que o post não alcança o limite da Meta para violação da Política sobre Bullying e Assédio.

5.2 Conformidade com as responsabilidades da Meta relativas aos direitos humanos

A maioria do Comitê atesta que as responsabilidades da Meta com os direitos humanos corroboram a remoção desse post. Por outro lado, uma minoria acredita que não.

1. Liberdade de expressão (Artigo 19 do PIDCP)

Quando um Estado aplica restrições à expressão, elas devem atender aos requisitos de legalidade, objetivo legítimo e necessidade e proporcionalidade (Artigo 19, parágrafo 3 do Pacto Internacional dos Direitos Civis e Políticos, (PIDCP)). Esses requisitos costumam ser chamados de “teste tripartite”. O Comitê usa essa estrutura para interpretar as responsabilidades de direitos humanos da Meta de acordo com os Princípios Orientadores da ONU sobre Empresas e Direitos Humanos, com os quais a própria Meta se comprometeu em sua Política Corporativa sobre Direitos Humanos. Como afirmou o Relator Especial da ONU sobre liberdade de expressão, embora “as empresas não tenham obrigações governamentais, o impacto delas exige que avaliem o mesmo tipo de questões sobre a proteção do direito de seus usuários à liberdade de expressão” (A/74/486, parágrafo 41).

I. Legalidade (clareza e acessibilidade das regras)

O princípio da legalidade exige que as regras que limitam a expressão sejam acessíveis e claras, formuladas com precisão suficiente para permitir que um indivíduo regule sua conduta de acordo com elas (Comentário Geral n.º 34, parágrafo 25). Além disso, essas regras “não podem conceder liberdade de ação irrestrita para a restrição da liberdade de expressão aos encarregados de [sua] execução” e devem “fornecer instrução suficiente aos encarregados de sua execução para permitir-lhes determinar quais tipos de expressão são adequadamente restritas e quais tipos não são” (ibid.). O Relator Especial da ONU sobre a liberdade de expressão declarou que, quando aplicadas à governança do discurso online por parte de intervenientes privados, as regras devem ser claras e específicas (A/HRC/38/35, parágrafo 46). As pessoas que usam as plataformas da Meta devem ser capazes de acessar e entender as regras, e os analistas de conteúdo devem ter orientações claras sobre sua aplicação.

A maioria do Comitê considerou as regras da Meta suficientemente claras para alcançar os resultados desse caso, mas observaram três áreas nas quais as orientações internas confidenciais da Meta precisam ser atualizadas para refletir com suas regras são apresentadas ao público. Isso poderia ajudar a garantir uma aplicação mais precisa e reduzir a impressão de arbitrariedade na interpretação pela Meta de suas regras.

Primeiramente, deve haver uma orientação clara aos analistas de que “declarações de inferioridade sobre a aparência física” devem incluir violações feitas por meio de imagens e vídeo, assim como por escrito ou dito em áudio. Exemplos específicos para analistas sobre como deepfakes podem se enquadrar nessa categoria também ajudariam.

Em segundo lugar, a arbitrariedade que surge da disparidade entre o texto da política e as orientações de aplicação será agravada conforme o conteúdo gerado por IA se tornar mais generalizado e dá a entender que será necessária uma alteração na política. A Meta deveria deixar claro que sua política sobre imagens manipuladas indesejadas inclui a manipulação não consensual das palavras ou da conduta de uma pessoa, e a regra pública deveria ser atualizada para tornar isso explícito. Se uma pessoa for falsamente retratada em uma imagem pública sendo humilhada, degradada ou fazendo algo ilegal, a política deverá ser ativada.

Em terceiro lugar, a Meta deveria tornar as exigências da sua regra sobre “assédio em massa direcionado” mais claras. Como disposto abaixo, a Meta deveria aprimorar sua abordagem para detectar e remover campanhas de assédio em massa do tipo que esse caso representa, o que pode exigir uma combinação de alterações nas políticas e na aplicação.

II. Objetivo legítimo

Qualquer restrição à liberdade de expressão também deve buscar um ou mais dos objetivos legítimos listados no PIDCP, o que inclui a proteção dos direitos de terceiros (Artigo 19, parágrafo 3 do PIDCP). Os Padrões da Comunidade sobre Bullying e Assédio buscam proteger os direitos dos outros, incluindo seu direito à privacidade, à reputação e à participação pública (Artigos 17 e 25 do PIDCP) e à saúde física e mental (Artigo 12, Pacto Internacional dos Direitos Econômicos, Sociais e Culturais).

III. Necessidade e proporcionalidade

Nos termos do Artigo 19(3) do PIDCP, a necessidade e a proporcionalidade exigem que as restrições à expressão “devam ser adequadas para atingir sua função de proteção; devam ser o instrumento menos intrusivo entre aqueles que podem atingir sua função de proteção; devam ser proporcionais ao interesse a ser protegido” (Comentário Geral n.º 34, parágrafo 34).

É importante começar essa análise pelos direitos da mulher que foi vitimizada nessa campanha de assédio, e pelos direitos das pessoas de receber informações importantes sobre saúde sexual e reprodutiva as quais ela apareceu no noticiário para compartilhar. Já há muito tempo, foi documentado que as mulheres que participam de discussões públicas online, especialmente se elas estiverem sob o olhar do público e pertencerem a grupos religiosos ou étnicos minoritários, são expostas a volumes muito maiores de assédio e abuso nas redes sociais do que outras pessoas (ver PC-32635; ver “#Toxictwitter: violence and abuse against women online”, relatório da Anistia Internacional de novembro de 2018; “No Excuse for Abuse”, relatório da Pen America de março de 2021).

Conforme as capacidades de vídeo da IA generativa evoluem rapidamente para permitir que as pessoas imitem mais facilmente os outros online, o uso dessas ferramentas para praticar bullying e assediar as pessoas que têm pontos de vista impopulares ou desfavorecidos, assim como membros de grupos marginalizados, aumentou. Isso não gera necessariamente novos tipos de dano por bullying e assédio exigindo normas diferentes para a resolução, mas criou desafios adicionais em termos da dimensão, da credibilidade do conteúdo criado por apps de IA generativa em rápida evolução e dos impactos mais críticos causados ao cometer bullying ou assédio contra uma pessoa usando imagens similares ultrarrealistas ou enganosas para causar dano. Esses efeitos são agravados pelos incentivos das plataformas, particularmente os algoritmos baseados em engajamento e os programas de monetização.

Para a maioria dos Membros do Comitê, as responsabilidades dos direitos humanos da Meta exigem uma abordagem mais robusta, a fim de que conteúdo como o vídeo gerado por IA nesse caso seja removido por violar a Política sobre Bullying e Assédio. Para uma minoria, apesar de também demonstrar preocupação com os efeitos do bullying e do assédio, medidas menos intrusivas do que a remoção, como a rotulagem, o rebaixamento ou a desmonetização, poderiam ser usadas se fosse determinado que conteúdo dessa natureza é violador. A minoria vê essas medidas como mais alinhadas às responsabilidades de direitos humanos da Meta e necessárias para a prevenção contra restrições vagas à liberdade de expressão.

Para a maioria do Comitê, a remoção é necessária porque não há nenhuma medida menos restritiva que assumiria uma função suficientemente protetora. O dano nesse caso não se origina principalmente de enganação, mas do uso da imagem realista de uma pessoa como uma arma para humilhá-la e se passar por ela. Isso não pode ser mitigado por meio de telas de aviso, rótulos ou rebaixamento do conteúdo, visto que essas medidas permitiriam que o conteúdo de assédio ainda existisse na plataforma. Ademais, os rótulos raramente são aplicados e não aumentam a contenção nem reduzem a disseminação desse tipo de conteúdo, a menos que classificados por verificadores de fatos externos (ver Conteúdo gerado por IA no conflito Israel-Irã).

A remoção também é proporcional porque os benefícios da restrição à privacidade e à reputação da mulher vitimizada, assim como ao seu direito à participação pública, são maiores do que qualquer fardo sobre a expressão do usuário cujo conteúdo foi removido.

Há pouco ou nenhum interesse público em manter o discurso sem restrições. A maioria do Comitê conclui que a mulher não fez nada errado nem agiu com hipocrisia. O conteúdo, por sua vez, falsifica sua posição para atacá-la e não interage com a intenção real dos seus argumentos. Além disso, a vítima do abuso é um indivíduo que não é figura pública. Ela não é uma figura pública exercendo um cargo ou em uma posição de poder que exige que ela demonstre mais tolerância a esses ataques (Comentário Geral n.º 34, op. cit., parágrafo 38). Mesmo após a remoção desse post, o usuário que postou o conteúdo segue livre para discutir os mesmos problemas que a mulher participou do noticiário para discutir, sem participar de ataques irrelevantes ou personalizados. Por outro lado, há interesse público significativo nas informações que a mulher compartilhou no noticiário: acerca da saúde sexual e reprodutiva, e a respectiva crítica à política educacional do governo.

A pesquisa do Comitê revelou que posts similares ao conteúdo nesse caso, vários dos quais também foram gerados por IA, apareceram em diversas contas diferentes no Facebook e no Instagram, assim como em plataformas que não são da Meta, geralmente com legendas idênticas ou quase iguais. Enquanto outras plataformas de rede social assumiram um posicionamento similarmente indeciso como o da Meta na sua abordagem para comparar conteúdo gerado por IA que assedia um indivíduo (incluindo no X e YouTube), alguns foram mais explícitos quanto a suas proteções. Por exemplo, o TikTok tem regras que proíbem a semelhança gerada por IA (definida como “uma representação de imagem, vídeo ou áudio reconhecível de uma pessoa, incluindo seu rosto, corpo, voz e gestos”) feita para praticar bullying ou assédio contra um indivíduo e requer a exposição de conteúdo gerado por IA que faz parecer que alguém está dizendo ou fazendo algo que não disse ou fez. Esse tipo de abuso, especialmente quando produzido em grande escala e em diferentes plataformas, tem um peso psicológico nas vítimas que pode impactar sua saúde, ser um precursor de assédio e violência no meio físico e efetivamente forçar as pessoas a não participarem de discussões públicas. Isso é exacerbado ainda mais para indivíduos como a mulher retratada, que está falando sobre questões de saúde sexual e reprodutiva. Isso restringe não apenas sua liberdade de expressão, afetando o direito de receber informações do público pretendido pelo indivíduo, mas também, potencialmente, a liberdade de expressão de espectadores que se depararam com o abuso e internalizaram os riscos decorrentes de participar de discussões públicas. Um ambiente permissivo para esses abusos corre o risco não só de normalizar o abuso, mas também de dar seguimento à marginalização que ele procura gerar. Os danos e o impacto desse conteúdo, incluindo imagens ou vídeos manipulados digitalmente de um indivíduo vitimizado, geralmente se estendem a um grupo inteiro e comunidades mais amplas, afetando diversos direitos humanos e enfraquecendo a participação inclusiva na vida pública por meio desse efeito restritivo (ver PC-32637 – Charlotte Manson, City Law School; A/HRC/62/48). Esse caso tem como base a decisão no caso Vídeo sexualizado gerado por IA denunciado de evidenciar que os danos dos “deepfakes” não estão limitados apenas a assédio na forma de conteúdo sexualizado não consensual.

Enquanto vários casos do Comitê estavam concentrados em falsificações de identidade sexualizadas de mulheres, esse caso demonstra como os direitos dos usuários também podem ser infringidos significativamente por meio de imitação sintética não sexual. Esse deepfake foi postado no contexto de uma campanha de assédio online mais abrangente, na qual o usuário responsável por ele decidiu ir mais longe do que muitos outros ao não compartilhar apenas sua opinião, mas postar um deepfake que é particularmente malicioso devido aos seus efeitos degradantes e humilhantes. O impacto agregado do bullying ou assédio em massa à privacidade e à dignidade dessa mulher procura forçá-la a evitar discussões públicas.

Cumulativamente, esse conteúdo também tem impactos sociais, enviando uma clara mensagem para outras mulheres e meninas, especialmente aquelas que se parecem com ela, não se manifestarem. De acordo com os comentários públicos que o Comitê recebeu, esse caso demonstra “um fenômeno mais abrangente no qual mulheres e meninas que participam publicamente de discussões sobre temas relacionados a saúde, igualdade de gênero e direitos sexuais e reprodutivos são desproporcionalmente sujeitas a assédio de gênero, mídia manipulada e desinformação” (ver PC-32633 – Center for Reproductive Rights). Esse tipo de conteúdo gerado por IA pode efetivamente silenciar mulheres e meninas, especificamente aquelas visivelmente religiosas, de se manifestarem acerca de questões que possam ser consideradas tabu ou controversas nas suas comunidades. Para a maioria, apesar de a solidariedade com as vítimas por meio de contradiscurso dever ser encorajada, isso não é uma solução contra o bullying e o assédio. Esse é especialmente o caso em partes do mundo onde a censura governamental, o estigma social e a falta de recursos para a sociedade civil ou a mídia independente não asseguram as condições exigidas pelo contradiscurso. Além disso, essas não são condições garantidas para outros indivíduos marginalizados na plataforma.

Para uma minoria do Comitê, a remoção não era necessária nem proporcional. Apesar de ser razoável discordar do comportamento do usuário nesse caso ou até condená-lo, ainda há, vagamente, interesse público em ter liberdade para criticar as notícias e as pessoas que aparecem nelas. Isso requer defender discurso que, como no caso em questão, é questionável e até ofensivo e rude em alguns casos. A censura, nesse contexto, provavelmente só agravaria a divisão, especialmente onde as pessoas podem interpretar que as críticas a indivíduos no âmbito público está sendo removida devido a um ponto de vista diferente. A minoria observa que o indivíduo vitimizado nesse caso se manifestou depois dessa experiência, e um número impressionante de pessoas de alta visibilidade se manifestaram a seu favor, dando um exemplo aos abusadores por meio do contradiscurso. A minoria demonstra preocupação de que, caso a Meta tentasse escalar a aplicação da decisão que a maioria tomou nesse caso, isso levaria a restrições excessivamente vagas à liberdade de expressão e ao abuso em potencial da Política sobre Bullying e Assédio por pessoas no poder para restringir críticas legítimas. A interpretação restritiva pela Meta de algumas das regras da sua Política sobre Bullying e Assédio é proporcional para prevenir essa brecha, e as leis dos direitos humanos internacionais, na visão da minoria, não exigem que a empresa assuma uma postura mais restritiva.

2. Direito ao recurso

Como com diversos outros casos anteriores a respeito do uso violador de vídeos de IA generativa (ver Imagens explícitas de figuras públicas femininas criadas por IA, Vídeo sexualizado gerado por IA denunciado), a Meta não priorizou o conteúdo desse caso para análise, tanto em primeira instância quanto após a apelação. O Comitê está muito preocupado com o volume de denúncias de usuários contra conteúdo violador que é analisado por classificadores como passivo de análise humana sem receber nenhuma. Isso é especialmente preocupante em casos de bullying e assédio, nos quais a falha em avaliar o conteúdo causa dano severo às vítimas e ignorar denúncias de usuários válidas reduz a confiança nos sistemas de moderação de conteúdo da Meta. Os avanços no uso da automação na moderação de conteúdo pode fornecer oportunidades de reduzir significativamente o número de denúncias de usuários que não são analisadas, em especial para casos mais objetivos, liberando a capacidade dos analistas para análises com contexto mais complexo ou que exija especialistas.

O Comitê reitera sua preocupação com o fato de as vítimas de assédio geralmente terem o fardo de denunciar o conteúdo, o que é agravado pela falta de ferramentas de denúncia externas, especialmente quando o assédio se torna viral (ver Vídeos de debate sobre identidade de gênero). Esses desafios são especialmente severos para mulheres, especialmente para as que usam hijab ou são visualmente religiosas, em partes do mundo onde sua autonomia é restringida por diversos tipos interligados de normas sociais, descriminação e até violência.

Conforme a Meta atualiza suas políticas e orientações para assegurar que esse conteúdo é tratado como violador, incluindo quando estiver em formato visual, sem precisar conter declarações explícitas ou literais, é importante que seus sistemas sejam treinados para priorizar esses posts para análise e que os recursos adequados sejam disponibilizados de forma eficaz para assegurar que as denúncias não sejam fechadas automaticamente devido à falta de capacidade para análise. Onde os indivíduos forem vítimas de assédio em massa, deverá haver ferramentas para auxiliar a denúncia de violações conectadas, que deveriam ser priorizadas e analisadas em conjunto para o contexto completo.

6. A decisão do Comitê de Supervisão

A maioria do Comitê revoga a decisão da Meta de manter o conteúdo e exige que a publicação seja removida.

7. Recomendações

Política de conteúdo

1. Para abordar a lacuna na Política sobre Bullying e Assédio, a Meta deveria definir publicamente “imagens manipuladas indesejadas” como incluindo deepfakes de indivíduos que não são figuras públicas dizendo ou fazendo coisas que não disseram ou fizeram, assim como a manipulação da aparência de uma pessoa.

O Comitê considerará essa recomendação implementada quando a política tiver sido publicamente atualizada com essa definição.

Aplicação

O Comitê reitera sua recomendação anterior na decisão do caso Conjunto de vídeos sobre identidade de gênero solicitando que contas de terceiros pudessem denunciar conteúdo de bullying e assédio (recomendação n.º 3), ressaltando a relevância dessa recomendação para o tema em questão. O Comitê está preocupado que, apesar de ter feito essa recomendação há mais de um ano, a resposta da Meta ainda seja pendente enquanto a empresa avalia a viabilidade da recomendação. Ele incentiva a Meta a concluir essa avaliação e implementar a recomendação.

2. Para reduzir o fardo da denúncia para as vítimas de assédio em massa usando deepfakes, a Meta deveria incluir ocorrências de “imagens manipuladas indesejadas” violadoras aos Bancos de Correspondência de Mídia para remoção.

O Comitê considerará essa recomendação implementada quando a Meta fornecer evidências a ele de que é capaz de escalar as denúncias contra deepfakes de conteúdo idêntico.

3. Para garantir o direito ao recurso, a Meta deveria usar sinais de mídia gerada por IA ou manipulada como um indicador de gravidade com a finalidade de priorizar denúncias para análise.

O Comitê considerará essa recomendação implementada quando a Meta fornecer evidências de que a geração por IA foi integrada como um sinal para priorização das filas de análise humana para Bullying e Assédio, e compartilhar métricas sobre quaisquer alterações no volume de denúncias sobre Bullying e Assédio fechadas automaticamente decorrentes disso.

Nota processual:

• As decisões do Comitê de Supervisão são tomadas por painéis de cinco membros e aprovadas por maioria de votos do Comitê inteiro. As decisões dele não representam, necessariamente, as opiniões de todos os membros.
• De acordo com seu Estatuto, o Comitê de Supervisão pode analisar apelações de usuários cujo conteúdo foi removido pela Meta, apelações de usuários que denunciaram conteúdo que a Meta manteve ativo e decisões que a Meta encaminha a ele (Seção 1 do Artigo 2 do Estatuto). O Comitê tem autoridade vinculativa para manter ou anular as decisões de conteúdo da Meta (Seção 5 do Artigo 3 e Artigo 4 do Estatuto). Ele pode emitir recomendações não vinculativas às quais a Meta é obrigada a responder (Seção 4 do Artigo 3 e Artigo 4 do Estatuto). Quando a Meta se compromete a agir de acordo com as recomendações, o Comitê monitora sua implementação.

Voltar para Decisões de Casos e Pareceres Consultivos sobre Políticas