Combater endossos enganosos de deepfakes alterando a abordagem de aplicação
5 de Junho de 2025
O Comitê revogou a decisão da Meta de manter no Facebook uma publicação que exibia um vídeo manipulado por inteligência artificial, em que uma pessoa que aparentava ser a lenda do futebol brasileiro, Ronaldo Nazário, parecia estar endossando um jogo online. A remoção da publicação está em conformidade com os Padrões da Comunidade da Meta no que diz respeito a fraudes e spam. Além disso, a Meta deveria ter rejeitado o material para fins publicitários, visto que suas diretrizes proíbem o uso da imagem de uma celebridade para manipular os usuários a interagir com um anúncio.
De acordo com informações públicas, o Comitê observa que a Meta provavelmente permite uma quantidade considerável de conteúdo fraudulento em suas plataformas para evitar uma fiscalização rigorosa de um pequeno número de endossos autênticos de celebridades. Revisores em grande escala não têm autoridade para aplicar a proibição sobre conteúdos que criam identidades falsas ou simulam a imagem de figuras famosas para enganar ou fraudar. A Meta deve implementar essa proibição em larga escala, fornecendo aos revisores indicadores claros, frequentemente fáceis de identificar, que possam distinguir conteúdos gerados por IA.
Sobre o caso
Em setembro de 2024, um usuário compartilhou no Facebook um vídeo manipulado por IA que mostrava uma pessoa que parecia ser o ex-jogador de futebol brasileiro Ronaldo Nazário. No vídeo, ele incentivava as pessoas a baixarem um aplicativo para jogar o famoso jogo online Plinko.
No entanto, o áudio imitando Ronaldo não estava sincronizado com os movimentos labiais. Além disso, o vídeo exibia imagens criadas por IA de um professor, um motorista de ônibus e um funcionário de supermercado, apresentando também o salário médio de cada uma dessas profissões no Brasil. O áudio do vídeo alegava que os jogadores do Plinko poderiam ganhar mais dinheiro com o jogo do que com os empregos mencionados. O conteúdo ainda encorajava os usuários a clicarem em um link para baixar o aplicativo, mas ao fazer isso, eram redirecionados para um jogo diferente, chamado Bubble Shooter. A publicação recebeu mais de 600.000 visualizações.
Um usuário denunciou o conteúdo à Meta, classificando-o como fraude ou golpe, mas a denúncia não foi priorizada. A empresa também não removeu o conteúdo da plataforma. O usuário recorreu da decisão à Meta, mas esse recurso também não recebeu priorização para uma revisão humana, fazendo com que o conteúdo permanecesse disponível no Facebook. Em seguida, o usuário levou o caso ao Comitê, argumentando que a publicação parecia ser patrocinada. Quando uma publicação é impulsionada, um anúncio é gerado,
mas embora o anúncio tenha sido desativado por violar o Padrão de Publicidade de Práticas Comerciais Inaceitáveis da empresa, a publicação orgânica original permaneceu na plataforma. Após o Comitê identificar o caso para revisão, a Meta decidiu remover a publicação original por infringir sua política de Fraude, Golpes e Práticas Enganosas. A empresa também confirmou que a publicação violava sua política de Spam.
Deepfakes e endossos de deepfakes têm aumentado no mundo todo, incluindo casos envolvendo figuras públicas que promovem campanhas políticas fraudulentas e esquemas financeiros fraudulentos. Relatórios indicam que muitos golpes financeiros no Brasil, originados em plataformas como Facebook, Instagram e WhatsApp, estão relacionados a conteúdos manipulados por IA.
Principais descobertas
A remoção do conteúdo está em conformidade com os compromissos da Meta em relação aos direitos humanos. Recomendações falsas e manipuladas representam riscos consideráveis aos direitos à privacidade e à reputação da pessoa retratada. Elas também afetam o público em geral, ao facilitar possíveis fraudes.
O Comitê expressou preocupação com o fato de que revisores de conteúdo em larga escala não consigam remover publicações que criam identidades falsas ou imitam figuras públicas “com o intuito de aplicar golpes ou fraudar”, mesmo quando o conteúdo apresenta indicadores claros de violação das políticas da Meta. Somente equipes especializadas da Meta têm a capacidade de remover esse tipo de conteúdo, o que aumenta a probabilidade de uma aplicação inadequada de sua política de Fraude, Golpes e Práticas Enganosas.
A Meta provavelmente permite uma quantidade considerável de conteúdo fraudulento em suas plataformas para evitar uma fiscalização rigorosa de um pequeno número de endossos autênticos de celebridades. Isso se torna ainda mais preocupante, pois endossos genuínos de celebridades provavelmente possuem outras formas de proteção contra uma fiscalização excessiva, seja por meio de sistemas formais como verificação cruzada ou pontos de contato na Meta. Por isso, o Comitê recomenda que a Meta revise sua abordagem e implemente essa política de maneira mais ampla.
A natureza manipulada ou falsa do vídeo é clara e evidente. O Comitê acredita que a publicação infringe a proibição da Meta de criar personas falsas ou simular ser uma pessoa famosa para aplicar golpes ou fraudar, conforme estabelecido no Padrão da Comunidade de Fraude, Golpes e Práticas Enganosas. Além disso, a publicação também viola a proibição da Meta de compartilhar links enganosos ou ilusórios, de acordo com seu Padrão da Comunidade de Spam, pois promove o Plinko, mas direciona os usuários para um jogo diferente. Por isso, o Comitê conclui que a publicação deveria ter sido removida assim que foi denunciada. Mesmo antes da remoção da publicação, a Meta deveria ter aplicado um rótulo de “Informações de IA”, de acordo com sua política de Mídia Manipulada. A Meta também deveria ter rejeitado o conteúdo para fins publicitários, já que seu Padrão de Publicidade de Práticas Comerciais Inaceitáveis proíbe o uso da imagem de uma pessoa famosa e o emprego de táticas enganosas para manipular as pessoas a interagir com um anúncio.
A empresa tem a responsabilidade de “mitigar os impactos adversos sobre os direitos humanos” de conteúdos monetizados que possam induzir golpes ou fraudes, alinhando-se aos Princípios Orientadores das Nações Unidas sobre Empresas e Direitos Humanos. Além disso, quando o conteúdo é pago para ser impulsionado, a Meta deve assegurar que essas publicações não violem suas políticas.
A decisão do Comitê de Supervisão
O Comitê de Supervisão decidiu reverter a decisão da Meta de manter a publicação no Facebook.
O Comitê também recomenda que a Meta:
- Aplique em larga escala sua política de proibição de Fraudes, Golpes e Práticas Enganosas a conteúdos que “tentem estabelecer uma identidade falsa ou simular ser uma pessoa famosa com o intuito de aplicar golpes ou fraudar”, fornecendo aos revisores indicadores para identificar esse tipo de conteúdo. Isso pode incluir, por exemplo, a presença de marcas d'água e metadados de manipulação de mídia, ou fatores evidentes como a incompatibilidade entre vídeo e áudio.
Mais informações
Para ler os comentários públicos sobre este caso, clique aqui.
