Vídeo manipulado por IA promovendo jogos de azar

Resumo

O Comitê anulou a decisão da Meta de manter um post no Facebook mostrando um vídeo manipulado por IA de uma pessoa que parece ser a lenda do futebol brasileiro, Ronaldo Nazário, promovendo um jogo online. A remoção do post é consistente com os Padrões da Comunidade da Meta sobre Fraude e Spam. A Meta também deveria ter rejeitado o conteúdo publicitário, já que suas regras proíbem o uso da imagem de uma pessoa famosa para induzir as pessoas a interagir com um anúncio.

Com base em relatos públicos, o Comitê observa que é provável que a empresa esteja permitindo quantidades significativas de conteúdo com golpe em suas plataformas para evitar a potencial overenforcement de um pequeno subconjunto de conteúdo com promoções genuínas de celebridades. Os analistas em escala não têm autoridade para aplicar essa proibição a conteúdo que estabeleça uma identidade falsa ou que tenha alguém fingindo ser uma pessoa famosa para aplicar golpes ou cometer fraudes. A Meta deve aplicar essa proibição em escala, fornecendo aos analistas indicadores, muitas vezes facilmente identificáveis, que distingam o conteúdo de IA.

Sobre o caso

Em setembro de 2024, um usuário compartilhou um post envolvendo um vídeo manipulado por IA de uma pessoa que parece ser o jogador de futebol brasileiro aposentado Ronaldo Nazário. No vídeo, ele incentiva as pessoas a baixarem um app para jogar o popular jogo online Plinko (ou Plinco).

Nele, o áudio imitando Ronaldo Nazário não está sincronizado com seus movimentos labiais. O vídeo também mostra imagens irreais geradas por IA de um professor, um motorista de ônibus e um funcionário de um supermercado, além do salário médio de seus empregos no Brasil. O áudio afirma que os jogadores do Plinko podem ganhar mais dinheiro com o jogo do que com os empregos mencionados. O vídeo incentiva os usuários a clicar em um link de download para o app, embora ele direcione a um jogo diferente chamado Bubble Shooter. O post foi visualizado mais de 600 mil vezes.

Um usuário denunciou o conteúdo à Meta como fraude ou golpe, mas a denúncia não foi priorizada. A empresa não removeu o conteúdo. O usuário fez uma apelação dessa decisão à Meta, mas essa apelação também não foi priorizada para análise humana, então o conteúdo permaneceu no Facebook. Por fim, o usuário fez uma apelação da decisão da Meta ao Comitê, afirmando que o post parecia ser patrocinado. Se um post é turbinado, um anúncio é criado nele.

O anúncio foi desabilitado por não seguir os Padrões de Publicidade sobre Práticas Comerciais Inaceitáveis ​​da empresa, embora o post orgânico original tenha permanecido na plataforma. Depois que o Comitê identificou esse caso para análise, a Meta removeu o post original por não seguir a Política sobre Fraude, Golpes e Práticas Enganosas. Mais tarde, a empresa confirmou que o post também não seguia sua Política sobre Spam.

Deepfakes e promoções com deepfakes estão aumentando globalmente, incluindo aqueles envolvendo figuras públicas promovendo campanhas políticas fraudulentas e golpes financeiros. Relatórios destacam que muitos dos golpes financeiros no Brasil originados no Facebook, no Instagram e no WhatsApp envolvem conteúdo manipulado por IA.

Principais descobertas

A remoção do conteúdo está de acordo com as responsabilidades da Meta em relação aos direitos humanos. Promoções enganosas e manipuladas representam riscos significativos aos direitos à privacidade e à reputação da pessoa retratada. Elas também afetam o público, pois podem facilitar fraudes.

O Comitê está preocupado com o fato de que analistas de conteúdo em escala não conseguem remover posts que estabeleçam uma identidade falsa ou que tenham alguém fingindo ser uma pessoa famosa “em uma tentativa de aplicar golpes ou cometer fraudes”, mesmo que o conteúdo apresente indicadores claros de que não segue as políticas da Meta. Esse conteúdo só pode ser removido pelas equipes especializadas da Meta, o que torna mais provável a underenforcement de sua Política sobre Fraudes, Golpes e Práticas Enganosas.

É provável que a empresa esteja permitindo quantidades significativas de conteúdo com golpe em suas plataformas para evitar a potencial overenforcement de um pequeno subconjunto de conteúdo com promoções genuínas de celebridades. Isso é particularmente preocupante, pois conteúdo com promoções genuínas de celebridades provavelmente terão outras proteções contra a overenforcement, seja por meio de sistemas formais, como a verificação cruzada, ou pontos de contato na Meta. Portanto, o Comitê recomenda que a Meta mude sua abordagem e aplique essa linha de política em escala.

A natureza manipulada ou falsa do vídeo é aparente. O Comitê considera que o post não segue a proibição da Meta sobre identidades falsas ou fingir ser uma pessoa famosa para aplicar golpes ou cometer fraudes, de acordo com os Padrões da Comunidade sobre Fraudes, Golpes e Práticas Enganosas. Ele também não segue a proibição da Meta de compartilhar links enganosos ou falsos de acordo com seus Padrões da Comunidade sobre Spam, pois promove o Plinko, mas direciona a um jogo diferente. Portanto, o Comitê considera que o post deveria ter sido removido quando denunciado. Mesmo antes da remoção do post, a Meta deveria ter aplicado um rótulo de “informação de IA”, de acordo com sua Política sobre Mídia Manipulada. Ela também deveria ter rejeitado o conteúdo para publicidade, já que seus Padrões sobre Práticas Comerciais Inaceitáveis ​​proíbem o uso da imagem de uma pessoa famosa e táticas enganosas para induzir as pessoas a interagirem com um anúncio.

A empresa tem a responsabilidade de “mitigar os impactos adversos sobre os direitos humanos” de conteúdo monetizado que possa ser usado como golpe ou fraude, em conformidade com os Princípios Orientadores das Nações Unidas sobre Empresas e Direitos Humanos. Ao ser paga para turbinar conteúdo, a Meta deve garantir que esses posts sigam suas políticas.

A decisão do Comitê de Supervisão

O Comitê de Supervisão revoga a decisão da Meta de manter ativo o post no Facebook.

O Comitê também recomenda que a Meta faça o seguinte:

• Aplique em escala a proibição da Política sobre Fraudes, Golpes e Práticas Enganosas em conteúdo que “tente estabelecer uma identidade falsa ou que tenha alguém fingindo ser uma pessoa famosa na tentativa de aplicar golpes ou cometer fraudes”, fornecendo aos analistas indicadores para identificar esse conteúdo. Isso pode incluir, por exemplo, a presença de marcas d'água indicando manipulação de mídia e metadados, ou fatores claros, como incompatibilidade de vídeo e áudio.

*Os resumos de casos fornecem uma visão geral dos casos e não têm valor de precedente.

Decisão completa sobre o caso

1. Descrição do caso e histórico

Em setembro de 2024, um usuário postou um vídeo manipulado por IA de uma pessoa que parece ser a lenda aposentada do futebol brasileiro, Ronaldo Nazário, incentivando outras pessoas a baixar um app para jogar Plinko. Um jogo online popular, o Plinko (ou Plinco) envolve jogar uma bola em um tabuleiro cheio de pinos, e os jogadores podem ganhar prêmios diferentes com base em onde a bola cair.

O vídeo começa com Ronaldo Nazário falando para a câmera. Embora pareça realista à primeira vista, o áudio imitando o craque do futebol não está sincronizado com seus movimentos labiais. O vídeo então mostra imagens irreais geradas por IA de um professor, um motorista de ônibus e um funcionário de um supermercado, bem como o salário médio desses empregos no Brasil. O áudio imitando a voz de Ronaldo Nazário afirma que Plinko é simples de jogar e que jogadores comuns podem ganhar mais dinheiro com o jogo do que com esses empregos. Por fim, o vídeo incentiva os usuários a clicar em um link para baixar o app, embora ele direcione a um jogo diferente chamado Bubble Shooter. O post foi visualizado mais de 600 mil vezes e denunciado mais de 50 vezes por diferentes usuários.

Um usuário denunciou o conteúdo à Meta como fraude ou golpe, mas a denúncia não foi priorizada para análise humana e a empresa não removeu o conteúdo. Ele então fez uma apelação dessa decisão à Meta. Essa apelação também não foi priorizada para análise humana, então o conteúdo permaneceu na plataforma. O usuário finalmente fez uma apelação da decisão da Meta ao Comitê.

O usuário que fez uma apelação da decisão da Meta ao Comitê afirmou que o conteúdo apareceu como um post patrocinado. A Meta permite que os usuários paguem para “turbinar” posts a fim de aumentar sua visibilidade e alcançar públicos mais amplos. Quando um post é turbinado, um anúncio é criado com base nele. Separadamente, a Meta informou ao Comitê que o anúncio foi desabilitado por não seguir a política da empresa. Isso significa que o post não foi mais turbinado para maior visibilidade, mas o post orgânico original permaneceu na plataforma. Depois que o Comitê identificou esse caso para análise, a Meta removeu o post original, constatando que ele não seguia a Política sobre Fraudes, Golpes e Práticas Enganosas. A empresa também aplicou uma advertência padrão no perfil do usuário que criou o post. Mais tarde, a Meta confirmou que o post também não seguia sua Política sobre Spam.

O Comitê observou o seguinte contexto ao tomar sua decisão sobre esse caso:

O problema de deepfakes e promoções com deepfakes está aumentando em todo o mundo. Os deepfakes são uma questão social e política importante no Brasil, frequentemente envolvendo figuras públicas influentes. Por exemplo, a desinformação manipulada por IA, incluindo endossos falsos a candidatos, tem sido destaque em campanhas eleitorais recentes. Em 2024, o Ministério do Esporte do Brasil levantou preocupações sobre conteúdo de redes sociais promovendo jogos de azar online e prometendo dinheiro fácil sem avisar sobre os riscos envolvidos. Relatórios também destacam que muitos dos golpes financeiros no Brasil originados no Facebook, no Instagram e no WhatsApp envolvem conteúdo manipulado por IA (veja o comentário público PC-31027, Centro de Estudos Avançados em Direito Cibernético e Inteligência Artificial).

2. Envios de usuários

O usuário que denunciou o conteúdo chamou o vídeo de mentiroso e de golpe por usar a imagem de Ronaldo Nazário para induzir as pessoas a baixarem e jogarem um jogo. O usuário afirmou que a Meta coloca avisos e rótulos em outros posts, mas não colocou nenhum aviso nesse caso nem excluiu o post. Ele afirmou que o conteúdo parecia um post patrocinado e é visivelmente falso.

3. Políticas de conteúdo e envios da Meta

I. Políticas de conteúdo da Meta

Padrões da Comunidade sobre Fraudes, Golpes e Práticas Enganosas

O fundamento da Política sobre Fraude, Golpes e Práticas Enganosas afirma que a Meta “visa proteger usuários e empresas de serem enganados e perderem dinheiro, propriedade ou informações pessoais” removendo conteúdo que “emprega intencionalmente meios enganosos, como falsidade ideológica, informações roubadas e alegações exageradas, para enganar ou cometer fraudes com usuários e empresas, ou para impulsionar o engajamento”.

Na seção da política que exige “informações adicionais e/ou contexto para aplicar a política”, a empresa afirma que “pode ​​remover conteúdo” que “tente estabelecer uma identidade falsa ou [que] tenha alguém fingindo ser uma pessoa famosa na tentativa de aplicar um golpe ou cometer fraudes”. Isso significa que somente equipes de análise especializadas da Meta podem aplicar essa regra e ela não pode ser aplicada por analistas em escala.

Padrões da Comunidade sobre Spam

O fundamento da Política sobre Spam explica que a Meta não permite “conteúdo criado para enganar, iludir ou confundir os usuários a fim de aumentar artificialmente a visibilidade”. As regras proíbem conteúdo com links enganosos, definido como “conteúdo que apresenta um link que promete um tipo de conteúdo, mas fornece algo substancialmente diferente”.

Padrões da Comunidade sobre Desinformação

Os Padrões da Comunidade sobre Desinformação afirmam que a Meta remove conteúdo apenas “quando for provável que contribua diretamente para o risco de danos físicos iminentes” ou “contribuam diretamente para a interferência no funcionamento de processos políticos”. A empresa também “exige que as pessoas divulguem, usando sua ferramenta de divulgação de IA, sempre que postarem conteúdo orgânico com vídeo fotorrealista ou áudio com som realista que foi criado ou alterado digitalmente”.

Se a mídia manipulada seguir de outra forma os Padrões da Comunidade, a Meta pode “colocar um rótulo informativo na frente dele ou rejeitar o conteúdo enviado como publicidade quando: ele for uma imagem ou um vídeo fotorrealista ou um áudio com som realista, que tenha sido criado ou alterado digitalmente e que gere um risco particularmente elevado de enganar, de forma material, o público sobre uma questão de importância pública”.

Padrões de Publicidade sobre Práticas Comerciais Inaceitáveis

Os Padrões de Publicidade sobre Práticas Comerciais Inaceitáveis explicam que os anúncios “não devem promover produtos, serviços, esquemas ou ofertas usando práticas enganosas ou falsas identificadas”. Em suas diretrizes para anúncios, a Meta proíbe o “uso da imagem de uma pessoa famosa e táticas enganosas para induzir as pessoas a interagirem com um anúncio”.

II. Envios da Meta

Como resultado da seleção desse caso pelo Comitê, a Meta determinou que sua decisão de deixar o conteúdo ativo foi um erro e removeu o post por não seguir seus Padrões da Comunidade sobre Fraudes, Golpes e Práticas Enganosas. A Meta afirmou que o post não seguiu sua proibição de conteúdo que “tenta estabelecer uma identidade falsa ou com alguém fingindo ser uma pessoa famosa na tentativa de aplicar um golpe ou cometer fraudes”. Ela explicou que, ao fazer parecer por meio de IA que Ronaldo Nazário estava usando ou promovendo um jogo online, o vídeo tentou enganar as pessoas para que usassem um produto que elas não baixariam sem sua promoção.

Em resposta às perguntas do Comitê sobre o monitoramento de conteúdo com pessoas falsas, a Meta explicou que aplica a política somente em casos de escalation para garantir que a pessoa retratada no conteúdo não tenha realmente promovido o produto. A Meta afirmou que isso requer uma análise altamente dependente do contexto e conhecimento especializado. Ela afirmou: “A interpretação dos analistas em escala sobre o que constitui uma ‘identidade falsa’ pode variar de acordo com a região e introduzir inconsistências no monitoramento.”

A Meta também constatou que o conteúdo não seguia os Padrões da Comunidade sobre Spam, que proíbe o uso de links enganosos. Nesse caso, o post incluía um link que direcionava a um jogo diferente do Plinko. Para a Meta, o uso de um link para um jogo diferente sugeria que o conteúdo foi criado para enganar ou cometer fraudes com as pessoas ou gerar engajamento enganoso.

A Meta informou ao Comitê que a remoção desse conteúdo também protegia os direitos e a reputação de outras pessoas. Ela concluiu que “os riscos de autenticidade superavam o valor da voz e não havia meios menos intrusivos disponíveis para limitar esse conteúdo além da remoção”.

O Comitê fez dez perguntas à Meta, incluindo sobre suas práticas de monitoramento, como ela rotula mídias manipuladas e como aborda golpes com iscas que usam celebridades para gerar engajamento com conteúdo orgânico e pago. A Meta respondeu a todas as perguntas.

Em resposta às perguntas do Comitê sobre a rotulagem de conteúdo manipulado por IA, a Meta afirmou que não rotulou o post como conteúdo gerado por IA antes de sua remoção. De acordo com a Meta, o vídeo “não incluiu indicadores padrão do setor de que foi gerado por IA, nem o usuário informou ter usado IA na criação”.

4. Comentários públicos

O Comitê recebeu quatro comentários públicos que atenderam aos termos de envio: um comentário da América Latina e do Caribe, um do Oriente Médio e do Norte da África, um dos Estados Unidos e do Canadá, e um da Ásia Central e do Sul. Para ler comentários públicos enviados com consentimento de publicação, clique aqui.

Os envios abordaram os seguintes temas: o impacto socioeconômico dos deepfakes, a eficácia das práticas de monitoramento da Meta e o impacto da decisão da empresa de encerrar o monitoramento proativo de algumas categorias de conteúdo.

5. Análise do Comitê de Supervisão

O Comitê analisou a decisão da Meta nesse caso em relação às políticas de conteúdo, aos valores e às responsabilidades de direitos humanos da Meta. Ele também avaliou as implicações desse caso quanto à abordagem mais ampla da Meta em relação à governança de conteúdo.

O Comitê selecionou esse caso para examinar, pela primeira vez, os desafios na aplicação das Políticas sobre Fraude, Golpes e Práticas Enganosas e Spam da Meta. O volume de mídia manipulada usada para golpes tende a aumentar, principalmente com os avanços da IA generativa. O caso se enquadra na prioridade estratégica do Comitê de Aplicação Automatizada de Políticas e Curadoria de Conteúdo.

5.1 Conformidade com as políticas de conteúdo da Meta

I. Regras sobre conteúdo

O Comitê considera que o post não segue a proibição da Meta de “estabelecer uma identidade falsa ou fingir ser uma pessoa famosa na tentativa de aplicar golpes ou cometer fraudes”, de acordo com os Padrões da Comunidade sobre Fraudes, Golpes e Práticas Enganosas. O vídeo faz parecer que Ronaldo Nazário está incentivando outras pessoas a baixarem um app de jogo de azar com o qual podem ganhar dinheiro facilmente. A natureza manipulada ou falsa do vídeo é aparente, já que o áudio que imita o astro do futebol não está visivelmente sincronizado com seus movimentos labiais. O Comitê não encontrou nenhum relato público sugerindo que Ronaldo Nazário promove esse jogo.

Ele também considera que o post não segue a proibição da Meta de compartilhar links enganosos ou falsos, de acordo com seus Padrões da Comunidade sobre Spam, pois o conteúdo “apresenta um link que promete um tipo de conteúdo, mas fornece algo substancialmente diferente”. O vídeo promove o Plinko e incentiva os usuários a baixar o jogo, mas o link incluído direciona a um jogo diferente.

II. Medida de aplicação

A Meta teve várias oportunidades de analisar e remover o conteúdo antes que ele fosse levado ao Comitê. Apesar de mais de 600 mil visualizações e mais de 50 denúncias de usuários, a Meta não priorizou o post para análise quando ele foi denunciado pela primeira vez ou quando teve sua apelação enviada posteriormente.

Antes de sua remoção, ele deveria ter sido rotulado de acordo com os Padrões da Comunidade sobre Desinformação da Meta para indicar que continha mídia manipulada. Na decisão do caso Vídeo alterado do presidente Biden, o Comitê recomendou que a Meta rotulasse o conteúdo manipulado para evitar que os usuários fossem enganados sobre sua autenticidade. A Meta implementou essa recomendação. Nesse caso, o vídeo foi alterado digitalmente para induzir os usuários a acreditarem que Ronaldo Nazário, uma figura pública conhecida, estava promovendo um app de jogo de azar. Com sua nova abordagem ao conteúdo gerado por IA, a Meta deveria ter aplicado um rótulo “Informação de IA” para indicar que o conteúdo foi criado ou alterado digitalmente.

A Meta rotula conteúdo enganoso manipulado com base em metadados e marcas d'água. A empresa afirmou ao Comitê que “rotulou um grande volume de conteúdo seguindo essa abordagem”, mas não divulga publicamente nenhuma estatística sobre a eficácia da abordagem. Para conteúdo que não apresenta esses marcadores, como é o caso desse post, pode haver outros indicadores de que ele é gerado por IA. No post, o áudio e o vídeo não estão alinhados, e o vídeo inclui imagens de baixa qualidade geradas por IA. Especialistas consultados pelo Comitê e autoridades públicas destacam a incompatibilidade de vídeo e áudio como um indicador importante de que o conteúdo é manipulado por IA. Eles citam outros indicadores, incluindo movimentos faciais não naturais, inconsistências na iluminação e sombras, e falta de continuidade e coerência de movimento.

O Comitê está ainda preocupado com o fato de que analistas de conteúdo em escala não conseguem remover posts que estabeleçam uma identidade falsa ou que tenham alguém fingindo ser uma pessoa famosa “em uma tentativa de aplicar golpes ou cometer fraudes”, conforme proibido pela política. Isso ocorre porque esse conteúdo só pode ser removido pelas equipes especializadas da Meta. Essa abordagem torna mais provável que a Política sobre Fraudes, Golpes e Práticas Enganosas da Meta tenha underenforcement. Embora alguns posts possam exigir conhecimentos específicos para entender que contêm pessoas falsas, outros, como esse, podem ser aplicados em escala.

A Meta também deveria ter rejeitado o conteúdo para publicidade, já que seus Padrões sobre Práticas Comerciais Inaceitáveis ​​proíbem o uso da “imagem de uma pessoa famosa e táticas enganosas para induzir as pessoas a interagirem com um anúncio”. A Meta afirmou publicamente que avalia anúncios com tecnologia de reconhecimento facial para deepfakes de celebridades. Ela informou ao Comitê que seu sistema de análise de anúncios, que recorre principalmente à automação, foi “projetado para analisar todos os anúncios antes de eles serem veiculados”. Apesar desses mecanismos, parece que a Meta aceitou esse conteúdo para publicidade. Mais tarde, ela informou ao Comitê que o anúncio foi desabilitado porque não seguia seus Padrões de Publicidade sobre Práticas Comerciais Inaceitáveis, mas o conteúdo orgânico permaneceu ativo na plataforma. Quando a Meta constatou que o conteúdo não seguiu os Padrões de Publicidade e desabilitou o anúncio, isso não acionou nenhuma análise adicional para possíveis violações dos Padrões da Comunidade para o post orgânico subjacente, apesar da clara sobreposição de políticas. Para abordar essa lacuna, a empresa poderia iniciar uma análise orgânica da política sempre que for constatado que o conteúdo não segue a Política de Publicidade.

5.2 Conformidade com as responsabilidades da Meta relativas aos direitos humanos

O Comitê considera que remover o conteúdo do Facebook é coerente com as responsabilidades da Meta com os direitos humanos.

O artigo 19(2) do Pacto Internacional sobre Direitos Civis e Políticos (PIDCP) oferece ampla proteção à expressão. Isso inclui a “liberdade de procurar, receber e difundir informações e ideias de qualquer natureza”. O Comitê de Direitos Humanos lista formas específicas de expressão incluídas no Artigo 19 e observa que o direito à liberdade de expressão pode incluir publicidade comercial (Comentário Geral n.º 34, parágrafo 11).

Quando um Estado aplica restrições à expressão, elas devem atender aos requisitos de legalidade, objetivo legítimo e necessidade e proporcionalidade, segundo o parágrafo 3 do Artigo 19 do PIDCP). Esses requisitos costumam ser chamados de “teste tripartite”. O Comitê de Direitos Humanos observou a aplicabilidade desse teste no contexto da publicidade comercial (Comentário Geral n.º 34, parágrafo 33). O Comitê usa essa estrutura para interpretar as responsabilidades de direitos humanos da Meta de acordo com os Princípios Orientadores da ONU sobre Empresas e Direitos Humanos, com os quais a própria Meta se comprometeu em sua Política Corporativa sobre Direitos Humanos. O Comitê faz isso em relação tanto à decisão de conteúdo individual sob análise quanto ao que isso diz sobre a abordagem mais ampla da empresa à governança de conteúdo. Como afirmou o Relator Especial da ONU sobre liberdade de expressão, embora “as empresas não tenham obrigações governamentais, o impacto delas exige que avaliem o mesmo tipo de questões sobre a proteção do direito de seus usuários à liberdade de expressão” ( A/74/486, parágrafo 41).

O Comitê tem frequentemente observado a importância de proteger o discurso político e social (Comentário Geral n.º 34, parágrafo 38). Essas considerações não se aplicam aqui. O Comitê considera que esse post é um discurso comercial que pode ser limitado quando o teste tripartite for atendido.

I. Legalidade (clareza e acessibilidade das regras)

O princípio da legalidade exige que as regras que limitam a expressão sejam acessíveis e claras, formuladas com precisão suficiente para permitir que um indivíduo regule sua conduta de acordo com elas (Comentário Geral n.º 34, parágrafo 25). As pessoas que usam as plataformas da Meta devem ser capazes de acessar e entender as regras, e os moderadores de conteúdo devem ter orientações claras sobre sua aplicação.

O Comitê considera que as regras da Política sobre Fraudes, Golpes e Práticas Enganosas da Meta são suficientemente claras e acessíveis. Está claro para o Comitê que a proibição de conteúdo “estabelecendo uma identidade falsa ou com alguém fingindo ser uma pessoa famosa na tentativa de aplicar um golpe ou cometer fraudes” abrange posts que usam a imagem de uma figura pública para promover de forma fraudulenta um produto ou app.

II. Objetivo legítimo

Qualquer restrição declarada à liberdade de expressão também deve perseguir um ou mais dos objetivos legítimos listados no PIDCP, o que inclui a proteção dos direitos ou reputações de terceiros. A proibição da Meta sobre posts que estabeleçam pessoas falsas para enganar ou cometer fraudes com outras pessoas atende a dois objetivos. Primeiro, busca proteger as pessoas de golpes e fraudes (Artigo 17, Declaração Universal dos Direitos Humanos). Em segundo lugar, protege os direitos e a reputação das pessoas retratadas, pois esse conteúdo afeta seu direito à privacidade e sua capacidade de decidir como as imagens de si mesmas são criadas e divulgadas (Artigo 17, PIDCP; veja também a decisão do caso Imagens explícitas de figuras públicas femininas criadas por IA).

III. Necessidade e proporcionalidade

Nos termos do artigo 19(3) do PIDCP, a necessidade e a proporcionalidade exigem que as restrições à expressão “devem ser adequadas para atingir sua função de proteção; devem ser o instrumento menos intrusivo entre aqueles que podem atingir sua função de proteção; devem ser proporcionais ao interesse a ser protegido”. Além disso, de acordo com os Princípios Orientadores das Nações Unidas sobre Empresas e Direitos Humanos (UNGPs, na sigla em inglês), as ações de uma empresa em resposta a danos potenciais devem ser embasadas pela extensão de seu envolvimento na criação de qualquer impacto adverso nos direitos humanos (UNGP 19(b)).

O Comitê considera que a eventual decisão da Meta de remover o conteúdo do Facebook foi necessária e proporcional. Nesse caso, a remoção é a medida menos invasiva para proteger o público de golpes, especialmente aqueles com alfabetização digital limitada, e para proteger contra o uso indevido da imagem de Ronaldo Nazário. O impacto em sua privacidade e reputação é imediato e pode haver danos financeiros ao público, então a Meta deve remover esse conteúdo.

Monitoramento

A Meta tem a responsabilidade de “mitigar os impactos adversos sobre os direitos humanos” de conteúdo monetizado que possa ser usado como golpe ou fraude, em conformidade com os UNGPs. Se a Meta for paga para aumentar o alcance do conteúdo por meio de seu programa de turbinamento, a empresa deve tomar cuidado especial para garantir que esses posts sigam suas políticas.

Essas promoções, especialmente quando criadas por ferramentas de IA generativa, podem ser difíceis de serem detectadas pelos usuários. A disponibilidade de ferramentas avançadas de IA generativa para criar vídeos aumentou drasticamente nos últimos anos e provavelmente continuará aumentando. Como mencionado acima, relatórios destacam que alguns golpes financeiros no Brasil têm origem no Facebook, no Instagram e no WhatsApp, incluindo aqueles que usam deepfakes.

Anúncios deepfake do Plinko e conteúdo orgânico não parecem ser um problema recente. Como parte de sua investigação sobre esse caso, o Comitê pesquisou na Biblioteca de Anúncios da Meta por conteúdo do “app Plinko”. No momento da pesquisa, o Comitê encontrou mais de 3.900 anúncios ativos para esse tipo de conteúdo, dos quais cerca de 3.500 incluíam vídeos. Desses vídeos, vários apresentavam promoções semelhantes geradas por IA, incluindo deepfakes do jogador de futebol português Cristiano Ronaldo. Em termos de conteúdo orgânico, o Comitê também encontrou deepfakes com o CEO da Meta, Mark Zuckerberg, promovendo o Plinko.

O Comitê está preocupado com o fato de que analistas de conteúdo em escala não conseguem remover posts que estabeleçam uma identidade falsa ou que tenham alguém fingindo ser uma pessoa famosa “em uma tentativa de aplicar golpes ou cometer fraudes”, mesmo que o conteúdo apresente indicadores claros de que não segue as políticas da Meta. A abordagem da Meta de aplicar essa política somente após buscar contexto adicional sobre a escalation favorece a underenforcement de conteúdo violador. Com base em relatos públicos, incluindo bancos de dados de incidentes relatados e reportagens jornalísticas, o Comitê observa que, para evitar a potencial overenforcement de um pequeno subconjunto de promoções genuínas de celebridades, a empresa provavelmente está permitindo quantidades significativas de conteúdo com golpe em suas plataformas. Isso é particularmente preocupante, pois conteúdo com promoções genuínas de celebridades provavelmente terão outras proteções contra a overenforcement, seja por meio de sistemas formais, como a verificação cruzada, ou pontos de contato na Meta. Portanto, o Comitê recomenda que a Meta mude sua abordagem e aplique essa linha de política em escala.

6. A decisão do Comitê de Supervisão

O Comitê de Supervisão revoga a decisão original da Meta de manter o post no Facebook.

7. Recomendações

Monitoramento

1. Para combater melhor as promoções enganosas e manipuladas de celebridades, a Meta deveria aplicar em escala a proibição da Política sobre Fraudes, Golpes e Práticas Enganosas em conteúdo que “tente estabelecer uma identidade falsa ou que tenha alguém fingindo ser uma pessoa famosa na tentativa de aplicar golpes ou cometer fraudes”, fornecendo aos analistas indicadores para identificar esse conteúdo. Isso pode incluir, por exemplo, a presença de marcas d'água indicando manipulação de mídia e metadados, ou fatores claros, como incompatibilidade de vídeo e áudio.

O Comitê considerará essa recomendação implementada quando as diretrizes internas públicas e privadas forem atualizadas para refletir essa mudança.

*Nota processual:

• As decisões do Comitê de Supervisão são tomadas por painéis de cinco membros e aprovadas por maioria de votos do Comitê inteiro. As decisões dele não representam, necessariamente, as opiniões de todos os membros.
• De acordo com seu Estatuto, o Comitê de Supervisão pode analisar apelações de usuários cujo conteúdo foi removido pela Meta, apelações de usuários que denunciaram conteúdo que a Meta manteve ativo e decisões que a Meta encaminha a ele (Seção 1 do Artigo 2 do Estatuto). O Comitê tem autoridade vinculativa para manter ou anular as decisões de conteúdo da Meta (Seção 5 do Artigo 3 e 4 do Estatuto). Ele pode emitir recomendações não vinculativas às quais a Meta é obrigada a responder (Seção 4 do Artigo 3 e 4 do Estatuto). Quando a Meta se compromete a agir de acordo com as recomendações, o Comitê monitora sua implementação.
• Para a decisão sobre o caso em questão, uma pesquisa independente foi encomendada em nome do Comitê. O Comitê recebeu assistência da Duco Advisors, uma empresa de consultoria especializada na intercessão entre as áreas de geopolítica, confiança e segurança, e tecnologia.

Voltar para Decisões de Casos e Pareceres Consultivos sobre Políticas