Cinto Wampum

Resumo do caso

Nota: Em 28 de outubro de 2021, o Facebook anunciou que mudaria o nome de sua empresa para Meta. Neste texto, Meta refere-se à empresa, e Facebook continua a se referir ao produto e às políticas associadas ao aplicativo específico.

O Comitê de Supervisão reverteu a decisão original da Meta de remover uma publicação do Facebook de um artista indígena norte-americano de acordo com os Padrões da Comunidade sobre discurso de ódio do Facebook. O Comitê descobriu que o conteúdo é protegido por exceções à política sobre discurso de ódio, uma vez que se destina a aumentar a divulgação dos crimes históricos contra indígenas na América do Norte.

Sobre o caso

Em agosto de 2021, um usuário do Facebook publicou uma foto de um cinto wampum, acompanhada de um texto descritivo em inglês. O cinto wampum é uma forma de arte indígena norte-americana em que as conchas formam imagens e registram histórias e acordos. O cinto traz uma série de representações que, segundo o usuário, foram inspiradas na “história de Kamloops”, uma referência à descoberta de sepulturas não identificadas em maio de 2021 em uma antiga escola residencial para crianças indígenas em British Columbia, Canadá.

O texto apresenta o título da obra "Kill the Indian/ Save the Man" (“Mate o índio, salve o homem”) e identifica o usuário como seu criador. O usuário descreve uma série de imagens retratadas no cinto: “Theft of the Innocent, Evil Posing as Saviours, Residential School / Concentration Camp, Waiting for Discovery, Bring Our Children Home.” (“Roubo do inocente, Mal posando como Salvador, Escola residencial / Campo de concentração, À espera da descoberta, Traga nossos filhos para casa”). Na publicação, o usuário descreve o significado da obra, bem como a história dos cintos wampum e o objetivo como meio de educação. O usuário afirma que o cinto não foi fácil de criar e que foi emocionante contar a história do que aconteceu em Kamloops. Ele se desculpou por qualquer constrangimento que a obra tenha causado aos sobreviventes de Kamloops e informou que o "único objetivo é a conscientização em relação a essa história horrível".

Os sistemas automatizados da Meta identificaram o conteúdo como possível violação aos Padrões da Comunidade sobre discurso de ódio do Facebook no dia seguinte à publicação. Um analista humano avaliou o conteúdo como violação e o removeu no mesmo dia. O usuário apelou dessa decisão da Meta solicitando uma segunda análise humana que também avaliou o conteúdo como violação. Quando foi removido, o conteúdo tinha sido visto mais de quatro mil vezes e compartilhado mais de 50 vezes. Nenhum usuário denunciou o conteúdo.

Como o Comitê selecionou o caso em apreço, a Meta identificou a remoção como um “erro de monitoramento” e restaurou o conteúdo em 27 de agosto. No entanto, a Meta não notificou o usuário sobre a restauração até 30 de setembro. Dois dias depois, o Comitê solicitou à Meta os conteúdos de suas mensagens ao usuário. A Meta explicou que as mensagens atrasadas foram resultado de erro humano.

Principais conclusões

A Meta concorda que sua decisão original de remover esse conteúdo foi contra os Padrões da Comunidade do Facebook e um "erro de monitoramento". O Comitê acredita que esse conteúdo é um exemplo claro de "contradiscurso", em que o discurso de ódio é mencionado para resistir à opressão e à discriminação.

A introdução à política sobre discurso de ódio do Facebook explica que o contradiscurso é permitido quando a intenção do usuário é claramente indicada. Fica evidente, no conteúdo da publicação, que não há discurso de ódio. A obra conta a história do que aconteceu em Kamloops, e o relato que a acompanha explica seu significado. Embora as palavras "Mate o índio" possam constituir separadamente discurso de ódio, em contexto, essa frase chama a atenção e condena atos específicos de ódio e discriminação.

O Comitê reitera sua decisão 2020-005-FB-UA em um caso que envolvia uma citação de um oficial nazista. Esse caso apresenta lições semelhantes de como a intenção pode ser avaliada por meio de indicadores diferentes de declarações diretas, como o conteúdo e o significado de uma citação, o momento e o país da publicação e o conteúdo das reações e comentários sobre a publicação.

Nesse caso, o Comitê entendeu que não era necessário que o usuário declarasse expressamente que estava promovendo a conscientização para que a publicação fosse reconhecida como contradiscurso. O Comitê identificou “Perguntas conhecidas” internas aos moderadores que uma declaração de intenção clara nem sempre será suficiente para mudar o significado de uma publicação que constitui discurso de ódio. Espera-se que os moderadores façam inferências a partir do conteúdo para avaliar a intenção e não confiem apenas em declarações explícitas.

Dois moderadores diferentes concluíram que essa publicação constitui discurso de ódio. A Meta não conseguiu fornecer razões específicas pelas quais esse erro ocorreu duas vezes.

Decisão do Comitê de Supervisão

O Comitê de Supervisão revoga a decisão original da Meta de remover o conteúdo.

Em uma declaração de orientação sobre políticas, o Comitê recomenda que a Meta:

• Forneça aos usuários um aviso preciso e oportuno sobre qualquer ação da empresa em relação ao conteúdo ao qual sua apelação está relacionada. Quando aplicável, inclusive em casos de erro de monitoramento como este, a notificação ao usuário deve confirmar que a ação foi resultado do processo de análise do Comitê de Supervisão.
• Estude os impactos na precisão do analista quando os moderadores de conteúdo forem informados de que estão envolvidos na análise secundária, para que saibam que a determinação inicial foi contestada.
• Realize uma avaliação de precisão do analista com foco nas exceções da política sobre discurso de ódio que incluem a expressão artística e a expressão sobre violações dos direitos humanos (por exemplo, condenação, conscientização, uso autorreferencial, uso de empoderamento). Essa avaliação também deve investigar especificamente como a localização de um analista afeta a capacidade dos moderadores de avaliar com precisão o discurso de ódio e o contradiscurso da mesma região ou de regiões diferentes. A Meta deve compartilhar os resultados dessa avaliação com o Comitê, inclusive como os resultados mostram melhorias nas operações de monitoramento e no desenvolvimento de políticas e se planeja realizar regularmente avaliações de precisão do analista sobre essas exceções. O Comitê também solicita que a Meta compartilhe publicamente os resumos dos resultados dessas avaliações nas atualizações de transparência trimestrais do Comitê para confirmar que esta recomendação foi cumprida.

*Os resumos de caso dão uma visão geral da ocorrência e não têm valor precedente.

Decisão completa sobre o caso

1. Resumo da decisão

O Comitê de Supervisão anula a decisão original da Meta de remover uma publicação de um artista indígena norte-americano que incluía uma foto de sua obra junto com o título, que cita um exemplo histórico de discurso de ódio. A Meta concordou que a publicação se enquadra em uma das exceções dos Padrões da Comunidade do Facebook sobre discurso de ódio, pois tem a intenção clara de promover a conscientização sobre crimes históricos contra povos indígenas na América do Norte.

2. Descrição do caso

No início de agosto de 2021, um usuário do Facebook publicou uma foto de um cinto wampum, acompanhada de um texto descritivo em inglês. O cinto wampum é uma forma de arte indígena norte-americana em que as conchas formam imagens e registram histórias e acordos. O cinto traz uma série de representações que, segundo o usuário, foram inspiradas na “história de Kamloops”, uma referência à descoberta de sepulturas não identificadas em maio de 2021 em uma antiga escola residencial para crianças indígenas em British Columbia, Canadá.

O texto apresenta o título da obra "Kill the Indian/ Save the Man" (“Mate o índio, salve o homem”) e identifica o usuário como seu criador. O usuário, então, fornece uma lista de frases que correspondem à série de imagens representadas no cinto: “Theft of the Innocent, Evil Posing as Saviours, Residential School / Concentration Camp, Waiting for Discovery, Bring Our Children Home.” (“Roubo do inocente, Mal posando como Salvador, Escola residencial / Campo de concentração, À espera da descoberta, Traga nossos filhos para casa”). Na publicação, o usuário descreve o significado da obra, bem como a história dos cintos wampum e o objetivo como meio de educação. O usuário afirma que o cinto não foi fácil de criar e que foi muito emocionante contar a história do que aconteceu em Kamloops. Ele continua, dizendo que a história não pode ser escondida do público novamente e que esperam que o cinto ajude a evitar que isso aconteça. O usuário encerrou a publicação se desculpando por qualquer constrangimento que a obra possa causar aos sobreviventes do sistema escolar residencial, dizendo que “sole purpose is to bring awareness to this horrific story” (“seu único propósito é a conscientização desta história horrível”).

Os sistemas automatizados da Meta identificaram o conteúdo como possível violação aos Padrões da Comunidade sobre discurso de ódio do Facebook no dia seguinte à publicação. Um analista humano avaliou o conteúdo como violação e o removeu no mesmo dia. O usuário apelou dessa decisão da Meta solicitando uma segunda análise humana que também avaliou o conteúdo como violação. Quando foi removido, o conteúdo tinha sido visto mais de quatro mil vezes e compartilhado mais de 50 vezes. Nenhum usuário denunciou o conteúdo. Como o Comitê selecionou o caso em apreço, a Meta identificou a remoção como um “erro de monitoramento” e restaurou o conteúdo em 27 de agosto. No entanto, a Meta não notificou o usuário sobre a restauração até 30 de setembro. Dois dias depois, o Comitê solicitou à Meta os conteúdos de suas mensagens ao usuário. A Meta explicou que as mensagens atrasadas foram resultado de erro humano. A mensagem em si não mostra ao usuário que o conteúdo foi restaurado por conta da apelação ao Comitê e da escolha do Comitê neste caso.

Um comentário público da Association on American Indian Affairs (Comentário Público-10208) indica que a citação usada como título da obra de arte é de Richard Henry Pratt, um oficial do exército que fundou o primeiro internato federal de indígenas nos Estados Unidos. A frase resumiu as políticas por trás da criação de internatos que buscavam "civilizar" à força os povos nativos e "erradicar todos os vestígios da cultura indígena". Foram adotadas políticas semelhantes no Canadá e consideradas genocídio cultural pela Truth and Reconciliation Commission of Canada.

A referência do usuário ao que aconteceu em "Kamloops" é uma referência à Kamloops Indian Residential School, um antigo colégio interno para crianças das Primeiras Nações em British Columbia, Canadá. Em maio de 2021, os líderes da Primeira Nação Tk’emlúps te Secwépemc anunciaram a descoberta de sepulturas não identificadas em Kamloops. As autoridades confirmaram 200 prováveis sepulturas na área.

O governo canadense estima que, pelo menos, 150.000 crianças indígenas passaram pelo sistema escolar residencial antes que a última escola fosse fechada em 1997. As crianças indígenas eram geralmente removidas à força de suas famílias e proibidas de expressar qualquer aspecto da cultura indígena. As escolas aplicaram punições corporais duras e abusivas, e os funcionários cometeram ou toleraram abusos sexuais e violência grave contra vários alunos. Os alunos estavam desnutridos, as escolas mal aquecidas e limpas e muitas crianças morreram de tuberculose e outras doenças com poucos cuidados médicos. A Truth and Reconciliation Commission concluiu que pelo menos 4.100 alunos morreram enquanto frequentavam as escolas, muitos por maus tratos ou negligência, outros por doença ou acidente.

3. Autoridade e escopo

O Comitê tem autoridade para analisar a decisão da Meta após uma apelação do usuário cujo conteúdo foi removido (Artigo 2, Seção 1 do Estatuto; Artigo 3, Seção 1 dos Regulamentos Internos). O Comitê pode manter ou reverter a decisão da Meta, e a decisão é vinculativa à empresa (Artigo 4 do Estatuto Artigo 3, Seção 5). As decisões do Comitê podem incluir orientações sobre as políticas, além de recomendações não vinculantes às quais a Meta deve responder (Artigo 4 do Estatuto; Artigo 3, Seção 4).

Quando o Comitê seleciona casos como este, nos quais a Meta subsequentemente concorda que cometeu um erro, o Comitê analisa a decisão original para ajudar a aumentar a compreensão do motivo dos erros ocorridos e fazer observações ou recomendações que podem contribuir para reduzir os erros e melhorar o devido processo. Depois da decisão do Comitê em Breast Cancer Symptoms and Nudity ( 2020-004-IG-UA, Seção 3), o Comitê adotou um processo que permite a Meta identificar os erros de monitoramento antes de um caso ser atribuído a um painel (consulte: relatórios de transparência, página 30). Nesses casos, é desnecessário que a Meta concentre seu raciocínio somente na decisão revisada, explicando o que deve ter acontecido ao conteúdo do usuário, ao mesmo tempo em que convida o Comitê a manter como decisão "final" da empresa. Além de explicar o motivo da decisão contra a qual o usuário apelou estava errado, o Comitê recomenda que a Meta explique como ocorreu o erro e por que o processo de análise interna da empresa não conseguiu identificá-lo ou corrigi-lo. O Comitê continuará a basear suas análises na decisão apelada de um usuário.

4. Padrões relevantes

Em sua decisão, o Comitê de Supervisão considerou os seguintes padrões:

I.Padrões da Comunidade do Facebook:

Os Padrões da Comunidade do Facebook definem o discurso de ódio como “um ataque direto a pessoas com base no que chamamos de características protegidas: raça, etnia, nacionalidade, religião, orientação sexual, casta, sexo, gênero, identidade de gênero e doença ou deficiência grave”. No “Nível 1”, o conteúdo proibido inclui “discurso violento ou apoio na forma escrita ou visual”. Os Padrões da Comunidade também incluem exclusões para distinguir conteúdo não violador:

Reconhecemos que as pessoas às vezes compartilham conteúdos que incluem discursos de ódio de outra pessoa para condenar ou promover a conscientização sobre algum fato. Em outros casos, o discurso que poderia violar nossas normas pode ser usado de forma autorreferencial ou empoderadora. Nossas políticas visam dar espaço para estes tipos de discurso, mas exigimos que as pessoas indiquem claramente sua intenção. Se a intenção não for clara, poderemos remover o conteúdo.

II. Os valores da Meta:

Os valores da Meta são descritos na introdução aos Padrões da Comunidade do Facebook. O valor "Voz" é definido como "fundamental":

o objetivo de nossos Padrões da Comunidade sempre foi criar um local de expressão e dar voz às pessoas. [...] Queremos que as pessoas possam falar abertamente sobre os assuntos importantes para elas, ainda que sejam temas que geram controvérsias e objeções.

A Meta limita a “Voz” com base em quatro valores, e dois são relevantes aqui:

“Segurança”: Temos o compromisso de fazer com que o Facebook seja um lugar seguro. Manifestações contendo ameaças podem intimidar, excluir ou silenciar pessoas e isso não é permitido no Facebook.

“Dignidade”: acreditamos que todas as pessoas são iguais no que diz respeito à dignidade e aos direitos. Esperamos que as pessoas respeitem a dignidade alheia e não assediem nem difamem outras pessoas.

III. Padrões de Direitos Humanos:

Os Princípios Orientadores da ONU ( UNGPs) sobre Empresas e Direitos Humanos, sancionados pelo Conselho de Direitos Humanos da ONU em 2011, estabelecem uma estrutura voluntária de responsabilidades sobre direitos humanos das empresas privadas. Em 2021, a Meta anunciou sua Política Corporativa de Direitos Humanos, em que reafirmou o seu compromisso com relação aos direitos humanos de acordo com os UNGPs. Neste caso, os Padrões de Direitos Humanos a seguir foram levados em consideração na análise que o Comitê fez das responsabilidades da Meta em termos de direitos humanos.

• Liberdade de expressão: Artigo 19, Pacto Internacional dos Direitos Civis e Políticos (PIDCP). Comentário Geral n.º 34, Comitê de Direitos Humanos 2011; Artigo 5, Convenção Internacional sobre a Eliminação de Todas as Formas de Discriminação Racial (ICERD); Relatório do Relator Especial da ONU sobre discurso de ódio, A/74/486, 2019; Relatório do Relator Especial da ONU sobre moderação de conteúdo online, A/HRC/38/35, 2018.
• Igualdade e não discriminação: Artigo 2, parágrafo 1 e Artigo 26 (PIDCP); Artigo 2, ICERD; Recomendação Geral n.º 35, Comitê para a Eliminação da Discriminação Racial, 2013.
• Direitos culturais: Artigo 27, PIDCP; Pacto Internacional dos Direitos Econômicos, Sociais e Culturais (PIDESC), Artigo 15; Relatório Especial da ONU no campo dos direitos culturais, relatório sobre liberdade artística e criatividade, A/HRC/23/34, 2013.
• Direitos de indígenas: Declaração da ONU sobre os Direitos de Indígenas, Artigo 7, parágrafo 2; Artigo 8, parágrafo 1 e Artigo 19.

5. Declaração do usuário

O usuário declarou, em sua apelação ao Comitê, que a publicação apresentava uma obra tradicional que documentava a história e que não tinha nada a ver com discurso de ódio. O usuário afirmou ainda que essa história "precisava ser vista" e, em relação à remoção da publicação da Meta, afirmou que "é censura".

6. Explicação sobre a decisão da Meta

A Meta informou ao Comitê que a frase "Kill the Indian" (“Mate o índio”) constituiu um ataque de Nível 1 de acordo com os Padrões da Comunidade sobre discurso de ódio, que proíbe “discurso violento” direcionado a pessoas com base em uma característica protegida, incluindo raça ou etnia. No entanto, a Meta reconheceu que a remoção do conteúdo foi errada porque a política permite o compartilhamento do discurso de ódio de outra pessoa para "condenar ou promover a conscientização". A Meta observou que o usuário afirmou na publicação que o objetivo era conscientizar sobre a horrível história que aconteceu em Kamloops.

A Meta identificou que a frase “Kill the Indian/Save the Man” (“Mate o Índio, salve o homem”) teve origem na assimilação forçada de crianças indígenas. Ao promover a conscientização sobre a história de Kamloops, o usuário também aumentou a conscientização sobre a assimilação forçada por meio de escolas residenciais. Em resposta a uma pergunta do Comitê, a Meta esclareceu que um analista de conteúdo não precisa estar ciente desse histórico para aplicar corretamente a política. A publicação do usuário afirmava que se tratava de conscientização sobre uma história horrível e, portanto, um analista poderia concluir que a publicação promovia a conscientização sobre o discurso de ódio citado.

A Meta informou ao Comitê que nenhum usuário denunciou o conteúdo deste caso. A Meta opera classificadores de aprendizado de máquina treinados para detectar automaticamente possíveis violações dos Padrões da Comunidade do Facebook. Nesse caso, dois classificadores identificaram automaticamente a publicação como possível discurso de ódio. O primeiro classificador, que analisou o conteúdo, não estava muito confiante de que a publicação violava os Padrões da Comunidade. No entanto, outro classificador determinou, com base em uma série de sinais contextuais, que a publicação pode ser amplamente compartilhada e vista por muitas pessoas. Por conta dos possíveis danos que podem surgir com a ampla difusão de discurso de ódio, o sistema da Meta enviou automaticamente a publicação para análise humana.

A Meta esclareceu, em resposta às perguntas do Comitê, que um analista humano da região da Ásia-Pacífico determinou que a publicação tinha discurso de ódio e a removeu da plataforma. O usuário fez uma apelação, e um segundo analista humano na região da Ásia-Pacífico analisou o conteúdo e também determinou que era discurso de ódio. A Meta confirmou ao Comitê que os moderadores não registram o motivo para as decisões individuais de conteúdo.

7.Envios de terceiros

O Comitê de Supervisão levou em consideração oito comentários públicos relacionados a este caso: quatro dos Estados Unidos e do Canadá, dois da Europa, um da África Subsaariana e um da Ásia-Pacífico e Oceania. Os envios abordaram temas como o significado da citação em que o usuário baseou o título de sua obra, o contexto sobre o uso de escolas residenciais na América do Norte e como a moderação de conteúdo da Meta impacta as liberdades artísticas e os direitos de expressão de pessoas de identidade ou origem indígena.

Para ler os comentários públicos enviados sobre este caso, clique aqui.

8.Análise do Comitê de Supervisão

O Comitê analisou se esse conteúdo deveria ser restaurado por meio de três lentes: os Padrões da Comunidade do Facebook, os valores da Meta e suas responsabilidades de direitos humanos.

8.1 Conformidade com os Padrões da Comunidade

A Meta concordou que sua decisão original de remover este conteúdo foi contra os Padrões da Comunidade do Facebook e um "erro de monitoramento". O Comitê considera que o conteúdo, neste caso, claramente não é discurso de ódio. Este conteúdo é um exemplo claro de "contradiscurso", em que o discurso de ódio é mencionado ou revisto na luta contra a opressão e discriminação.

Os Padrões da Comunidade sobre discurso de ódio do Facebook permitem de forma explícita o “conteúdo que inclui discurso de ódio de outra pessoa para condenar ou promover a conscientização”. No entanto, dois moderadores distintos concluíram que esta publicação constitui discurso de ódio. A Meta não conseguiu fornecer razões específicas pelas quais esse erro em particular ocorreu duas vezes.

No caso da citação nazista ( 2020-005-FB-UA), o Comitê observou que o contexto em que uma citação é usada é importante para compreender seu significado. Nesse caso, o conteúdo e o significado da citação, o momento da publicação e o país onde foi publicado, bem como o conteúdo das reações e comentários à publicação, foram indicações claras de que o usuário não pretendia elogiar uma determinada figura de ódio.

O Comitê entendeu que não era necessário que o usuário declarasse expressamente que estava promovendo a clara conscientização sobre a intenção e significado desta publicação. A obra retratada conta a história do que aconteceu em Kamloops, e o relato que acompanha explica seu significado. Embora as palavras "Mate o índio" possam individualmente constituir discurso de ódio, a avaliação do conteúdo como um todo deixa claro que a frase é usada para aumentar a conscientização e condenar o ódio e a discriminação. O conteúdo usava aspas para distinguir a frase de ódio de seu título, que na íntegra era “Kill the Indian/Save the Man” (“Mate o índio, salve o homem”). Isso deveria ter feito o analista parar e fazer uma avaliação mais profunda. A forma como o usuário contou a história de Kamloops e explicou o significado cultural do cinto wampum deixou claro que ele se identificava com as vítimas de discriminação e violência, e não com seus agressores. O relato condenava claramente os eventos descobertos em Kamloops. Ficou claro, pelos comentários e reações à publicação, que essa intenção de condenar e promover a conscientização foi compreendida pelo público do usuário.

O Comitê observa que as “Perguntas Conhecidas” internas do Facebook, que fazem parte da orientação dada aos moderadores, instruem os moderadores a errar ao remover conteúdo que inclui discurso de ódio em que a intenção do usuário não foi clara. As Perguntas Conhecidas informam também que uma declaração de intenção clara nem sempre será suficiente para mudar o significado de uma publicação que constitui discurso de ódio. Esta orientação interna fornece instruções limitadas aos moderadores sobre como distinguir adequadamente o discurso de ódio proibido do contradiscurso que cita o discurso de ódio para condenar ou aumentar a conscientização. Desde que o Comitê tenha conhecimento, não há orientação sobre como avaliar as evidências de intenção em conteúdo artístico que cita ou usa termos de incitação ao ódio, ou em conteúdo que discuta violações de direitos humanos, quando tal conteúdo está incluído nas políticas permitidas.

8.2 Conformidade com os valores da Meta

O Comitê considera que a decisão original de remover este conteúdo era inconsistente com os valores de "Voz" e "Dignidade" da Meta e não atendia ao valor de "Segurança". Embora esteja de acordo com os valores da Meta limitar a propagação do discurso de ódio em suas plataformas, o Comitê está preocupado com o fato de os processos de moderação da Meta não conseguirem identificar e proteger adequadamente a capacidade das pessoas que enfrentam marginalização ou discriminação de se expressarem por meio de contradiscurso.

A Meta declarou seu compromisso de apoiar o contradiscurso:

Como uma comunidade, uma plataforma social e uma reunião da experiência humana compartilhada, o Facebook apoia iniciativas importantes de contradiscurso, impondo fortes políticas de conteúdo e trabalhando ao lado de comunidades locais, legisladores, especialistas e agentes de mudança para desencadear iniciativas de contradiscurso em todo o mundo.

A Meta afirma que a “Voz” é o valor mais importante da empresa. A arte que busca iluminar os horrores das atrocidades do passado e educar as pessoas sobre seu impacto duradouro é uma das expressões mais importantes e poderosas do valor da "Voz", especialmente para grupos marginalizados que estão expressando sua própria cultura e se esforçando para garantir que a história é ouvida. O contradiscurso não é apenas uma expressão de “Voz”, mas também uma ferramenta fundamental para que os alvos do discurso de ódio protejam sua própria dignidade e se oponham à conduta opressora, discriminatória e degradante. A Meta deve garantir que suas políticas de conteúdo e práticas de moderação levem em consideração e protejam essa forma de expressão.

Para um usuário que promove a conscientização sobre atrocidades em massa, saber que sua fala está sendo suprimida como discurso de ódio é uma afronta à sua dignidade. Essa acusação, em particular quando confirmada pela Meta em apelação, pode levar à autocensura.

8.3 Conformidade com as responsabilidades sobre direitos humanos da Meta

O Comitê conclui que a remoção dessa publicação violou as responsabilidades de direitos humanos da Meta como empresa. A Meta se comprometeu a respeitar os direitos humanos de acordo com os Princípios Orientadores da ONU (UNGPs) sobre Empresas e Direitos Humanos. Sua Política Corporativa de Direitos Humanos afirma que isso também inclui o Pacto Internacional dos Direitos Civis e Políticos (PIDCP).

Este é o primeiro caso de expressão artística do Comitê, bem como o primeiro caso de expressão em que o usuário se identifica como indígena. É um dos vários casos selecionados pelo Comitê em que o usuário buscava chamar a atenção para graves violações dos direitos humanos.

Liberdade de expressão (Artigo 19 do PIDCP)

Os padrões internacionais de direitos humanos destacam o valor da expressão política (Comitê de Direitos HumanosComentário Geral 34, parágrafo 38). O escopo da proteção deste direito é especificado no Artigo 19, parágrafo 2, do PIDCP, que faz especial menção à expressão “na forma artística.” A Convenção Internacional sobre a Eliminação de Todas as Formas de Discriminação Racial (ICERD) também fornece proteção contra discriminação no exercício de direito da liberdade de expressão (Artigo 5), e o Comitê encarregado de monitorar o cumprimento dos estados enfatizou a importância do direito de auxiliar “grupos vulneráveis a restabelecer o equilíbrio de poder entre os componentes da sociedade” e oferecer “visões e contrapontos alternativos” nas discussões (Comitê para a Eliminação da Discriminação Racial, Recomendação Geral 35, parágrafo 29).

A arte é geralmente política e os padrões internacionais reconhecem o papel único e forte dessa forma de comunicação em desafiar o status quo (Relator Especial da ONU no campo dos direitos culturais, A/HRC/23/34 nos parágrafos 3 – 4). A internet e plataformas de mídia social como Facebook e Instagram em particular têm um valor especial para os artistas alcançarem públicos novos e maiores. Seu sustento pode depender do acesso a plataformas sociais que dominam a Internet.

O direito à liberdade de expressão é garantido a todas as pessoas, sem discriminação (Artigo 19, parágrafo 2, PIDCP). O Comitê recebeu envios de que os direitos dos povos indígenas ao consentimento livre, prévio e informado, quando os estados adotam medidas legislativas ou administrativas que afetam essas comunidades, implicam a responsabilidade da Meta de consultar essas comunidades à medida que desenvolve suas políticas de conteúdo (Comentário Público-10240, Grupo de Direitos Minoritários; consulte também Declaração da ONU sobre Direitos dos Indígenas, Artigo 19). O Relator Especial da ONU sobre liberdade de opinião e expressão mostrou uma preocupação semelhante no contexto das responsabilidades das plataformas de mídia social ( A/HRC/38/35, parágrafo 54).

O conteúdo, neste caso, envolve uma série de outros direitos, inclusive os direitos de pessoas pertencentes a minorias nacionais, étnicas ou linguísticas de desfrutar, junto com outros membros de seu grupo, de sua própria cultura (Artigo 27, PIDCP), e o direito de participar da vida cultural e de desfrutar das artes (Artigo 15, PIDESC). A arte de criar um cinto wampum que buscasse registrar e conscientizar sobre as atrocidades dos direitos humanos e seu legado contínuo recebe proteção de acordo com a Declaração da ONU sobre Defensores dos Direitos Humanos, Artigo 6(c), bem como o direito à verdade sobre atrocidades (Conjunto de Princípios da ONU para Combater a Impunidade). A Declaração da ONU sobre Direitos dos Indígenas reconhece expressamente que a remoção forçada de crianças pode ser um ato de violência e genocídio (Artigo 7, parágrafo 2) e fornece proteção específica contra a assimilação forçada e destruição cultural (Artigo 8, parágrafo 1).

O artigo 19 do PIDCP exige que, quando um estado impõe restrições à expressão, elas devem atender aos requisitos de legalidade, objetivo legítimo e necessidade e proporcionalidade (artigo 19, parágrafo 3, PIDCP). O Relator Especial da ONU para a liberdade de expressão encorajou as empresas de redes sociais a se orientarem por esses princípios ao moderar a expressão online, ciente de que a regulamentação da expressão em escala por empresas privadas pode dar origem a questões específicas a esse contexto (A/HRC/38/35, parágrafos 45 e 70). O Comitê adotou o teste de três partes com base no Artigo 19 do PIDCP em todas as suas decisões até o momento.

I. Legalidade (clareza e acessibilidade das regras)

Os Padrões da Comunidade sobre discurso de ódio permitem claramente o conteúdo que condena o discurso de ódio ou promove a conscientização. Este componente da política está muito claro e acessível para o usuário entender as regras e agir de acordo ( Comentário Geral 34, parágrafo 25). O padrão de legalidade também exige que as regras que restringem a expressão “fornecem instrução suficiente para aqueles encarregados de sua execução para permiti-los determinar quais tipos de expressão são propriamente restritas e quais tipos não são” ( Ibid.) A falha de dois moderadores em avaliar adequadamente a aplicação de exceções de políticas a este conteúdo indica que pode ser necessária orientação interna adicional aos moderadores.

II. Objetivo legítimo

Qualquer restrição de estado na liberdade de expressão deve defender um dos objetivos legítimos listados no Artigo 19, parágrafo 3 do PIDCP. Nos envios ao Comitê, a Meta tem usado geralmente objetivos desta lista ao justificar a ação tomada para suprimir o discurso. O Comitê reconheceu previamente que os Padrões da Comunidade sobre discurso de ódio do Facebook buscam o objetivo legítimo de proteger os direitos de outras pessoas. Esses direitos incluem o direito à igualdade e à não discriminação, a liberdade de expressão e o direito à integridade física.

III. Necessidade e proporcionalidade

Neste caso, o erro claro significa que a remoção foi obviamente desnecessária, o que a Meta aceitou. O Comitê está preocupado com que tal erro claro possa indicar problemas mais graves de proporcionalidade nos processos automatizados e de análise humana da Meta. Qualquer restrição à liberdade de expressão deve ser apropriada para cumprir sua função protetora e deve ser o instrumento menos intrusivo entre aqueles que podem cumprir sua função protetora (Comentário Geral 34, parágrafo 34). Se o sistema de moderação de conteúdo da Meta atende aos requisitos de necessidade e proporcionalidade depende principalmente da eficácia em remover o discurso de ódio existente enquanto minimiza o número de detecções e remoções erradas.

Cada publicação removida de forma incorreta prejudica a liberdade de expressão. O Comitê entende que os erros são inevitáveis, tanto para seres humanos quanto para máquinas. O discurso de ódio e respostas sempre terá um contexto específico, e seus limites nem sempre são claros. No entanto, os tipos de erros e as pessoas ou comunidades que suportam esses erros refletem as escolhas de design que devem ser constantemente avaliadas e examinadas. Isso requer uma investigação mais aprofundada das causas do erro, neste caso, e uma avaliação mais ampla da eficácia no contradiscurso é moderada.

Por conta da importância da arte de artistas indígenas para ajudar a combater o ódio e a opressão, o Comitê espera que a Meta seja particularmente sensível à possibilidade de remoção indevida do conteúdo neste caso e de conteúdo semelhante no Facebook e Instagram. Não é suficiente avaliar o desempenho do monitoramento da política de discurso de ódio do Facebook pela Meta como um todo. Um sistema, que tem um bom desempenho em média, pode ter um desempenho muito ruim em subcategorias de conteúdo em que decisões incorretas têm um impacto particularmente declarado sobre os direitos humanos. Neste caso, é possível que os tipos de erros ocorridos sejam raros. O Comitê observa, no entanto, que membros de grupos marginalizados mostraram preocupação sobre a taxa e o impacto das remoções de falsos positivos durante vários anos. Neste caso, os erros mostram que é responsabilidade da Meta demonstrar que realizou a devida diligência em direitos humanos para garantir que seus sistemas estejam operando de forma justa e não agravando a opressão histórica e contínua (UNGPs, Princípio 17).

A Meta avalia geralmente a precisão de seus sistemas de monitoramento ao lidar com o discurso de ódio. Esta avaliação não é dividida em avaliações de precisão que medem especificamente a capacidade da Meta de distinguir discurso de ódio de conteúdo permitido que condena discurso de ódio ou aumenta a conscientização.

Os processos existentes da Meta também incluem mecanismos específicos para identificar tendências de erro e investigar suas causas raízes, mas requer grandes amostras de conteúdo para medir o desempenho do sistema. O Comitê questionou se a Meta avaliou especificamente o desempenho de seus sistemas de análise ao avaliar com precisão o contradiscurso que constitui expressão artística e contradiscurso que aumenta a conscientização sobre as violações dos direitos humanos. A Meta informou ao Comitê que não realizou pesquisas específicas sobre o impacto de remoções falso positivas na expressão artística ou na expressão de pessoas de identidade ou origem indígena.

A Meta informou ao Comitê os problemas do início dessas avaliações, inclusive a falta de um sistema para automatizar o agrupamento de uma amostra de conteúdo que se beneficia das exceções políticas. Isso porque os analistas marcam o conteúdo como violação ou não violação, e não são obrigados a indicar onde o conteúdo não violador atende à exceção da política. Uma amostra do contradiscurso que se enquadra nessa exceção precisaria ser organizada manualmente.

Embora o Comitê seja incentivado pelo nível de detalhe fornecido sobre como a Meta avalia o desempenho durante uma sessão de perguntas e respostas realizada a pedido do Comitê, é claro que é necessário mais investimento para avaliar a exatidão do monitoramento de exceções da política de discurso de ódio e aprender as tendências de erro. Sem informações adicionais sobre as decisões de design da Meta e o desempenho de seus sistemas humanos e automatizados, é difícil para o Comitê ou para a Meta avaliar a proporcionalidade do método atual da Meta para discurso de ódio.

Depois de avaliar se é necessário e proporcionalmente usar as ferramentas específicas de aprendizado de máquina no trabalho neste caso para detectar automaticamente o discurso de ódio, é fundamental entender a precisão dessas ferramentas. Os classificadores de aprendizado de máquina sempre envolvem negociações entre taxas de falsos positivos e falsos negativos. Quanto mais sensível um classificador, maior a probabilidade de identificar corretamente os casos de discurso de ódio, mas também é mais provável sinalizar de forma errada um material que não é discurso de ódio. Classificadores treinados de forma diversa e modelos diferentes variam em sua utilidade e eficácia para várias tarefas. Para qualquer modelo, podem ser usados diferentes limiares que mostram uma avaliação sobre a importância relativa de evitar diferentes tipos de erros. A probabilidade e a gravidade dos erros devem também indicar as decisões sobre como implantar um classificador, inclusive se ele pode agir imediatamente ou se requer a aprovação humana e quais proteções são colocadas em prática.

A Meta explicou que a publicação deste caso foi enviada para análise pelos sistemas automatizados, porque provavelmente tinha grande alcance. Essa abordagem pode limitar a propagação de material perigoso, mas também é provável que aumente o risco de remoção errônea de arte que conteste o ódio. A Meta informou ao Comitê que avalia regularmente a taxa de falsos positivos ao longo do tempo, medida em relação a um conjunto de decisões por analistas especialistas. A Meta também destacou que foi possível avaliar a precisão dos modelos de aprendizagem de máquina específicos relevantes neste caso e que mantém informações sobre as previsões de classificadores por pelo menos 90 dias. O Comitê solicitou informações que nos permitiriam avaliar o desempenho do classificador e a adequação dos limiares que a Meta usou neste caso. A Meta informou ao Comitê que não poderia fornecer as informações que o Comitê buscava porque não tinha tempo suficiente para prepará-las para nós. No entanto, a Meta observou que estava considerando a viabilidade de fornecer essas informações em casos futuros.

A análise humana pode oferecer duas proteções importantes sobre a operação dos classificadores da Meta: primeiro antes da publicação ser removida e, depois, novamente após a apelação. Neste caso, os erros indicam que a orientação da Meta para moderadores avaliarem o contradiscurso pode ser insuficiente. Há diversas razões que poderiam ter contribuído para os moderadores humanos terem chegado duas vezes à decisão errada neste caso. O Comitê está preocupado com os analistas que podem não ter recursos suficientes em termos de tempo ou treinamento para evitar o tipo de erro observado neste caso, especialmente em relação ao conteúdo permitido para as exceções da política (inclusive, por exemplo, “condenando” o discurso de ódio e “promovendo a conscientização”).

Neste caso, os dois analistas estavam na região da Ásia-Pacífico. A Meta não conseguiu informar ao Comitê se as taxas de precisão do analista diferiam em relação aos moderadores que avaliam o potencial discurso de ódio, que não estão localizados na região de origem do conteúdo. O Comitê observa a complexidade de avaliar o discurso de ódio e a dificuldade de compreender o contexto e a história local, especialmente considerando o volume de conteúdo que os moderadores analisam todos os dias. Neste caso, é provável que os moderadores que avaliaram o conteúdo tenham menos experiência com a opressão dos povos indígenas na América do Norte. A orientação deve incluir instruções claras para avaliar o conteúdo em sua totalidade e apoiar os moderadores, avaliando com mais precisão o contexto para determinar evidências de intenção e significado.

O Comitê recomendou, na sua decisão Meme de Dois Botões ( 2021-005-FB-UA), que a Meta deixe que os usuários indiquem, em sua apelação, que o conteúdo se enquadra em uma das exceções aos Padrões da Comunidade do Facebook sobre discurso de ódio. Atualmente, quando um usuário faz uma apelação de uma das decisões da Meta que segue para análise humana, o analista não é informado de que o usuário contestou uma decisão prévia e não conhece o resultado da análise anterior. Considerando que a Meta informou ao Comitê que acredita que estas informações influenciarão a análise, o Comitê está interessado em saber se estas informações podem aumentar a probabilidade de uma tomada de decisão mais detalhada. Esta é uma questão que poderia ser testada empiricamente pela Meta. Os resultados desses testes seriam úteis na avaliação da proporcionalidade das medidas específicas adotadas pela Meta.

De acordo com os UNGPS, a Meta tem a responsabilidade de realizar a devida diligência dos direitos humanos (Princípio 17). Isso deve incluir identificar quaisquer impactos adversos da moderação de conteúdo sobre a expressão artística e a expressão política dos povos indígenas contra a discriminação. A Meta deve identificar ainda mais como impedirá, mitigará e explicará seus esforços para abordar esses impactos adversos. O Comitê se compromete a monitorar o desempenho da Meta e espera ver a empresa priorizar riscos a grupos marginalizados e mostrar evidências para melhorias contínuas.

9.Decisão do Comitê de Supervisão

O Comitê de Supervisão revoga a decisão original da Meta de remover o conteúdo.

10. Declaração de parecer consultivo

Monitoramento

1. Fornecer aos usuários um aviso preciso e oportuno sobre qualquer ação da empresa em relação ao conteúdo ao qual sua apelação está relacionada. Quando aplicável, inclusive em casos de erro de monitoramento como este, a notificação ao usuário deve confirmar que a ação foi resultado do processo de análise do Comitê de Supervisão. A Meta deve compartilhar as mensagens do usuário enviadas quando as ações do Comitê impactarem as decisões de conteúdo apeladas pelos usuários, para demonstrar que cumpriu essa recomendação. Essas ações devem ser tomadas em relação a todos os casos que são corrigidos na etapa de elegibilidade do processo do Comitê.

2. Estudar os impactos de abordagens modificadas para análise secundária sobre precisão e produtividade do analista. O Comitê solicita principalmente uma avaliação das taxas de precisão quando os moderadores de conteúdo forem informados que estão envolvidos na análise secundária, para que saibam que a determinação inicial foi contestada. Este experimento deve preferencialmente incluir uma chance dos usuários fornecerem contexto relevante que possa ajudar os analistas a avaliar o conteúdo, de acordo com as recomendações prévias do Comitê. A Meta deve compartilhar os resultados dessas avaliações de precisão ao Comitê e resumir os resultados no relatório de transparência trimestral do Comitê para demonstrar que cumpriu esta recomendação.

3. Realizar uma avaliação de precisão com foco nas exceções da política sobre discurso de ódio que incluem a expressão artística e a expressão sobre violações dos direitos humanos (por exemplo, condenação, aumento da conscientização, uso autorreferencial, uso de empoderamento). Essa avaliação também deve investigar especificamente como a localização de um analista afeta a capacidade dos moderadores de avaliar com precisão o discurso de ódio e o contradiscurso da mesma região ou de regiões diferentes. O Comitê entende que essa análise provavelmente requer o desenvolvimento de amostras apropriadas e com precisão de conteúdo relevante. A Meta deve compartilhar os resultados dessa avaliação com o Comitê, inclusive como os resultados mostram as melhorias nas operações de monitoramento e no desenvolvimento de políticas e se planeja realizar avaliações regulares de precisão do analista sobre essas exceções e resumir os resultados no relatório de transparência trimestral do Comitê para demonstrar que cumpriu esta recomendação.

*Nota processual:

As decisões do Comitê de Supervisão são preparadas por grupos com cinco membros e aprovadas pela maioria do Comitê. As decisões do Comitê não representam, necessariamente, as opiniões pessoais de todos os membros.

Para a decisão sobre o caso em apreço, uma pesquisa independente foi contratada em nome do Comitê. Um instituto de pesquisa independente, com sede na Universidade de Gotemburgo e com uma equipe de mais de 50 cientistas sociais de seis continentes, bem como mais de 3.200 especialistas de nações do mundo todo e a Duco Advisers, uma empresa de consultoria com foco na interseção entre geopolítica, confiança e segurança e tecnologia , forneceram informações especializadas sobre contexto sociopolítico e cultural.

Voltar para Decisões de Casos e Pareceres Consultivos sobre Políticas