Cintura wampum

Riepilogo del caso

Nota: il 28 ottobre 2021 Facebook ha annunciato che avrebbe cambiato il nome dell'azienda in Meta. Nel presente testo, Meta si riferisce all'azienda e Facebook continua a riferirsi al prodotto e alle normative riguardanti quell'app specifica.

L'Oversight Board ha revocato la decisione originaria di Meta di rimuovere un post su Facebook pubblicato da un artista indigeno del Nord America e rimosso in base allo Standard della community di Facebook in materia di incitamento all'odio. Secondo il Board, il contenuto rientra nelle eccezioni alla normativa in materia di incitamento all'odio, poiché ha l'obiettivo di sensibilizzare sui crimini passati contro gli indigeni in Nord America.

Informazioni sul caso

Nell'agosto 2021 un utente Facebook ha pubblicato l'immagine di uno wampum accompagnata da una descrizione testuale in inglese. Uno wampum è una forma d'arte per gli indigeni del Nord America: si tratta di una cintura in cui le conchiglie sono intrecciate insieme per formare immagini che raccontano storie e accordi. La cintura in questione presenta una serie di figure che, secondo l'utente, sono ispirate alla "storia di Kamloops", un riferimento alla scoperta di tombe anonime avvenuta a maggio 2021 in una vecchia scuola residenziale riservata ai figli di indigeni in British Columbia, Canada.

Il testo attribuisce all'opera d'arte il titolo "Kill the Indian/Save the Man" (Uccidi l'indiano, salva l'Uomo) e individua nell'utente il suo artefice. L'utente descrive la serie di immagini raffigurate sulla cintura: "Theft of the Innocent, Evil Posing as Saviours, Residential School / Concentration Camp, Waiting for Discovery, Bring Our Children Home" (Il furto degli innocenti, I cattivi si fingono Salvatori, Scuola residenziale/Campo di concentramento, Aspettando la scoperta, Riportate a casa i nostri figli). Nel post l'utente descrive il significato della sua opera d'arte, nonché la storia delle cinture wampum e il loro scopo come mezzo di istruzione. L'utente dichiara che non è stato facile realizzare la cintura e che raccontare la storia di ciò che è avvenuto a Kamloops è stato commovente. Si scusa per l'eventuale dolore causato dall'opera d'arte tra i sopravvissuti di Kamloops, precisando che il suo "sole purpose is to bring awareness to this horrific story" (unico scopo è portare alla luce questa orribile storia).

Il giorno dopo della pubblicazione, i sistemi automatizzati di Meta hanno rilevato che il contenuto potesse potenzialmente violare lo Standard della community di Facebook in materia di incitamento all'odio. Il controllo umano ha ritenuto che il contenuto fosse in violazione e lo ha rimosso il giorno stesso. L'utente ha inviato a Meta un ricorso contro quella decisione, richiedendo un altro controllo umano, ma anche questo ha ritenuto che il contenuto fosse in violazione. Al momento della rimozione, il contenuto era stato visualizzato oltre 4000 volte e condiviso più di 50 volte. Nessun utente lo ha segnalato.

Dopo che il Board ha selezionato questo caso, Meta ha ritenuto che la rimozione fosse un "enforcement error" (errore di applicazione delle normative) e ha ripristinato il contenuto il 27 agosto. Tuttavia, Meta non ha avvisato l'utente fino al 30 settembre, due giorni dopo che il Board ha chiesto a Meta il contenuto dei messaggi inviati all'utente. Meta ha spiegato che il ritardo dei messaggi era dovuto a un errore umano.

Conclusioni principali

Meta concorda sul fatto che la sua decisione originaria di rimuovere il contenuto non rispettava gli Standard della community di Facebook ed era un "errore di applicazione delle normative". Il Board ritiene che questo contenuto sia un chiaro esempio di "discorso per contrastare l'incitamento all'odio", in cui si fa riferimento all'incitamento all'odio per resistere alle oppressioni e alla discriminazione.

L'introduzione alla normativa di Facebook in materia di incitamento all'odio spiega che i discorsi per contrastare l'incitamento all'odio sono consentiti quando l'intenzione dell'utente è indicata in modo chiaro. Dal contenuto del post emerge chiaramente che non si tratta di incitamento all'odio. L'opera d'arte racconta la storia di ciò che è avvenuto a Kamloops e il testo di accompagnamento ne spiega il significato. Anche se le parole "Kill the Indian" (Uccidi l'indiano) potrebbero sembrare di incitamento all'odio, la frase, inserita in quel contesto, attira l'attenzione su specifici atti di odio e discriminazione, condannandoli.

Il Board ricorda la decisione presa per il caso 2020-005-FB-UA, che riguardava una citazione di un ufficiale nazista. Quel caso mostra in modo analogo che l'intento può essere valutato tramite indicatori anziché affermazioni dirette, come il contenuto e il significato di una citazione, il momento e il Paese in cui è stato pubblicato il post e la natura delle reazioni e dei commenti al post.

In questo caso, secondo il Board, non era necessario che l'utente dichiarasse espressamente la sua intenzione di far capire alle persone che il post era un esempio di discorso per contrastare l'incitamento all'odio. Il Board ha fatto notare ai moderatori alcune "domande interne", precisando che un'evidente dichiarazione di intento non sempre basta a cambiare il significato di un post di incitamento all'odio. I moderatori devono fare delle deduzioni sui contenuti per valutare l'intenzione, senza basarsi esclusivamente sulle dichiarazioni esplicite.

Due diversi moderatori hanno concluso che il post era di incitamento all'odio. Meta non ha potuto fornire ragioni specifiche per questo errore verificatosi due volte.

La decisione dell'Oversight Board

L'Oversight Board revoca la decisione originaria di Meta di rimuovere il contenuto.

Di seguito le linee guida sulle normative che il Board suggerisce a Meta:

• Avvisare gli utenti in modo preciso e tempestivo ogni volta che l'azienda prende provvedimenti relativi ai contenuti per cui è stato inviato un ricorso. Ove applicabile, compresi i casi che, come questo, sono caratterizzati da un errore di applicazione delle normative, l'avviso all'utente deve riconoscere che l'azione intrapresa è il risultato del processo di verifica dell'Oversight Board.
• Studiare le ripercussioni sull'accuratezza dei controlli quando i moderatori dei contenuti sanno di essere coinvolti in un controllo secondario, in modo che siano al corrente del fatto che la decisione iniziale è stata contestata.
• Condurre una valutazione dell'accuratezza dei controlli incentrata sulle eccezioni alla normativa in materia di incitamento all'odio, eccezioni che riguardano l'espressione artistica e le espressioni relative alle violazioni dei diritti umani (ad es. condanna, sensibilizzazione, uso autoreferenziale, uso responsabilizzante). Tale valutazione deve anche analizzare in modo specifico le ripercussioni che il luogo del controllo può avere sulla capacità dei moderatori di valutare accuratamente l'incitamento all'odio e i discorsi per contrastare l'incitamento all'odio nella stessa area geografica o in regioni diverse. Meta dovrebbe condividere i risultati di questa valutazione con il Board, spiegando anche in che modo i risultati porteranno a dei miglioramenti nell'applicazione e nello sviluppo delle normative e precisando se intende eseguire valutazioni regolari sull'accuratezza dei controlli per tali eccezioni. Il Board chiede inoltre a Meta di condividere pubblicamente i riepiloghi dei risultati di tali valutazioni nei suoi aggiornamenti trimestrali sulla trasparenza per dimostrare di aver effettivamente recepito tali raccomandazioni.

*I riepiloghi forniscono una panoramica di un determinato caso e non costituiscono un precedente.

Decisione completa sul caso

1. Riepilogo della decisione

L'Oversight Board revoca la decisione originaria di Meta di rimuovere un post di un artista indigeno del Nord America che includeva un'immagine della sua opera insieme al titolo, contenente la citazione di un'antica frase di incitamento all'odio. Meta ha concordato sul fatto che il post rientra in una delle eccezioni allo Standard della community di Facebook in materia di incitamento all'odio e ha chiaramente lo scopo di sensibilizzare sugli storici crimini perpetrati nei confronti degli indigeni in Nord America.

2. Descrizione del caso

A inizio agosto 2021 un utente Facebook ha pubblicato l'immagine di uno wampum accompagnata da una descrizione testuale in inglese. Uno wampum è una forma d'arte per gli indigeni del Nord America: si tratta di una cintura in cui le conchiglie sono intrecciate insieme per formare immagini che raccontano storie e accordi. La cintura in questione presenta una serie di figure che, secondo l'utente, sono ispirate alla "storia di Kamloops", un riferimento alla scoperta di tombe anonime avvenuta a maggio 2021 in una vecchia scuola residenziale riservata ai figli di indigeni in British Columbia, Canada.

Il testo attribuisce all'opera d'arte il titolo "Kill the Indian/Save the Man" (Uccidi l'indiano, salva l'Uomo) e individua nell'utente il suo artefice. L'utente riporta quindi una serie di frasi che corrispondono alla sequenza di immagini raffigurate sulla cintura: "Theft of the Innocent, Evil Posing as Saviours, Residential School / Concentration Camp, Waiting for Discovery, Bring Our Children Home" (Il furto degli innocenti, I cattivi si fingono Salvatori, Scuola residenziale/Campo di concentramento, Aspettando la scoperta, Riportate a casa i nostri figli). Nel post l'utente descrive il significato della sua opera d'arte, nonché la storia delle cinture wampum e il loro scopo come mezzo di istruzione. L'utente dichiara che non è stato facile realizzare la cintura e che raccontare la storia di ciò che è avvenuto a Kamloops è stato molto commovente. Prosegue dicendo che la storia non può essere di nuovo nascosta al dominio pubblico e spera che la cintura aiuti a evitare che quei crimini avvengano di nuovo. L'utente conclude il post scusandosi per l'eventuale dolore causato dall'opera d'arte tra i sopravvissuti della scuola residenziale, dicendo che il suo "sole purpose is to bring awareness to this horrific story" (unico scopo è portare alla luce questa orribile storia).

Il giorno dopo della pubblicazione, i sistemi automatizzati di Meta hanno rilevato che il contenuto potesse potenzialmente violare lo Standard della community di Facebook in materia di incitamento all'odio. Il controllo umano ha ritenuto che il contenuto fosse in violazione e lo ha rimosso il giorno stesso. L'utente ha inviato a Meta un ricorso contro quella decisione, richiedendo un altro controllo umano, ma anche questo ha ritenuto che il contenuto fosse in violazione. Al momento della rimozione, il contenuto era stato visualizzato oltre 4000 volte e condiviso più di 50 volte. Nessun utente lo ha segnalato. Dopo che il Board ha selezionato questo caso, Meta ha ritenuto che la rimozione fosse un "enforcement error" (errore di applicazione delle normative) e ha ripristinato il contenuto il 27 agosto. Tuttavia, Meta non ha avvisato l'utente fino al 30 settembre, due giorni dopo che il Board ha chiesto a Meta il contenuto dei messaggi inviati all'utente. Meta ha spiegato che il ritardo dei messaggi era dovuto a un errore umano. Il messaggio, in realtà, non informava l'utente del fatto che il contenuto era stato ripristinato in seguito al ricorso inviato al Board e in seguito alla selezione del caso da parte di quest'ultimo.

Un commento pubblico dell'Association on American Indian Affairs (commento pubblico 10208) fa notare che la citazione usata come titolo dell'opera d'arte è di Richard Henry Pratt, un ufficiale dell'esercito che creò il primo collegio indiano federale degli Stati Uniti d'America. La frase sintetizzava le normative legate alla creazione dei collegi con lo scopo di "civilize" (civilizzare) forzatamente i nativi ed "eradicate all vestiges of Indian culture" (estirpare ogni traccia della cultura indiana). Normative simili sono state adottate in Canada e sono state ritenute equivalenti al genocidio culturale secondo la Truth and Reconciliation Commission of Canada.

Il riferimento dell'utente a quanto avvenuto a "Kamloops" è un riferimento alla Kamloops Indian Residential School, un ex collegio per i figli delle "Prime Nazioni" in British Columbia, Canada. A maggio 2021 i leader del governo Tk'emlúps te Secwépemc delle Prime Nazioni hanno annunciato la scoperta di tombe anonime a Kamloops. Le autorità hanno confermato 200 probabili luoghi di sepoltura nell'area.

Il governo canadese stima che almeno 150 000 bambini indigeni abbiano frequentato il sistema scolastico residenziale prima della chiusura dell'ultima scuola, avvenuta nel 1997. I bambini indigeni venivano spesso allontanati forzatamente dalle loro famiglie e non potevano parlare degli aspetti della vita indigena. Le scuole ricorrevano a punizioni corporali dure e violente e il personale commetteva o tollerava abusi sessuali e gravi violenze ai danni di numerosi studenti. Questi ultimi erano malnutriti, le scuole erano a malapena riscaldate, con condizioni igieniche deplorevoli, e molti bambini morivano di tubercolosi o altre malattie, ricevendo scarsa assistenza medica. Stando alle conclusioni della Truth and Reconciliation Commission, almeno 4100 studenti sono morti mentre frequentavano le scuole, molti per maltrattamento o trascuratezza, altri a causa di malattie o incidenti.

3. Autorità e ambito

Il Board ha l'autorità di controllare la decisione di Meta dando seguito al ricorso dell'utente il cui contenuto è stato rimosso (articolo 2, sezione 1 dell'Atto costitutivo; articolo 3, sezione 1 dello Statuto). Il Board può confermare o revocare la decisione di Meta e la sua decisione è vincolante per l'azienda (articolo 4 dell'Atto costitutivo; articolo 3, sezione 5). Le decisioni del Board possono comprendere dichiarazioni di carattere consultivo sulle normative, con raccomandazioni non vincolanti a cui Meta deve rispondere (articolo 4 dell'Atto costitutivo; articolo 3, sezione 4).

Quando il Board seleziona casi come questo, in cui Meta conferma poi di aver commesso un errore, il Board controlla la decisione originaria per capire meglio il perché di tali errori e per fare osservazioni o raccomandazioni che potrebbero contribuire a ridurre gli errori e migliorare il regolare processo. In seguito alla propria decisione relativa a Immagini di nudo e sintomi del cancro al seno (2020-004-IG-UA, sezione 3), il Board ha adottato una procedura che consente a Meta di rilevare eventuali errori di applicazione prima che il caso venga assegnato a un gruppo (si vedano i report sulla trasparenza, pag. 30). È inutile che in questi casi Meta incentri le sue motivazioni principalmente sulla decisione rivista, spiegando cosa sarebbe successo al contenuto dell'utente e invitando al contempo il Board a confermare tale decisione come decisione "definitiva" dell'azienda. Oltre a spiegare perché la decisione contro cui l'utente ha inviato un ricorso fosse sbagliata, il Board suggerisce a Meta di spiegare come è avvenuto l'errore e perché la procedura di controllo interna aziendale non sia riuscita a individuare l'errore o correggerlo. Il Board continuerà a basare i suoi controlli sulla decisione contro cui un utente invia un ricorso.

4. Standard pertinenti

L'Oversight Board ha preso in considerazione gli standard seguenti per la sua decisione:

I.Standard della community di Facebook:

Gli Standard della community di Facebook definiscono l'incitamento all'odio come "un attacco diretto rivolto alle persone sulla base di quelle che chiamiamo caratteristiche protette: razza, etnia, nazionalità, disabilità, affiliazione religiosa, casta, orientamento sessuale, sesso, identità di genere e malattie gravi". In base al "Livello 1", i contenuti vietati includono "Discorsi di incitazione o sostegno alla violenza in forma scritta o visiva". Lo standard della community include anche delle eccezioni in base a cui distinguere i contenuti non in violazione:

Riconosciamo che le persone in alcuni casi condividono contenuti che incitano all'odio di cui non sono autori allo scopo di condanna o sensibilizzazione. In alcuni casi, discorsi che potrebbero altrimenti violare i nostri standard possono essere usati in modo autoreferenziale o per rafforzare una causa. Le nostre normative sono pensate per lasciare spazio a questi tipi di discorsi, ma chiediamo alle persone di chiarire le proprie intenzioni. Quando l'intenzione non è chiara, possiamo rimuovere il contenuto.

II. Valori di Meta:

I valori di Meta sono indicati nell'introduzione agli Standard della community di Facebook. Il valore della "Libertà di espressione" è "essenziale":

L'obiettivo dei nostri Standard della community è sempre stato quello di creare un luogo in cui le persone possano esprimersi. [...] Vogliamo che le persone possano esprimersi apertamente sui temi che hanno a cuore, anche se alcune persone potrebbero essere in disaccordo o trovarli discutibili.

Meta limita la "libertà di espressione" per tutelare quattro valori, due dei quali sono pertinenti in questo caso:

"Sicurezza": per noi è importante che Facebook sia un luogo sicuro. Le espressioni che minacciano le persone possono intimidire, escludere o limitare il diritto di espressione altrui, pertanto non sono consentite su Facebook.

"Dignità": crediamo che tutte le persone abbiano pari dignità e diritti. Ci aspettiamo che le persone rispettino la dignità altrui e non minaccino o denigrino gli altri.

III. Standard per i diritti umani:

I principi guida delle Nazioni Unite (UNGP) su imprese e diritti umani, promossi nel 2011 dal Consiglio per i diritti umani delle Nazioni Unite, stabiliscono un quadro normativo volontario per le responsabilità delle aziende private in materia di diritti umani. Nel 2021, Meta ha annunciato la sua Normativa aziendale sui diritti umani, che ribadisce il suo impegno nel rispettare i diritti dell'uomo ai sensi dei principi guida delle Nazioni Unite. L'analisi del Board sulle responsabilità di Meta in materia di diritti umani per il caso in oggetto si è basata sui seguenti Standard per i diritti umani:

• Libertà di espressione: articolo 19 della Convenzione internazionale sui diritti civili e politici (ICCPR); Commento generale n. 34 del Comitato per i Diritti Umani delle Nazioni Unite (2011); articolo 5 della Convenzione internazionale sull'eliminazione di ogni forma di discriminazione razziale (ICERD); report del Relatore speciale delle Nazioni Unite sull'incitamento all'odio, A/74/486, 2019; report del Relatore speciale delle Nazioni Unite sulla moderazione di contenuti online, A/HRC/38/35, 2018.
• Uguaglianza e non discriminazione: articolo 2, par. 1 e articolo 26 (ICCPR); articolo 2, ICERD; Raccomandazione generale n. 35 del Comitato per l'eliminazione della discriminazione razziale, 2013.
• Diritti culturali: articolo 27 dell'ICCPR; articolo 15 del Patto internazionale sui diritti economici, sociali e culturali (ICESCR); Relatore speciale delle Nazioni Unite in materia di diritti culturali, report su libertà artistica e creatività, A/HRC/23/34, 2013.
• Diritti dei popoli indigeni: Dichiarazione dei diritti dei popoli indigeni delle Nazioni Unite, articolo 7, par. 2; articolo 8, par. 1 e articolo 19.

5. Dichiarazione dell'utente

Nel suo ricorso al Board, l'utente ha dichiarato che il suo post mostrava un'opera d'arte tradizionale con la funzione di documentare la storia e che non aveva nulla a che fare con l'incitamento all'odio. L'utente ha inoltre dichiarato che quella storia "needed to be seen" (doveva essere vista) e, in relazione alla rimozione del post da parte di Meta, ha aggiunto che "this is censorship" (questa è censura).

6. Spiegazione della decisione di Meta

Meta ha spiegato al Board che la frase "Kill the Indian" (Uccidi l'indiano) costituiva un attacco di Livello 1 in base allo Standard della community di Facebook in materia di incitamento all'odio, che vieta "discorsi di incitazione" rivolti alle persone a causa di una caratteristica protetta, come la razza o l'etnia. Tuttavia, Meta ha riconosciuto che la rimozione del contenuto era sbagliata, poiché la normativa consente di condividere l'incitamento all'odio di un'altra persona "allo scopo di condanna o sensibilizzazione". Secondo quanto precisato da Meta, l'utente nel post dichiarava che il suo scopo era portare alla luce l'orribile storia di quanto avvenuto a Kamloops.

L'azienda ha fatto notare che la frase "Kill the Indian/Save the Man" (Uccidi l'indiano/Salva l'Uomo) traeva origine dall'integrazione forzata dei bambini indigeni. Portando alla luce la storia di Kamloops, l'utente faceva conoscere anche l'integrazione forzata delle scuole residenziali. Per rispondere a una domanda del Board, Meta ha spiegato che un operatore addetto al controllo dei contenuti non doveva necessariamente conoscere la storia per applicare correttamente la normativa. Nel post l'utente dichiarava di voler portare alla luce un'orribile storia e quindi una persona addetta al controllo avrebbe dovuto giustamente concludere che il post voleva far conoscere il tipo di incitamento all'odio in questione.

Meta ha informato il Board che in questo caso nessun utente ha segnalato il contenuto. L'azienda si basa su classificatori di apprendimento automatico che vengono allenati per rilevare automaticamente potenziali violazioni degli Standard della community di Facebook. In questo caso, due classificatori hanno individuato automaticamente il post come un possibile discorso di incitamento all'odio. Il primo classificatore, che ha analizzato il contenuto, non ha mostrato un risultato molto sicuro in merito alla violazione degli Standard della community da parte del post. Tuttavia, un altro classificatore ha determinato, sulla base di una serie di segnali contestuali, che il post sarebbe stato potenzialmente visto e condiviso da molte persone. In ragione del danno potenziale che può derivare da un'ampia distribuzione dell'incitamento all'odio, il sistema di Meta ha inviato automaticamente il post al controllo umano.

Nel rispondere alle domande del Board, Meta ha chiarito che un operatore addetto al controllo umano residente nell'area geografica dell'Asia Pacifico ha stabilito che il post fosse di incitamento all'odio e lo ha rimosso dalla piattaforma. L'utente ha inviato un ricorso e un secondo operatore umano, sempre nell'area geografica dell'Asia Pacifico, ha controllato il contenuto, determinando di nuovo che fosse di incitamento all'odio. Meta ha confermato al Board che i moderatori non registrano le loro argomentazioni per le singole decisioni sui contenuti.

7.Elementi inviati da terzi

L'Oversight Board ha preso in considerazione otto commenti pubblici legati al presente caso: quattro dagli Stati Uniti e dal Canada, due dall'Europa, uno dall'Africa subsahariana e uno da Asia Pacifico e Oceania. Gli elementi inviati riguardavano temi come il significato della citazione usata dall'utente nel titolo della sua opera d'arte, il contesto in cui si inseriscono le scuole residenziali in Nord America, le ripercussioni che la moderazione dei contenuti di Meta può avere sulla libertà artistica e di espressione delle persone di origine o identità indigena.

Per leggere i commenti pubblici inviati per il caso in oggetto, clicca qui.

8.Analisi dell'Oversight Board

Il Board ha cercato di valutare se questo contenuto dovesse essere ripristinato in base a tre aspetti: Standard della community di Facebook, valori di Meta e responsabilità dell'azienda in materia di diritti umani.

8.1 Conformità con gli Standard della community

Meta ha concordato sul fatto che la sua decisione originaria di rimuovere il contenuto non rispettava gli Standard della community di Facebook ed era un "errore di applicazione delle normative". Il Board ritiene che il contenuto in questo caso sia inequivocabilmente un contenuto non di incitamento all'odio. Questo contenuto è un chiaro esempio di "discorso per contrastare l'incitamento all'odio", in cui si usa o si fa riferimento all'incitamento all'odio per resistere alle oppressioni e alla discriminazione.

Lo Standard della community in materia di incitamento all'odio consente esplicitamente agli utenti di condividere "contenuti che incitano all'odio di cui non sono autori allo scopo di condanna o sensibilizzazione". Due diversi moderatori hanno concluso, tuttavia, che il post fosse di incitamento all'odio. Meta non ha potuto fornire ragioni specifiche per questo particolare errore verificatosi due volte.

Nel caso della Citazione nazista (2020-005-FB-UA), il Board ha fatto notare che il contesto in cui veniva usata la citazione era importante per comprenderne il significato. In quel caso, il contenuto e il significato della citazione, il momento e il Paese in cui era stato pubblicato il post, e la natura delle reazioni e dei commenti al post erano chiari indicatori del fatto che l'utente non volesse sostenere una persona che incita all'odio.

Secondo il Board, non era necessario che l'utente dichiarasse espressamente la sua intenzione di chiarire alle persone quale fosse l'intento e il significato del post. L'opera d'arte nell'immagine racconta la storia di ciò che è avvenuto a Kamloops e il testo di accompagnamento ne spiega il significato. Anche se le parole "Kill the Indian" (Uccidi l'indiano) potrebbero sembrare di incitamento all'odio, se si valuta il contenuto nel suo insieme emerge chiaramente che la frase è usata per sensibilizzare le persone e condannare l'odio e la discriminazione. Nel contenuto sono state usate le virgolette per far capire che la frase di incitamento all'odio presente nel titolo era una citazione di "Kill the Indian/Save the Man" (Uccidi l'indiano/Salva l'Uomo). Ciò avrebbe dovuto permettere all'operatore di controllare in modo più approfondito. Il modo in cui l'utente ha raccontato la storia di Kamloops e spiegato il valore culturale della cintura wampum fanno capire chiaramente che il suo intento era identificarsi con le vittime di discriminazioni e violenze e non con i relativi esecutori. Il suo racconto condannava fermamente gli eventi di Kamloops. Dai commenti e dalle reazioni al post emerge chiaramente che il suo intento di condannare e sensibilizzare era stato colto dal pubblico dell'utente.

Il Board fa notare che le "domande interne" di Facebook, che fanno parte delle linee guida date ai moderatori, spingono questi ultimi verso la rimozione dei contenuti che includono l'incitamento all'odio anche quando l'intento dell'utente non è chiaro. Le domande interne precisano anche che un'evidente dichiarazione di intento non sempre basta a cambiare il significato di un post di incitamento all'odio. Le linee guida interne forniscono istruzioni limitate ai moderatori su come distinguere correttamente i discorsi di incitamento all'odio e quelli finalizzati a contrastarlo, che usano l'incitamento all'odio per condannarlo o sensibilizzare le persone. In base alle conoscenze del Board, non sono previste indicazioni su come valutare l'intento dei contenuti artistici che usano o fanno riferimento ai discorsi di incitamento all'odio o l'intento dei contenuti che parlano di violazioni dei diritti umani, laddove tali contenuti rientrano nelle eccezioni alla normativa.

8.2 Conformità con i valori di Meta

Il Board ritiene che la decisione originaria di rimuovere il contenuto non fosse coerente con i valori di Meta della "Libertà di espressione" e della "Dignità" e non favorisse il valore della "Sicurezza". Pur condividendo i valori di Meta finalizzati a limitare la diffusione dell'incitamento all'odio sulle piattaforme, il Board teme che le procedure aziendali di moderazione non siano in grado di individuare e proteggere correttamente le persone vittime di discriminazioni o emarginazione che intendono esprimersi tramite discorsi per contrastare l'incitamento all'odio.

Meta ha dichiarato il suo impegno a supporto dei discorsi per contrastare l'incitamento all'odio.

In qualità di community, piattaforma social e raccolta di esperienze umane condivise, Facebook supporta importanti iniziative per contrastare l'incitamento all'odio applicando rigide normative sui contenuti e collaborando con comunità locali, politici, esperti e artefici del cambiamento per dare vita in tutto il mondo a iniziative volte a contrastare l'incitamento all'odio.

Meta dichiara che la "Libertà di espressione" è il valore più importante dell'azienda. Le forme d'arte che cercano di portare alla luce gli orrori delle atrocità passate e istruire le persone sul loro impatto durevole rappresentano una delle forme di espressione più forti e importanti del valore della "Libertà di espressione", soprattutto per i gruppi marginalizzati che esprimono la propria cultura e si impegnano per far conoscere la propria storia. I discorsi per contrastare l'incitamento all'odio non sono soltanto una forma di "Libertà di espressione", ma sono anche uno strumento chiave che consente alle vittime dell'incitamento all'odio di proteggere la propria dignità e reagire a comportamenti oppressivi, discriminatori e umilianti. Meta deve garantire che le sue normative sui contenuti e le sue pratiche di moderazione tengano conto di questa forma di espressione e la proteggano.

Dire a un utente intenzionato a sensibilizzare le persone sulle atrocità di massa che il suo contenuto è stato rimosso perché di incitamento all'odio è un'offesa alla sua dignità. Tale accusa, soprattutto se confermata da Meta al momento del ricorso, potrebbe portare all'autocensura.

8.3 Conformità con le responsabilità di Meta in materia di diritti umani

Il Board conclude che la rimozione del post è in contrasto con le responsabilità di Meta come azienda in materia di diritti umani. Meta si impegna a rispettare i diritti umani riconosciuti dai principi guida delle Nazioni Unite (UNGP) su imprese e diritti umani. Secondo la Normativa aziendale sui diritti umani di Meta, ciò comprende la Convenzione internazionale sui diritti civili e politici (ICCPR).

Questo è il primo caso del Board riguardante l'espressione artistica, ed è anche il suo primo caso riguardante una forma di espressione in cui l'utente si identifica come persona indigena. È uno dei vari casi selezionati dal Board in cui l'utente cercava di attirare l'attenzione su gravi violazioni dei diritti umani.

Libertà di espressione (articolo 19 dell'ICCPR)

Gli standard internazionali in materia di diritti umani pongono l'accento sul valore dell'espressione politica (Comitato per i diritti umani, Commento generale n. 34, par. 38). L'ambito di protezione per questo diritto è specificato nell'articolo 19, par. 2, dell'ICCPR, che riserva una menzione speciale all'espressione "sotto forma di arte". La Convenzione internazionale sull'eliminazione di ogni forma di discriminazione razziale (ICERD), inoltre, protegge dalle discriminazioni quando si esercita il diritto alla libertà di espressione (articolo 5). Il Comitato incaricato di sorvegliare sulla conformità degli Stati ha sottolineato l'importanza del diritto di assistere "i gruppi vulnerabili nel riequilibrio dei poteri fra i componenti della società" e dell'offrire "punti di vista alternativi e argomentazioni contrarie" nelle discussioni (Comitato CERD, Raccomandazione generale 35, par. 29).

L'arte è spesso politica e gli standard internazionali riconoscono il ruolo unico e potente che questa forma di comunicazione assume quando si tratta di mettere in discussione lo status quo (Relatore speciale delle Nazioni Unite in materia di diritti culturali, A/HRC/23/34, par. 3-4). Internet, e i social media come Facebook e Instagram in particolare, assumono un valore speciale per gli artisti che vogliono raggiungere gruppi di pubblico nuovi e più ampi. Il loro sostentamento può dipendere dall'accesso alle piattaforme social che dominano Internet.

Il diritto alla libertà di espressione è garantito indistintamente a tutte le persone (articolo 19, par. 2, ICCPR). Secondo alcuni commenti ricevuti dal Board, le persone indigene hanno il diritto di fornire il loro previo consenso, libero e consapevole, laddove gli Stati adottano misure legislative o amministrative che interessano tali comunità. Questo diritto implica una responsabilità per Meta, che deve confrontarsi con tali comunità durante lo sviluppo delle sue normative sui contenuti (Commento pubblico 10240, Minority Rights Group; si veda anche la Dichiarazione dei diritti dei popoli indigeni delle Nazioni Unite , articolo 19). Il Relatore speciale delle Nazioni Unite in materia di libertà di opinione e di espressione ha sollevato una simile preoccupazione per quanto riguarda le responsabilità dei social media (A/HRC/38/35, par. 54).

Il contenuto in questo caso implica una serie di altri diritti, tra cui i diritti delle persone appartenenti a minoranze nazionali, etniche o linguistiche di vivere la propria cultura, in comunità con altri membri del proprio gruppo (articolo 27, ICCPR), nonché il diritto di partecipare alla vita culturale e usufruire dell'arte (articolo 15, ICESCR). L'arte di creare una cintura wampum per registrare e sensibilizzare su atrocità commesse contro i diritti umani e sul relativo lascito è tutelata ai sensi della Dichiarazione delle Nazioni Unite sui difensori dei diritti umani, articolo 6(c), così come il diritto alla verità sulle atrocità commesse (UN Set of Principles to Combat Impunity). La Dichiarazione dei diritti dei popoli indigeni delle Nazioni Unite riconosce espressamente che la rimozione forzata di bambini può essere un atto di violenza e una forma di genocidio (articolo 7, par. 2) e fornisce una tutela specifica contro l'integrazione forzata e la distruzione culturale (articolo 8, par. 1).

L'articolo 19 dell'ICCPR prevede che, quando le limitazioni alla libertà di espressione sono imposte da uno Stato, devono soddisfare i requisiti di legalità, fine legittimo, necessità e proporzionalità (articolo 19, paragrafo 3, ICCPR). Il Relatore speciale delle Nazioni Unite in materia di libertà di espressione ha incoraggiato i social media a farsi guidare da tali principi nella moderazione dei contenuti online, ricordando che la regolamentazione dell'espressione su larga scala da parte di aziende private potrebbe sollevare perplessità specifiche per quel contesto (A/HRC/38/35, par. 45 e 70). In tutte le decisioni prese finora, il Board ha impiegato il test in tre parti basato sull'articolo 19 dell'ICCPR.

I. Legalità (chiarezza e accessibilità delle norme)

Lo Standard della community in materia di incitamento all'odio consente chiaramente i contenuti che condannano l'incitamento all'odio o sensibilizzano le persone. Questo aspetto della normativa è sufficientemente chiaro e accessibile all'utente, che può comprendere le regole e agire di conseguenza (Commento generale n. 34, par. 25). Lo standard di legalità prevede inoltre che le regole che limitano la libertà di espressione forniscano "indicazioni sufficienti ai responsabili della relativa applicazione per consentire loro di accertare quali forme di libertà di espressione sono correttamente limitate e quali non lo sono" (ibid.). L'incapacità dei due moderatori di valutare correttamente l'applicazione delle eccezioni alla normativa per questo contenuto indica la probabile necessità di altre linee guida interne per i moderatori.

II. Fine legittimo

Le limitazioni statali alla libertà di espressione devono perseguire uno degli scopi legittimi enucleati nell'articolo 19, par. 3 dell'ICCPR. Nelle risposte inviate al Board, Meta ha costantemente fatto riferimento agli scopi di tale lista per giustificare la sua rimozione del contenuto. Il Board ha precedentemente riconosciuto che lo Standard della community di Facebook in materia di incitamento all'odio persegue lo scopo legittimo della protezione dei diritti altrui. Tali diritti includono il diritto all'uguaglianza e non discriminazione, la libertà di espressione e il diritto all'integrità fisica.

III. Necessità e proporzionalità

L'errore palese in questo caso è che la rimozione non era assolutamente necessaria, errore che Meta ha riconosciuto. Il Board teme che un errore inequivocabile come questo potrebbe essere indice di problemi di proporzionalità ben più gravi nelle procedure automatiche e di controllo umano di Meta. Qualsiasi limitazione alla libertà di espressione dovrebbe essere appropriata per svolgere la propria funzione protettiva e dovrebbe essere lo strumento meno invasivo tra quelli che potrebbero svolgere la loro funzione protettiva (Commento generale n. 34, par. 34). Il rispetto dei requisiti di necessità e proporzionalità da parte del sistema di moderazione dei contenuti di Meta dipende largamente dalla sua efficacia nel rimuovere gli effettivi discorsi di incitamento all'odio e ridurre al minimo gli errori di rilevamento e rimozione.

Ogni post che viene erroneamente rimosso lede la libertà di espressione. Il Board è consapevole che gli errori sono inevitabili, sia per le macchine che per le persone. L'incitamento all'odio e le relative risposte sono sempre legati al contesto e i loro confini non sono sempre chiari. Tuttavia, i tipi di errori e le persone o comunità che sopportano il peso di tali errori rispecchiano scelte di progettazione che devono costantemente essere valutate ed esaminate. Ciò implica un'ulteriore analisi delle cause profonde dell'errore commesso nel caso in oggetto e una più ampia valutazione dell'efficacia con cui vengono moderati i discorsi per contrastare l'incitamento all'odio.

Data l'importanza che l'arte degli artisti indigeni assume nel contrastare l'odio e l'oppressione, il Board si aspetta che Meta mostri una particolare attenzione alla possibilità di rimuovere erroneamente il contenuto del caso in oggetto o contenuti simili su Facebook e Instagram. Non è sufficiente valutare complessivamente in che modo Meta abbia applicato la normativa di Facebook in materia di incitamento all'odio. Un sistema caratterizzato da buone prestazioni medie potrebbe potenzialmente registrare prestazioni scarse in sottocategorie di contenuti in cui decisioni sbagliate hanno un impatto particolarmente evidente sui diritti umani. È possibile che i tipi di errori verificatisi nel caso in oggetto siano rari; il Board fa notare, tuttavia, che i membri di gruppi emarginati hanno sollevato perplessità sul tasso degli errori di rimozione e sull'impatto che potrebbero avere per diversi anni. Gli errori in questo caso mostrano che spetta a Meta dimostrare di aver condotto una due diligence in materia di diritti umani per garantire che i suoi sistemi funzionino correttamente e non aggravino le oppressioni storiche e in corso (UNGP, principio 17).

Meta valuta costantemente l'accuratezza dei suoi sistemi di applicazione in materia di incitamento all'odio. Tale valutazione non è suddivisa in analisi di accuratezza che misurano specificatamente la capacità di Meta di distinguere l'incitamento all'odio dai contenuti consentiti che lo condannano o sensibilizzano le persone.

Le procedure esistenti di Meta includono anche meccanismi ad hoc per rilevare gli errori frequenti e analizzarne le cause profonde, ma ciò richiede grandi campioni di contenuti in base ai quali misurare le prestazioni del sistema. Il Board ha chiesto a Meta se avesse esaminato nello specifico la capacità dei suoi sistemi di controllo di valutare accuratamente i discorsi per contrastare l'incitamento all'odio che costituiscono una forma di espressione artistica e i discorsi per contrastare l'incitamento all'odio che sensibilizzano le persone sulle violazioni dei diritti umani. Meta ha riferito al Board di non aver intrapreso ricerche specifiche sull'impatto che gli errori di rimozione possono avere sull'espressione artistica o sull'espressione di persone di origine o identità indigena.

Meta ha fatto notare al Board gli ostacoli legati a tali valutazioni, tra cui la mancanza di un sistema con cui automatizzare la raccolta di un campione di contenuti che rientrano nelle eccezioni alla normativa. Il motivo è che gli addetti al controllo contrassegnano i contenuti come in violazione o non in violazione e non devono indicare se un contenuto non in violazione rientri in un'eccezione alla normativa. Occorrerebbe raccogliere manualmente un campione di discorsi per contrastare l'incitamento all'odio che rientrino in tale eccezione.

Anche se il Board è stato incoraggiato dal livello di dettaglio fornito sulle valutazioni delle prestazioni da parte di Meta durante una sessione di domande e risposte organizzata su richiesta del Board stesso, è evidente che serve un maggiore impegno per valutare l'accuratezza dell'applicazione delle eccezioni alla normativa in materia di incitamento all'odio e per imparare dagli errori frequenti. Senza altre informazioni sulle decisioni di progettazione di Meta e sulle prestazioni dei suoi sistemi umani e automatizzati, è difficile per il Board o per Meta valutare la proporzionalità dell'approccio attualmente adottato dall'azienda in materia di incitamento all'odio.

Quando si valuta la necessità e proporzionalità dell'utilizzo di specifici strumenti di apprendimento automatico nel caso in oggetto per rilevare automaticamente potenziali discorsi di incitamento all'odio, è fondamentale capire l'accuratezza di tali strumenti. I classificatori di apprendimento automatico implicano sempre un equilibrio tra i tassi di falsi negativi e falsi positivi. Più un classificatore è sensibile, più probabilità ha di rilevare correttamente i casi di incitamento all'odio. Tuttavia, ha anche più probabilità di contrassegnare erroneamente materiali che non sono di incitamento all'odio. I vari classificatori e modelli hanno efficacia e utilità diverse in base alle attività. Per un determinato modello, possono essere usate diverse soglie che rispecchiano un parere sulla relativa importanza di evitare diversi tipi di errori. La probabilità e gravità degli errori dovrebbe anche influenzare le decisioni su come impiegare un classificatore, tra cui la possibilità di farlo agire immediatamente o ricorrere ad approvazione umana, e le tutele da mettere in atto.

Meta ha spiegato che il post in questione nel caso in oggetto è stato inviato per il controllo da parte dei suoi sistemi automatizzati poiché sarebbe stato probabilmente visto da un pubblico ampio. Tale approccio può limitare la diffusione di materiali dannosi, ma potrebbe anche aumentare il rischio di rimozione errata per efficaci forme d'arte volte a contrastare l'incitamento all'odio. Meta ha detto al Board che il tasso di falsi positivi viene valutato regolarmente nel tempo, in base a una serie di decisioni prese da esperti addetti al controllo. Meta ha inoltre precisato che era possibile valutare l'accuratezza dei particolari modelli di apprendimento automatico pertinenti per il caso in oggetto e che le informazioni relative alle previsioni dei classificatori vengono conservate per almeno 90 giorni. Il Board ha richiesto informazioni per capire come valutare le prestazioni del classificatore e l'adeguatezza delle soglie usate da Meta nel caso in oggetto. Meta ha risposto al Board di non poter fornire le informazioni richieste per mancanza di tempo. Tuttavia, ha precisato di aver preso in considerazione la possibilità di fornire tali informazioni nei casi futuri.

Il controllo umano può fornire due importanti tutele sul funzionamento dei classificatori di Meta: prima che il caso venga rimosso e al momento del ricorso. Gli errori in questo caso indicano che le linee guida fornite da Meta ai moderatori per valutare i discorsi per contrastare l'incitamento all'odio potrebbero essere insufficienti. Sono diverse le ragioni che potrebbero aver indotto i moderatori umani a giungere alla conclusione sbagliata per ben due volte in questo caso. Il Board teme che gli operatori addetti al controllo non dispongano di risorse sufficienti in termini di tempo o formazione per evitare il tipo di errore riscontrato in questo caso, specialmente per quanto riguarda i contenuti consentiti dalle eccezioni alla normativa (tra cui, per esempio, quelli allo scopo di "condannare" l'incitamento all'odio e "sensibilizzare").

In questo caso, entrambi gli operatori addetti al controllo si trovavano nell'area geografica dell'Asia Pacifico. Meta non ha potuto indicare al Board se i tassi di accuratezza dei controlli fossero diversi per i moderatori tenuti a valutare un potenziale incitamento all'odio in un'area geografica diversa da quella in cui è stato pubblicato il contenuto. Il Board sottolinea la complessità legata alla valutazione dell'incitamento all'odio e la difficoltà nel comprendere il contesto e la storia locale, soprattutto considerato il volume di contenuti che i moderatori controllano ogni giorno. È comprensibile che i moderatori che hanno valutato il contenuto del caso in oggetto avessero meno esperienza in fatto di oppressione dei popoli indigeni in Nord America. Le linee guida dovrebbero includere istruzioni chiare su come valutare i contenuti nella loro interezza e aiutare i moderatori a valutare in modo più preciso il contesto per determinare l'intento e il significato.

Nella sua decisione sul caso del Meme dei due pulsanti (2021-005-FB-UA), Il Board ha consigliato a Meta di consentire agli utenti di indicare nel proprio ricorso se il loro contenuto rientri in una delle eccezioni allo Standard della community di Facebook in materia di incitamento all'odio. Al momento, quando un utente invia un ricorso contro una delle decisioni di Meta sottoposte al controllo umano, l'operatore non viene informato se l'utente ha contestato una decisione precedente e non sa quale sia l'esito del primo controllo. Meta ha spiegato al Board che, dal suo punto di vista, tali informazioni potrebbero influenzare il controllo. Tuttavia, il Board vuole capire se tali informazioni potrebbero aumentare la probabilità di avere un processo decisionale meno rigido. Si tratta di una questione che potrebbe essere empiricamente testata da Meta; i risultati dei test sarebbero utili per valutare la proporzionalità delle misure specifiche che Meta ha scelto di adottare.

In base ai UNGP, Meta ha la responsabilità di condurre una due diligence in materia di diritti umani (principio 17). Ciò dovrebbe includere l'individuazione di eventuali ripercussioni negative che la moderazione dei contenuti potrebbe avere sull'espressione artistica e politica dei popoli indigeni intenzionati a contrastare la discriminazione. Meta dovrebbe inoltre capire come evitare, mitigare e giustificare le sue iniziative volte a contrastare tali ripercussioni negative. Il Board si impegna a monitorare le prestazioni di Meta e si aspetta che l'azienda dia la priorità ai rischi dei gruppi emarginati e garantisca continui miglioramenti.

9.Decisione dell'Oversight Board

L'Oversight Board revoca la decisione originaria di Meta di rimuovere il contenuto.

10. Linee guida sulle normative

Applicazione

1. Avvisare gli utenti in modo preciso e tempestivo ogni volta che l'azienda prende provvedimenti relativi ai contenuti per cui è stato inviato un ricorso. Ove applicabile, compresi i casi che, come questo, sono caratterizzati da un errore di applicazione delle normative, l'avviso all'utente deve riconoscere che l'azione intrapresa è il risultato del processo di verifica dell'Oversight Board. Meta dovrebbe condividere il messaggio inviato all'utente quando le azioni del Board influenzano le decisioni sui contenuti contro cui è stato inviato un ricorso, per dimostrare di aver rispettato tale raccomandazione. Tali azioni dovrebbero essere eseguite in tutti i casi corretti durante la fase di idoneità della procedura del Board.

2. Studiare le conseguenze che approcci diversi per il controllo secondario potrebbero avere sull'accuratezza e sul volume di produzione degli operatori. In particolare, il Board richiede una valutazione dei tassi di accuratezza quando i moderatori dei contenuti sanno di essere coinvolti in un controllo secondario, in modo che siano al corrente del fatto che la decisione iniziale è stata contestata. Tale esperimento dovrebbe idealmente includere l'opportunità per gli utenti di fornire un contesto pertinente che potrebbe aiutare gli operatori a valutare i contenuti, in linea con le precedenti raccomandazioni del Board. Meta dovrebbe condividere i risultati di tali valutazioni di accuratezza e sintetizzarli nel report trimestrale del Board sulla trasparenza per dimostrare di aver effettivamente recepito tali raccomandazioni.

3. Condurre valutazioni dell'accuratezza incentrate sulle eccezioni alla normativa in materia di incitamento all'odio, eccezioni che riguardano l'espressione artistica e le espressioni relative alle violazioni dei diritti umani (ad es. condanna, sensibilizzazione, uso autoreferenziale, uso responsabilizzante). Tale valutazione deve anche analizzare in modo specifico le ripercussioni che il luogo del controllo può avere sulla capacità dei moderatori di valutare accuratamente l'incitamento all'odio e i discorsi per contrastare l'incitamento all'odio nella stessa area geografica o in regioni diverse. Il Board è consapevole che tali analisi potrebbero richiedere lo sviluppo di campioni di contenuti pertinenti, adeguati e accuratamente etichettati. Meta dovrebbe condividere i risultati di questa valutazione con il Board, spiegando anche in che modo tali risultati porteranno a dei miglioramenti nell'applicazione e nello sviluppo delle normative e precisando se intende eseguire valutazioni regolari sull'accuratezza dei controlli per tali eccezioni. Dovrebbe inoltre sintetizzare i risultati nel report trimestrale del Board sulla trasparenza per dimostrare di aver effettivamente recepito le raccomandazioni.

*Nota procedurale:

Le decisioni dell'Oversight Board sono predisposte da gruppi di cinque Membri e devono essere approvate dalla maggioranza del Board. Le decisioni del Board non rappresentano necessariamente le opinioni personali di tutti i Membri.

Per la decisione su questo caso sono state commissionate ricerche indipendenti per conto del Board. Un istituto di ricerca indipendente presso l'Università di Göteborg e facente ricorso a un team di oltre 50 esperti di social in sei continenti, nonché a più di 3200 esperti nazionali da tutto il mondo ha fornito il proprio contributo in merito al contesto socio-politico e culturale, insieme a Duco Advisers, una società di consulenza specializzata in geopolitica, fiducia/sicurezza e tecnologia.

Return to Case Decisions and Policy Advisory Opinions