Wampumgürtel

Zusammenfassung des Falls

Hinweis: Am 28. Oktober 2021 kündigte Facebook an, dass das Unternehmen in Meta umbenannt wird. In diesem Text bezieht sich „Meta“ auf das Unternehmen; das Produkt bzw. die App wird weiterhin als „Facebook“ bezeichnet, etwa wenn Richtlinien sich speziell darauf beziehen.

Das Oversight Board hat die ursprüngliche Entscheidung von Meta, einen Facebook-Beitrag eines indigenen nordamerikanischen Künstlers unter Berufung auf den Gemeinschaftsstandard zu Hassrede zu entfernen, aufgehoben. Das Board hat festgestellt, dass der Beitrag unter Ausnahmen von der Richtlinie zu Hassrede fällt, da mit ihm die Absicht verfolgt wurde, auf historische Verbrechen gegen indigene Menschen in Nordamerika aufmerksam zu machen.

Zum Fall

Im August 2021 postete ein Facebook-Nutzer ein Bild eines Wampumgürtels sowie eine zugehörige Textbeschreibung auf Englisch. Wampumgürtel sind eine Kunstform der indigenen Bevölkerung von Nordamerika. Dabei werden Muscheln ineinander gewebt, um Bilder zu formen, Geschichten zu erzählen und Vereinbarungen festzuhalten. Auf dem Gürtel ist eine Reihe von Darstellungen zu sehen, die laut dem Nutzer von „the Kamloops story“ („der Kamloops-Geschichte“) inspiriert wurden. Dabei bezieht er sich auf die anonymen Gräber, die im Mai 2021 in British Columbia, Kanada, auf dem Gelände eines früheren Internats für indigene Kinder entdeckt wurden.

Im Text wird auch der Titel des Kunstwerks „Kill the Indian/Save the Man“ („Töte den Indianer/Rette den Menschen“) sowie der Nutzer als Hersteller des Gürtels benannt. Der Nutzer beschreibt die auf dem Gürtel dargestellte Abfolge von Bildern: „Theft of the Innocent, Evil Posing as Saviours, Residential School / Concentration Camp, Waiting for Discovery, Bring Our Children Home.“ (Raub der Unschuldigen, das Böse, das sich als Erlöser ausgibt, Internat/Konzentrationslager, Warten auf das Gefundenwerden, Bringt unsere Kinder nach Hause.) Im Beitrag beschreibt der Nutzer die Bedeutung seines Kunstwerks sowie die Geschichte der Wampumgürtel und deren Zweck als aufklärerisches Mittel. Der Nutzer berichtet, dass es nicht einfach war, den Gürtel herzustellen, und dass es für ihn sehr emotional war, die Geschichte von den Geschehnissen in Kamloops zu erzählen. Er entschuldigt sich für den Schmerz, den sein Werk bei den Überlebenden von Kamloops auslöst, und merkt dessen ausschließlichen Zweck an: „ [...] sole purpose is to bring awareness to this horrific story“ ([...] einzige Zweck besteht darin, auf diese schreckliche Geschichte aufmerksam zu machen).

Die automatisierten Systeme von Meta erkannten den Inhalt einen Tag nach Veröffentlichung des Beitrags als potenziellen Verstoß gegen Facebooks Gemeinschaftsstandard zu Hassrede. Ein Mitarbeiter kam nach einem manuellen Review zu dem Schluss, dass der Inhalt unzulässig war, und entfernte ihn noch am selben Tag. Der Nutzer legte Einspruch gegen diese Entscheidung Metas ein, woraufhin ein zweiter manueller Review erfolgte. Auch der zweite Mitarbeiter befand, dass der Inhalte unzulässig war. Bis zum Zeitpunkt der Entfernung war der Inhalt über 4.000-mal aufgerufen und über 50-mal geteilt worden. Der Inhalt wurde von keinem Nutzer gemeldet.

Nachdem das Board diesen Fall ausgewählt hatte, gab Meta an, bei der Entfernung habe es sich um einen „Durchsetzungsfehler“ gehandelt, und Meta stellte den Beitrag am 27. August wieder her. Meta informierte den Nutzer jedoch erst am 30. September über diese Wiederherstellung, d. h. zwei Tage, nachdem das Board Meta zu den Inhalten seiner Benachrichtigungen an den Nutzer befragt hatte. Meta führte die verspätete Benachrichtigung auf menschliches Versagen zurück.

Wichtige Erkenntnisse

Meta räumt ein, dass seine ursprüngliche Entscheidung, den Inhalt zu entfernen, den Facebook-Gemeinschaftsstandards entgegenstand, und dass es sich um einen „Durchsetzungsfehler“ handelte. Das Board vertritt die Auffassung, dass es sich beim betreffenden Inhalt um ein deutliches Beispiel für „Gegenrede“ handelt, mit der auf Hassrede verwiesen wird, um sich gegen Unterdrückung und Diskriminierung zu wehren.

In der Einführung der Facebook-Richtlinie zu Hassrede wird erläutert, dass Gegenrede zulässig ist, sofern die Absichten des Nutzers deutlich gemacht werden. Vom Inhalt des Beitrags her ist es offensichtlich, dass es sich dabei nicht um Hassrede handelt. Das Kunstwerk erzählt die Geschichte von den Geschehnissen in Kamloops, und der begleitende Text verdeutlicht die Bedeutung dieser Geschichte. Die Worte „Kill the Indian“ („Töte den Indianer“) könnten, für sich allein genommen, Hassrede darstellen. Im hier vorliegenden Kontext jedoch wird damit auf bestimmte Handlungen des Hasses und der Diskriminierung aufmerksam gemacht, und diese Handlungen werden gleichzeitig verurteilt.

Das Board erinnert an seine Entscheidung 2020-005-FB-UA zu einem Fall, in dem ein Nazi-Funktionär zitiert wurde. Dieser Fall liefert ähnliche Erkenntnisse dazu, wie sich Inhalte anhand anderer Merkmale als ihren direkten Aussagen bewerten lassen, etwa anhand des Inhalts und der Bedeutung eines Zitats, des Zeitpunkts und des Lands des Beitrags und der Natur der Reaktionen und Kommentare auf den bzw. zu dem Beitrag.

In diesem Fall stellte das Board fest, dass ein ausdrücklicher Hinweis des Nutzers, dass er auf etwas aufmerksam machen wollte, nicht erforderlich war, damit sein Beitrag als Gegenrede zu erkennen war. Das Board wies darauf hin, dass intern „Bekannte Fragen“ für Moderatoren zur Verfügung stehen, in denen darauf hingewiesen wird, dass eine klare Absichtserklärung nicht immer ausreicht, um die Bedeutung eines Beitrags, der Hassrede darstellt, zu ändern. Von Moderatoren wird erwartet, dass sie Rückschlüsse aus Inhalten ziehen, um die jeweilige Absicht zu bewerten, und dass sie sich dabei nicht ausschließlich auf ausdrückliche Aussagen stützen.

Zwei Moderatoren stuften den Beitrag unabhängig voneinander als Hassrede ein. Meta konnte keine konkreten Gründe dafür nennen, warum es gleich zwei Mal zu diesem Fehler gekommen ist.

Die Entscheidung des Oversight Boards

Das Oversight Board hebt die ursprüngliche Entscheidung von Meta auf, den Inhalt zu entfernen.

In einer Stellungnahme zur Richtlinie empfiehlt das Board folgende Maßnahmen:

• Nutzer sollten zeitnah präzise Benachrichtigungen zu den Maßnahmen erhalten, die das Unternehmen bezüglich ihrer vom Einspruch betroffenen Inhalte ergreift. Gegebenenfalls, und insbesondere bei Durchsetzungsfehlern wie im vorliegenden Fall, sollte dem Nutzer in der Benachrichtigung erklärt werden, dass die Maßnahme im Zuge einer Überprüfung durch das Oversight Board erfolgte.
• Es sollte untersucht werden, welche Auswirkungen es auf die Genauigkeit einer Überprüfung hat, wenn Inhaltsmoderatoren darüber informiert werden, dass sie als Zweitprüfer herangezogen werden, d. h., wenn sie wissen, dass gegen die ursprüngliche Entscheidung Einspruch eingelegt wurde.
• Es sollte eine Bewertung der Überprüfungsgenauigkeit mit Schwerpunkt auf Ausnahmen von der Richtlinie zu Hassrede durchgeführt werden. Gegenstand dieser Untersuchung sollten künstlerische Freiheit und Hinweise auf Menschenrechtsverstöße (Verurteilung solcher Verstöße, das Aufmerksammachen auf diese, selbstreferenzielle Nutzung, befähigende Nutzung) sein. Bei dieser Bewertung sollte auch speziell untersucht werden, wie sich der Standort eines Prüfers (Moderators) auf dessen Fähigkeit auswirkt, Hassrede und Gegenrede aus denselben oder anderen Regionen korrekt einzuordnen. Meta sollte dem Board die Ergebnisse dieser Bewertung vorlegen. Unter anderem sollte Meta erklären, wie die Durchsetzung und die Erarbeitung von Richtlinien anhand dieser Ergebnisse verbessert werden wird und ob das Unternehmen plant, regelmäßige Bewertungen zur Überprüfungsgenauigkeit in Bezug auf solche Ausnahmen durchzuführen. Das Board ruft Meta außerdem dazu auf, in seinen vierteljährlichen Transparenzberichten Zusammenfassungen der Ergebnisse dieser Bewertungen zu veröffentlichen, um aufzuzeigen, dass es dieser Empfehlung nachgekommen ist.

* Fallzusammenfassungen bieten einen Überblick über den Fall und haben keinen Präzedenzwert.

Ausführliche Fallentscheidung

1. Zusammenfassung der Entscheidung

Das Oversight Board hebt die ursprüngliche Entscheidung von Meta auf, einen Beitrag eines indigenen nordamerikanischen Künstlers zu entfernen, der ein Bild eines seiner Kunstwerke und eine dazugehörige Überschrift enthielt, in der auf historische Hassrede verwiesen wird. Meta räumte ein, dass der Beitrag unter die Ausnahmen des Facebook-Gemeinschaftsstandards zu Hassrede fällt, da damit offensichtliche auf historische Verbrechen gegen indigene Menschen in Nordamerika aufmerksam gemacht werden soll.

2. Beschreibung des Falls

Anfang August 2021 postete ein Facebook-Nutzer ein Bild eines Wampumgürtels sowie eine zugehörige Textbeschreibung auf Englisch. Wampumgürtel sind eine Kunstform der indigenen Bevölkerung von Nordamerika. Dabei werden Muscheln ineinander gewebt, um Bilder zu formen, Geschichten zu erzählen und Vereinbarungen festzuhalten. Auf dem Gürtel ist eine Reihe von Darstellungen zu sehen, die laut dem Nutzer von „the Kamloops story“ („der Kamloops-Geschichte“) inspiriert wurden. Dabei bezieht er sich auf die anonymen Gräber, die im Mai 2021 in British Columbia, Kanada, auf dem Gelände eines früheren Internats für indigene Kinder entdeckt wurden.

Im Text wird auch der Titel des Kunstwerks „Kill the Indian/Save the Man“ („Töte den Indianer/Rette den Menschen“) sowie der Nutzer als Hersteller des Gürtels benannt. Darauf folgt eine Reihe von Sätzen, die der Abfolge der auf dem Gürtel dargestellten Bildern entsprechen: „Theft of the Innocent, Evil Posing as Saviours, Residential School / Concentration Camp, Waiting for Discovery, Bring Our Children Home.“ (Raub der Unschuldigen, das Böse, das sich als Erlöser ausgibt, Internat/Konzentrationslager, Warten auf das Gefundenwerden, Bringt unsere Kinder nach Hause.) Im Beitrag beschreibt der Nutzer die Bedeutung seines Kunstwerks sowie die Geschichte der Wampumgürtel und deren Zweck als aufklärerisches Mittel. Der Nutzer berichtet, dass es nicht einfach war, den Gürtel herzustellen, und dass es für ihn sehr emotional war, die Geschichte von den Geschehnissen in Kamloops zu erzählen. Anschließend führt er weiter auf, dass die Geschichte nicht erneut der Öffentlichkeit verborgen bleiben dürfe, und dass er hoffe, dass der Gürtel dies verhindert. Der Nutzer schließt seinen Beitrag mit einer Entschuldigung für den Schmerz ab, den sein Kunstwerk bei den Überlebenden des Internatssystems auslösen könnte, und merkt dessen ausschließlichen Zweck an: „ [...] sole purpose is to bring awareness to this horrific story“ ([...] einzige Zweck besteht darin, auf diese schreckliche Geschichte aufmerksam zu machen.)

Die automatisierten Systeme von Meta erkannten den Inhalt einen Tag nach Veröffentlichung des Beitrags als potenziellen Verstoß gegen den Facebook-Gemeinschaftsstandard zu Hassrede. Ein Mitarbeiter kam nach einem manuellen Review zu dem Schluss, dass der Inhalt unzulässig war, und entfernte ihn noch am selben Tag. Der Nutzer legte Einspruch gegen diese Entscheidung Metas ein, woraufhin ein zweiter manueller Review erfolgte. Auch der zweite Mitarbeiter befand, dass der Inhalte unzulässig war. Bis zum Zeitpunkt der Entfernung war der Inhalt über 4.000-mal aufgerufen und über 50-mal geteilt worden. Der Inhalt wurde von keinem Nutzer gemeldet. Nachdem das Board diesen Fall ausgewählt hatte, gab Meta an, bei der Entfernung habe es sich um einen „Durchsetzungsfehler“ gehandelt, und Meta stellte den Beitrag am 27. August wieder her. Meta informierte den Nutzer jedoch erst am 30. September über diese Wiederherstellung, d. h. zwei Tage, nachdem das Board Meta zu den Inhalten seiner Benachrichtigungen an den Nutzer befragt hatte. Meta führte die verspätete Benachrichtigung auf menschliches Versagen zurück. In dieser Benachrichtigung selbst wurde der Nutzer nicht darüber informiert, dass sein Inhalt im Zuge seines Einspruchs beim Board und der Auswahl seines Falls durch das Board wiederhergestellt wurde.

In einem öffentlichen Kommentar (Public Comment-10208) weist die Association on American Indian Affairs darauf hin, dass das als Überschrift für das Kunstwerk verwendete Zitat von Richard Henry Pratt stammt, einem Armeeoffizier, der der Gründer des ersten staatlichen Internats für amerikanische Ureinwohner in den USA war. Dieses Zitat spiegelt die gedankliche Einstellung wider, die der Errichtung von Internaten zugrunde lag: Ziel war es, die Ureinwohner zwangsweise zu „zivilisieren“ und „alle Überreste der indianischen Kultur auszurotten.“ Ähnliche Zielsetzungen wurden in Kanada verfolgt. Sie werden von der Truth and Reconciliation Commission of Canada als kultureller Völkermord eingestuft.

Der Verweis des Nutzers auf die Geschehnisse in Kamloops ist ein Verweis auf das dortige ehemalige Internat für First-Nation-Kinder in British Columbia, Kanada. Im Mai 2021 gaben führende Angehörige der First-Nation-Gemeinschaft Tk’emlúps te Secwépemc bekannt, dass in Kamloops anonyme Gräber gefunden worden waren. Die Behörden haben bestätigt, dass sich in diesem Gebiet 200 mutmaßliche Begräbnisstätten befinden.

Die kanadische Regierung schätzt, dass mindestens 150.000 indigene Kinder das Internatssystem durchlaufen haben, bevor die letzte Schule im Jahr 1997 geschlossen wurde. Indigene Kinder wurden häufig gewaltsam ihren Familien entrissen, und es wurde ihnen verboten, irgendwelche Aspekte der indigenen Kultur zum Ausdruck zu bringen. In den Schulen kam schwere und missbräuchliche körperliche Züchtigung zum Einsatz, und die Mitarbeiter begingen oder tolerierten sexuellen Missbrauch und schwere Gewalthandlungen an vielen der Schülerinnen und Schüler. Die Kinder waren unterernährt, die Schulen wurden nicht ausreichend beheizt und gereinigt, und viele Kinder starben bei nur minimaler medizinischer Versorgung an Tuberkulose und anderen Krankheiten. Die Truth and Reconciliation Commission kommt zu dem Schluss, dass mindestens 4.100 Kinder während ihrer Zeit an diesen Schulen zu Tode kamen, viele davon aufgrund von Misshandlung oder Vernachlässigung, aufgrund von Krankheiten oder durch Unfälle.

3. Befugnis und Umfang

Das Board ist befugt, die Entscheidung von Meta nach dem Einspruch des Nutzers zu prüfen, dessen Inhalt entfernt wurde (Artikel 2 der Satzung, Abschnitt 1; Artikel 3 der Geschäftsordnung, Abschnitt 1). Das Board kann die Entscheidung von Meta bestätigen oder aufheben, und seine Entscheidung ist für das Unternehmen verbindlich (Artikel 4 der Satzung; Artikel 3, Abschnitt 5). Die Entscheidungen des Boards können Stellungnahmen zu den Richtlinien mit unverbindlichen Empfehlungen umfassen, auf die Meta antworten muss (Artikel 4; Artikel 3, Abschnitt 4).

Wenn das Board Fälle wie den vorliegenden auswählt, in denen Meta im Nachhinein einräumt, dass es einen Fehler gemacht hat, überprüft das Board die ursprüngliche Entscheidung, damit besser nachvollzogen werden kann, warum es zu Fehlern kommt, und damit Beobachtungen oder Empfehlungen kommuniziert werden können, die möglicherweise zur Reduzierung von Fehlern und zur Verbesserung der ordnungsgemäßen Verfahren beitragen. Nach der Entscheidung des Board im Fall Brustkrebs und Nacktheit (2020-004-IG-UA, Abschnitt 3) führte das Board ein Verfahren ein, mit dem Meta Durchsetzungsfehler erkennen kann, bevor dem Gremium ein Fall zugewiesen wird. (Siehe Transparenzberichte, Seite 30.) Es ist nicht hilfreich, dass sich Meta in diesen Fällen bei seiner Argumentation ausschließlich auf seine überarbeitete Entscheidung beruft und lediglich erklärt, was bezüglich des Nutzerinhalts hätte passieren sollen, und so den Eindruck entstehen lassen möchte, dass dies vom Board als „endgültige“ Entscheidung des Unternehmens einzustufen sei. Meta schlägt vor, dass Meta nicht nur erklärt, warum die vom Einspruch betroffene Entscheidung falsch war, sondern auch, wie es zu dem Fehler gekommen ist und warum dieser nicht durch die internen Prüfverfahren des Unternehmens erkannt oder vermieden wurde. Das Board wird seine Überprüfungen auch weiterhin auf Grundlage der Entscheidungen vornehmen, gegen die Nutzer Einspruch einlegen.

4. Relevante Standards

Bei seiner Entscheidung hat das Oversight Board die folgenden Standards berücksichtigt:

I.Facebook-Gemeinschaftsstandards:

Facebook definiert in seinen Gemeinschaftsstandards Hassrede als „direkten Angriff auf Personen aufgrund geschützter Eigenschaften: ethnische Zugehörigkeit, nationale Herkunft, religiöse Zugehörigkeit, sexuelle Orientierung, Kaste, Geschlecht, Geschlechtsidentität und ernsthafte Erkrankung oder Behinderung“. Die unter „Stufe 1“ verbotenen Inhalte umfassen „gewalttätige Äußerungen oder Unterstützung in schriftlicher oder visueller Form“. Der Gemeinschaftsstandards enthält auch Ausnahmen, mit denen zulässige Inhalte abgegrenzt werden:

„Uns ist klar, dass Menschen manchmal Inhalte teilen, die Hassreden anderer enthalten, um dies zu verurteilen oder dafür zu sensibilisieren. Denkbar ist auch, dass Aussagen, die ansonsten gegen unsere Standards verstoßen würden, auf die eigene Person bezogen oder als Ausdruck von Unterstützung verwendet werden. Unsere Richtlinien sollen Aussagen dieser Art Raum geben, doch dabei müssen die Personen ihre Absicht deutlich machen. Ist die Absicht unklar, wird der Inhalt unter Umständen entfernt.“

II. Die Werte von Meta:

Die Werte von Meta werden in der Einleitung der Facebook-Gemeinschaftsstandards dargelegt. Dem Wert „Mitsprache“ wird die „höchste Priorität“ beigemessen:

Ziel unserer Gemeinschaftsstandards ist es schon immer gewesen, einen Ort zu schaffen, an dem Menschen sich und ihre Meinung frei ausdrücken können. [...] Wir möchten, dass die Nutzerinnen und Nutzer offen über die Themen sprechen können, die ihnen wichtig sind. Das gilt auch dann, wenn einige Personen möglicherweise unterschiedlicher Meinung sind oder Inhalte anstößig finden.

Meta beschränkt die „Mitsprache“ zugunsten von vier anderen Werten, von denen zwei für diesen Fall relevant sind:

„Sicherheit“: Unser Ziel ist es, Facebook zu einem sicheren Ort zu machen. Äußerungen, die Nutzer bedrohen, haben das Potenzial, andere einzuschüchtern, auszugrenzen oder mundtot zu machen. Deshalb sind sie auf Facebook nicht gestattet.

„Würde“: Wir sind der Ansicht, dass alle Menschen gleich an Würde und Rechten sind. Deshalb erwarten wir, dass sie die Würde anderer achten und andere nicht belästigen oder erniedrigen.

III. Menschenrechtsstandards:

Die UN-Leitprinzipien für Wirtschaft und Menschenrechte (United Nations Guiding Principles on Business and Human Rights, UNGPs), die 2011 vom UN-Menschenrechtsrat verabschiedet wurden, geben einen freiwilligen Rahmen für die menschenrechtliche Verantwortung von Privatunternehmen vor. Im Jahr 2021 veröffentlichte Facebook seine Unternehmensrichtlinie zu Menschenrechten, in der das Unternehmen seine Verpflichtung zur Achtung der Menschenrechte gemäß den UN-Leitprinzipien bekräftigte. Das Gremium hat bei seiner Analyse der menschenrechtlichen Verantwortung von Meta in diesem Fall folgende Menschenrechtsstandards berücksichtigt:

• Freie Meinungsäußerung: Artikel 19 des Internationalen Pakts über bürgerliche und politische Rechte (International Covenant on Civil and Political Rights, ICCPR); Allgemeine Anmerkung Nr. 34 des Menschenrechtsausschusses (2011); Artikel 5 des internationalen Übereinkommens zur Beseitigung jeder Form von Rassendiskriminierung (International Convention on the Elimination of All Forms of Racial Discrimination, ICERD); Bericht des UN-Sonderberichterstatters für Hassrede, A/74/486 (2019); Bericht des UN-Sonderberichterstatters zur Moderation von Online-Inhalten, A/HRC/38/35 (2018).
• Gleichheit und Nichtdiskriminierung: Artikel 2, Absatz 1, und Artikel 26 (ICCPR); Artikel 2, ICERD; Allgemeine Empfehlung 35 des Ausschusses für die Beseitigung der Rassendiskriminierung (2013).
• Kulturelle Rechte: Artikel 27 ICCPR; Artikel 15, Internationaler Pakt über wirtschaftliche, soziale und kulturelle Rechte (ICESCR); Bericht des UN-Sonderberichterstatters für kulturelle Rechte zu künstlerischer Freiheit und Kreativität, A/HRC/23/34 (2013).
• Rechte der indigenen Völker: UN-Erklärung über die Rechte der indigenen Völker, Artikel 7, Absatz 2; Artikel 8, Absatz 1, und Artikel 19.

5. Stellungnahme des Nutzers

Der Nutzer gab in seinem Einspruch gegenüber dem Board an, dass sein Beitrag eine Präsentation eines traditionellen Kunstwerks sei, mit dem Geschichte dokumentiert wird, und dass der Beitrag keine Hassrede darstelle. Der Nutzer sagte außerdem, dass die Geschichte „needed to be seen“ (gesehen werden muss), und in Bezug auf die Entfernung des Beitrags durch Meta sagte er: „This is censorship.“ („Das ist Zensur.“)

6. Erläuterung der Entscheidung von Meta

Meta gab gegenüber dem Board an, dass der Satz „Kill the Indian“ („Töte den Indianer“) einen Angriff der Stufe 1 unter dem Facebook-Gemeinschaftsstandard zu Hassrede darstellt. Nach der besagten Richtlinie ist „gewaltverherrlichende Sprache“, die sich auf geschützte Merkmale wie die ethnische Zugehörigkeit von Menschen richtet, verboten. Meta räumte jedoch ein, dass die Entfernung des Inhalts ein Fehler war, da es gemäß der Richtlinie erlaubt ist, die Hassrede von anderen widerzugeben, um diese zu verurteilen oder darauf aufmerksam zu machen. Meta gab an, dass der Nutzer in seinem Beitrag darauf hingewiesen hat, dass es seine Absicht sei, auf die furchtbare Geschichte der Geschehnisse in Kamloops aufmerksam zu machen.

Meta gab auch an, dass der Satz „Kill the Indian/Save the Man“ (Töte den Indianer/Rette den Menschen) auf die erzwungene Assimilierung indigener Kinder zurückgeht. Indem er auf die Geschichte von Kamloops aufmerksam machte, machte er gleichzeitig auch auf das Thema erzwungene Assimilierung durch Internate aufmerksam. Auf eine Frage des Boards hin stellte Meta klar, dass ein Prüfer solcher Inhalte keine entsprechenden geschichtlichen Kenntnisse benötigt, um die Richtlinie durchsetzen zu können. Im Beitrag des Nutzers wurde angegeben, dass auf eine furchtbare Geschichte aufmerksam gemacht werden soll, und ein Prüfer sollte daher nach vernünftigem Ermessen zu dem Schluss kommen, dass die zitierte Hassrede eben diesem Ziel diente.

Meta gab gegenüber dem Board an, dass der Inhalt in diesem Fall von keinem Nutzer gemeldet worden war. Meta setzt Machine-Learning-Classifier ein, die darauf trainiert sind, potenzielle Verstöße gegen die Facebook-Gemeinschaftsstandards automatisch zu erkennen. In diesem Fall wurde der Beitrag von zwei Classifiern automatisch als mögliche Hassrede erkannt. Der erste Classifier, welcher den Inhalt analysierte, war nicht sehr sicher, dass der Beitrag gegen den Gemeinschaftsstandard verstieß. Der zweite Classifier erkannte jedoch auf Grundlage verschiedener kontextueller Signale, dass der Beitrag von sehr vielen Menschen geteilt und gesehen werden könnte. Angesichts der potenziellen Gefährdung, die aus einer starken Verbreitung von Hassrede hervorgehen kann, wurde der Betrag von Metas System automatisch an den manuellen Review weitergeleitet.

Meta stellte auf die Fragen des Boards hin klar, dass ein Mitarbeiter in der Region Asien-Pazifik zu dem Schluss kam, dass der Beitrag Hassrede darstellte, und ihn von der Plattform entfernte. Der Nutzer legte Einspruch ein, und ein zweiter Mitarbeiter, ebenfalls in der Region Asien-Pazifik, überprüfte den Inhalt erneut. Auch er kam zu dem Schluss, dass es sich um Hassrede handelte. Meta bestätigte gegenüber dem Board, dass Moderatoren keine Gründe für ihre einzelnen Entscheidungen zu Inhalten festhalten.

7.Einreichungen Dritter

Das Oversight Board berücksichtigte acht öffentliche Kommentare zu diesem Fall: vier aus den USA und aus Kanada, zwei aus Europa, einen aus Subsahara-Afrika und einen aus Asien-Pazifik und Ozeanien. In diesen Einreichungen ging es um Themen wie die Bedeutung des Zitats, das die Grundlage des Kunstwerks des Nutzers war, den Kontext der Internate in Nordamerika und darum, wie sich die Inhaltsmoderation von Meta auf die künstlerische Freiheit und das Recht auf freie Meinungsäußerung von Menschen mit indigener Identität und Herkunft auswirken.

Die öffentlichen Kommentare, die zu diesem Fall eingereicht wurden, können hier eingesehen werden.

8.Analyse des Oversight Boards

Das Board beschäftigte sich aus drei verschiedenen Blickwinkeln mit der Frage, ob dieser Inhalt wiederhergestellt werden sollte: aus dem Blickwinkel der Facebook-Gemeinschaftsstandards, der Werte Metas und der menschenrechtlichen Verantwortung von Meta.

8.1 Einhaltung der Gemeinschaftsstandards

Meta stimmte zu, dass seine ursprüngliche Entscheidung, den Inhalt zu entfernen, den Facebook-Gemeinschaftsstandards entgegenstand, und dass es sich um einen „Fehler bei der Durchsetzung“ handelte. Das Board stellt fest, dass es sich beim Inhalt in diesem Fall ganz offensichtlich nicht um Hassrede handelt. Beim Inhalt handelt es sich vielmehr um ein deutliches Beispiel für „Gegenrede“, mit der auf Hassrede verwiesen bzw. bei der sich der Nutzer Hassrede aneignete, um auf den Kampf gegen Unterdrückung und Diskriminierung aufmerksam zu machen.

Der Gemeinschaftsstandard zu Hassrede gestattet ausdrücklich „Inhalte, die Hassreden anderer enthalten, um diese zu verurteilen oder dafür zu sensibilisieren“. Dennoch stuften zwei verschiedene Moderatoren den Beitrag als Hassrede ein. Meta konnte keine konkreten Gründe dafür nennen, warum es gleich zwei Mal zu diesem konkreten Fehler gekommen ist.

In einem vergangenen Fall zu einem Nazi-Zitat (2020-005-FB-UA) wies das Board darauf hin, dass der Kontext, in dem ein Zitat verwendet wird, sehr wichtig für dessen Auslegung ist. In diesem Fall gaben der Inhalt und die Bedeutung des Zitats, der Zeitpunkt des Beitrags und das Land, in dem er veröffentlicht wurde, sowie der Grundton der Reaktionen und Kommentare auf den Beitrag klare Hinweise dafür, dass der Nutzer nicht beabsichtigte, die relevante feindselige Person zu verherrlichen.

Das Board stellt fest, dass ein ausdrücklicher Hinweis des Nutzers, dass er auf etwas aufmerksam machen wollte, nicht erforderlich war, damit die Absicht und die Bedeutung des Beitrags klar wurden. Das abgebildete Kunstwerk erzählt die Geschichte von den Geschehnissen in Kamloops, und der begleitende Text verdeutlicht die Bedeutung dieser Geschichte. Zwar könnten die Worte „Kill the Indian“ („Töte den Indianer“) für sich allein Hassrede darstellen, doch bei einer Betrachtung des Inhalts als Ganzes wird klar, dass dieser Satz dazu verwendet wird, um auf Hass und Diskriminierung aufmerksam zu machen und diese Dinge zu verurteilen. Im Inhalt wurden Anführungszeichen verwendet, um den hasserfüllten Satz von der Überschrift abzugrenzen. Dieser lautete vollständig: „Kill the Indian/Save the Man“ („Töte den Indianer/Rette den Menschen“). Dies hätte einem Prüfer Anlass geben sollen, inne zu halten und genauer hinzusehen. Die Art und Weise, wie der Nutzer die Geschichte von Kamloops schilderte und die kulturelle Bedeutung des Wampumgürtels erläuterte, machte es deutlich erkennbar, dass er sich mit den Opfern von Diskriminierung und Gewalt, und nicht den Tätern identifizierte. Mit seiner Darstellung werden die zu Tage getretenen Ereignisse in Kamloops verurteilt. Aus den Kommentaren und Reaktionen auf den Beitrag wurde deutlich, dass das Publikum des Nutzers dessen Absicht, zu verurteilen und aufmerksam zu machen, verstanden hatte.

Das Board weist darauf hin, dass Moderatoren in den internen „Bekannten Fragen“ von Facebook, die Teil der Anweisungen an Moderatoren sind, dazu angeleitet werden, im Zweifel Inhalte zu entfernen, die Hassrede enthalten, bei denen die Absicht des Nutzers jedoch nicht klar ist. In den „Bekannten Fragen“wird außerdem darauf hingewiesen, dass eine klare Absichtserklärung nicht immer ausreicht, um die Bedeutung eines Beitrags, der Hassrede darstellt, zu ändern. Diese internen Anweisungen enthalten nur wenig Anleitung dazu, wie Moderatoren korrekt zwischen unzulässiger Hassrede und Gegenrede, in der Hassrede zum Zwecke des Verurteilens oder Aufmerksammachens zitiert wird, unterscheiden können. Soweit dem Board bekannt ist, gibt es keine Anweisungen dazu, wie in künstlerischen Inhalten, die Hassrede zitieren oder nutzen, oder in Inhalten, in denen Menschenrechtsverstöße thematisiert werden und die unter Richtlinienausnahmen fallen, Belege für die jeweils verfolgte Absicht gefunden werden können.

8.2 Einhaltung der Werte von Meta

Das Board vertritt die Auffassung, dass die ursprüngliche Entscheidung zur Entfernung dieses Inhalts den Werten „Mitsprache“ und „Würde“ von Meta entgegenstand und auch nicht im Sinne des Werts „Sicherheit“ war. Die Entscheidung entspricht zwar den Werten Metas, die Verbreitung von Hassrede auf seinen Plattformen zu begrenzen, das Board findet es jedoch bedenklich, dass die Moderationsprozesse nicht dazu geeignet scheinen, die Fähigkeit der von Ausgrenzung oder Diskriminierung betroffenen Menschen, sich mithilfe von Gegenrede auszudrücken, korrekt zu erkennen und zu schützen.

Meta hat eine Erklärung zu seiner Unterstützung von Gegenrede abgegeben:

Als Gemeinschaft, als soziale Plattform und als Sammelpunkt für gemeinsame menschliche Erfahrungen unterstützt Facebook Initiativen zur kritischen Gegenrede. Dazu setzt Facebook starke Inhaltsrichtlinien durch und arbeitet mit lokalen Gemeinden, Gesetzgebern und um Veränderungen bemühten Unterstützern zusammen, um auf der ganzen Welt Initiativen der Gegenrede auf den Weg zu bringen.

Nach Aussage Metas ist „Mitsprache“ der wichtigste Wert des Unternehmens. Kunst, mit der vergangene Gräueltaten beleuchtet und Menschen über deren nachhaltigen Auswirkungen aufmerksam gemacht werden sollen, gehört zu den wichtigsten und wirkungsvollsten Formen des Ausdrucks des Werts „Mitsprache“, insbesondere für marginalisierte Gruppen, die ihre eigene Kultur zum Ausdruck bringen und ihrer Geschichte Gehör verschaffen möchten. Gegenrede ist nicht nur ein Ausdruck von „Mitsprache“, sondern für Opfer von Hassrede auch ein wichtiges Mittel, um ihre Würde zu schützen und sich gegen Unterdrückung, Diskriminierung und Herabsetzung zur Wehr zu setzen. Meta hat sicherzustellen, dass seine Inhaltsrichtlinien und Moderationspraktiken diese Form des Ausdrucks berücksichtigen und schützen.

Wird ein Nutzer, der auf massenhafte Gräueltaten aufmerksam machen möchte, darauf hingewiesen, dass sein Beitrag Hassrede darstellt und daher unterdrückt wird, kommt dies einem Angriff auf seine Würde gleich. Diese Anschuldigung, umso mehr, wenn sie auch nach einem Einspruch durch Meta bestätigt wird, kann zu Selbstzensur führen.

8.3. Erfüllung der menschenrechtlichen Verantwortung von Meta

Das Board kommt zu dem Schluss, dass die Entfernung dieses Beitrags nicht mit der menschenrechtlichen Verantwortung von Meta als Unternehmen in Einklang stand. Meta hat sich zur Wahrung der Menschenrechte gemäß der UN-Leitprinzipien für Wirtschaft und Menschenrechte (UNGPs) verpflichtet. Seine Unternehmensrichtlinie zu Menschenrechten besagt, dass dies auch den Internationalen Pakt über bürgerliche und politische Rechte (ICCPR) umfasst.

Es handelt sich hier für das Board um den ersten Fall zu künstlerischer Meinungsäußerung und auch um den ersten Fall zu Meinungsäußerung, in dem sich der betroffene Nutzer als indigene Person identifiziert. Er ist einer von mehreren vom Board ausgewählten Fällen, in denen der Nutzer das Ziel verfolgte, auf schwerwiegende Menschenrechtsverstöße aufmerksam zu machen.

Meinungsfreiheit (Artikel 19 ICCPR)

Bei den internationalen Menschenrechtsstandard wird der Wert der politischen Meinungsäußerung besonders betont. (Menschenrechtsausschuss, Allgemeine Anmerkung Nr. 34, Absatz 38.) Der Umfang des Schutzes dieses Rechts wird in Artikel 19, Absatz 2 des ICCPR dargelegt. Dort wird die Meinungsäußerung „in Form von Kunst“ ausdrücklich erwähnt. Doch das internationale Übereinkommen zur Beseitigung jeder Form von Rassendiskriminierung (International Convention on the Elimination of All Forms of Racial Discrimination, ICERD) schützt auch vor Diskriminierung bei der Ausübung des Rechts auf Meinungsfreiheit (Artikel 5), und der mit der Überwachung der Einhaltung dieser Anforderungen durch die Staaten beauftragte Ausschuss hat die Wichtigkeit des Rechts betont, „gefährdete Gruppen beim Ausgleich der Kräfteverhältnisse unter den Bestandteilen der Gesellschaft zu unterstützen“ und in Diskussionen „alternative Meinungen und Gegenstimmen“ anzubieten (CERD-Ausschuss, Allgemeine Empfehlung Nr. 35, Absatz 29).

Kunst hat oft politischen Charakter, und in internationalen Standards wird der einzigartigen und wirkungsstarken Rolle dieser Kommunikationsform Rechnung getragen, wenn es um das Hinterfragen des Status Quo geht. (UN-Sonderberichterstatter für kulturelle Rechte, A/HRC/23/34, Absätze 3–4.) Das Internet und soziale Plattformen, insbesondere Facebook und Instagram, sind für Künstler von besonderem Wert, da sie ihnen ermöglichen, neue und größere Zielgruppen zu erreichen. Ihr Lebensunterhalt kann vom Zugang zu den das Internet dominierenden sozialen Plattformen abhängen.

Das Recht auf freie Meinungsäußerung ist allen Menschen garantiert; sie dürfen dabei nicht diskriminiert werden (Artikel 19, Absatz 2, ICCPR). Das Board hat Einreichungen dazu erhalten, dass die Rechte von indigenen Menschen auf eine freie, vorherige und informierte Einwilligung, wenn Staaten legislative oder administrative Maßnahmen ergreifen, die solche Personengruppen betreffen, für Meta die Verantwortung nach sich ziehen, mit diesen Personengruppen zu kommunizieren, wenn das Unternehmen seine Inhaltsrichtlinien entwickelt (Öffentlicher Kommentar 10240, Minority Rights Group; siehe auch UN-Erklärung über die Rechte der indigenen Völker, Artikel 19). Der UN-Sonderberichterstatter für Meinungsfreiheit und freie Meinungsäußerung hat im Kontext der Verantwortlichkeiten von Social-Media-Plattformen ähnliche Bedenken geäußert (A/HRC/38/35, Absatz 54).

Der Inhalt in diesem Fall steht noch mit einer Reihe anderer Rechte in Zusammenhang, insbesondere den Rechten von einer nationalen, ethnischen oder sprachlichen Minderheit angehörigen Personen, gemeinsam mit anderen Angehörigen ihrer Gruppe ihre eigene Kultur zu pflegen (Artikel 27, ICCPR), sowie dem Recht zur Teilhabe am kulturellen Leben und zur Pflege der Kunst (Artikel 15, ICESCR). Die Kunst der Herstellung eines Wampumgürtels, mit dem Gräueltaten gegen die Menschenrechte und deren fortdauernden Nachwirkungen festgehalten und bekannt gemacht werden sollten, genießt Schutz unter der UN-Erklärung zu den Menschenrechtsverteidigern, Artikel 6 (c), sowie dem Recht auf Wahrheit über Gräueltaten (UN-Grundsätze zur Bekämpfung von Straflosigkeit). Die UN-Erklärung über die Rechte der indigenen Völker erkennt ausdrücklich an, dass die gewaltsame Wegnahme von Kindern einen Akt der Gewalt und des Völkermords darstellen kann (Artikel 7, Absatz 2), und sieht einen besonderen Schutz vor gewaltsamer Assimilierung und kultureller Zerstörung vor (Artikel 8, Absatz 1).

Artikel 19 der ICCPR sieht vor, dass in Fällen, in denen Regierungen das Recht auf freie Meinungsäußerung einschränken, die Anforderungen der Gesetzmäßigkeit, des rechtmäßigen Ziels und der Notwendigkeit und Verhältnismäßigkeit erfüllt werden (Artikel 19, Absatz 3 ICCPR). Der UN-Sonderberichterstatter für freie Meinungsäußerung hat Social-Media-Unternehmen dazu aufgerufen, sich bei der Moderation von Online-Meinungsäußerungen an diesen Leitlinien zu orientieren, und verwies dabei auf die Möglichkeit, dass eine im großen Maßstab erfolgende Regulierung von Meinungsäußerungen durch Privatunternehmen in diesem Zusammenhang zu Problemen führen könnte (A/HRC/38/35, Absatz 45 und 70) vorgesehen sind. Das Board hat bei allen seinen bisherigen Entscheidung den auf Artikel 19 der ICCPR beruhenden dreiteiligen Test angewandt.

I. Gesetzmäßigkeit (Klarheit und Zugänglichkeit der Regeln)

Der Gemeinschaftsstandard zu Hassrede lässt ausdrücklich Inhalte zu, die Hassrede verurteilen oder darauf aufmerksam machen. Dieser Teil der Richtlinie ist hinreichend klar und zugänglich, sodass Nutzer die Regel verstehen und entsprechend handeln können (Allgemeine Anmerkung Nr. 34, Absatz 25). Der Standard der Gesetzmäßigkeit gebietet auch, dass die Regeln zur Einschränkung der freien Meinungsäußerung „den mit ihrer Durchführung Beauftragten ausreichend Anleitung dafür bieten müssen, dass sie herausfinden können, welche Arten ordnungsgemäß eingeschränkt werden und welche nicht“ (ebd.). Die Tatsache, dass zwei Moderatoren dabei gescheitert sind, die Richtlinie korrekt auf den betreffenden Inhalt anzuwenden, weist darauf hin, dass möglicherweise Bedarf nach weiteren internen Anweisungen für Moderatoren besteht.

II. Legitimes Ziel

Jede staatliche Einschränkung der freien Meinungsäußerung muss eines der in Artikel 19, Abs. 3 des ICCPR aufgeführten legitimen Ziele verfolgen. In seinen Einreichungen an das Board hat Meta routinemäßig auf Ziele aus dieser Liste verwiesen, wenn es Maßnahmen zur Unterdrückung der freien Meinungsäußerung begründen wollte. Das Board hat bereits in der Vergangenheit anerkannt, dass mit dem Facebook-Gemeinschaftsstandard zu Hassrede das legitime Ziel verfolgt wird, die Rechte anderer zu schützen. Diese Rechte umfassen die Rechte auf Gleichberechtigung und Nichtdiskriminierung, freie Meinungsäußerung und körperliche Unversehrtheit.

III. Notwendigkeit und Verhältnismäßigkeit

Der offenkundige Fehler in diesem Fall bedeutet, dass die Entfernung nicht erforderlich war, was Meta auch akzeptiert hat. Das Board sieht die Gefahr, dass ein solcher eindeutiger Fehler auf tieferliegende Probleme hinweisen könnte, was die Verhältnismäßigkeit in den automatisierten und manuellen Verfahren von Meta betrifft. Einschränkungen der Meinungsfreiheit sollten dazu geeignet sein, ihre Schutzfunktion zu erfüllen, und sollten die am wenigsten einschneidenden Instrumente unter denjenigen sein, die ihre Schutzfunktion erfüllen können (Allgemeine Anmerkung Nr. 34, Abs. 34). Ob das Moderationssystem von Meta die Anforderungen der Notwendigkeit und Verhältnismäßigkeit erfüllt, hängt zu einem großen Teil davon ab, wie effektiv dieses dabei ist, tatsächliche Hassrede zu entfernen und die Zahl der irrtümlichen Erkennungen und Entfernungen möglichst gering zu halten.

Jeder Beitrag, der fälschlicherweise entfernt wird, schadet dem Recht auf freie Meinungsäußerung. Das Board ist sich der Tatsache bewusst, dass Fehler unvermeidbar sind, sowohl für Menschen als auch Maschinen. Hassrede und Reaktionen darauf sind immer kontextspezifisch, und die Grenzen sind nicht immer klar erkennbar. Allerdings zeigen die Arten der Fehler und die Menschen oder Personengruppen, die die Last dieser Fehler tragen müssen, auf, welche Entscheidungen bei der Gestaltung konstant bewertet und überprüft werden müssen. Dies erfordert eine weitergehende Untersuchung der Ursachen des in diesem Fall gemachten Fehlers sowie eine breiter gefasste Auswertung der Effektivität der Moderation von Gegenrede.

Angesichts der Bedeutung von kritischer Kunst indigener Künstler für den Widerstand gegen Hass und Unterdrückung erwartet das Board, dass Meta besondere Sensibilität zeigt, was die Gefahr der irrtümlichen Entfernung des Inhalts in diesem Fall sowie vergleichbarer Inhalte auf Facebook und Instagram angeht. Es reicht nicht aus, die Effektivität der Durchsetzung der Facebook-Richtlinie zu Hassrede insgesamt auszuwerten. Ein System, das durchschnittlich gut funktioniert, funktioniert möglicherweise schlecht in Inhaltsunterkategorien, in denen Fehlentscheidungen besonders ausgeprägte Auswirkungen auf die Menschenrechte haben. Es ist möglich, dass die in diesem Fall aufgetretenen Fehler selten sind; allerdings weist das Board darauf hin, dass Angehörige marginalisierter Gruppen bereits seit mehreren Jahren Bedenken bezüglich der Häufigkeit und der Auswirkungen von falsch-positiven Entfernungen äußern. Die Fehler in diesem Fall zeigen, dass Meta die Aufgabe hat, zu demonstrieren, dass es die gebührende Sorgfalt in Bezug auf Menschenrechte walten gelassen hat, um sicherzustellen, dass seine Systeme fair sind und nicht zur Verschlimmerung von historischer und gegenwärtiger Unterdrückung beitragen (UNGPs, Leitprinzip 17).

Meta führt regelmäßige Bewertungen der Genauigkeit seiner Durchsetzungssysteme beim Umgang mit Hassrede durch. Diese Bewertung wird nicht in Genauigkeitsprüfungen aufgeschlüsselt, mit denen konkret die Fähigkeit Metas gemessen wird, Hassrede von zulässigen Inhalten zu unterscheiden, mit denen Hassrede verurteilt oder auf Hassrede aufmerksam gemacht wird.

Die bestehenden Verfahren von Meta umfassen auch Ad-hoc-Mechanismen zur Erkennung von Fehlertrends und deren Ursachen. Hierfür sind allerdings umfangreiche Beispiele für Inhalte erforderlich, an denen die Systemleistung gemessen werden kann. Das Board hat Meta gefragt, ob es die Leistung seiner Prüfsysteme bei der korrekten Bewertung von Gegenrede, die künstlerische Freiheit darstellt und mit der auf Menschenrechtsverstöße aufmerksam gemacht wird, bewertet hat. Meta gab gegenüber dem Board an, dass es keine konkreten Nachforschungen zu den Auswirkungen von falsch-positiven Entfernungen von Meinungsäußerungen in künstlerischer Form oder Meinungsäußerungen von Menschen mit indigener Identität oder Abstammung durchgeführt hat.

Meta hat das Board darüber informiert, dass es bei solchen Bewertungen gewisse Hürden gibt. Beispielsweise fehlt es an einem System zur automatisierten Sammlung von Beispielinhalten, die unter die Richtlinienausnahme fallen. Prüfer kennzeichnen Inhalte als unzulässig oder zulässig und sind nicht verpflichtet, anzugeben, ob die jeweiligen zulässigen Inhalte unter eine Richtlinienausnahme fallen. Beispiele für Gegenrede, auf die eine Ausnahme zutrifft, müssten manuell zusammengetragen werden.

Das Board war zwar während einer vom Board gewünschten Fragen & Antworten-Sitzung erfreut über die detaillierten Angaben Metas darüber, wie es Leistungsbewertungen vornimmt, doch es liegt auf der Hand, dass bei der Bewertung der Durchsetzungsgenauigkeit in Hinblick auf Ausnahmen von der Richtlinie zu Hassrede mehr Anstrengungen unternommen werden müssen, und dass Erkenntnisse aus Fehlertrends gezogen werden müssen. Ohne zusätzliche Informationen zu den Gestaltungsentscheidungen Metas und zur Leistung seiner manuellen und automatisierten Systeme können weder das Board noch Meta die Verhältnismäßigkeit des aktuellen Vorgehens Metas im Bereich Hassrede angemessen bewerten.

Wenn bewertet werden soll, ob es notwendig und verhältnismäßig ist, wie in diesem Fall bestimmte Machine-Learning-Tools einzusetzen, um potenzielle Hassrede automatisiert zu erkennen, ist es unerlässlich, dass die Genauigkeit dieser Tools bekannt ist. Bei Machine-Learning-Classifiern muss immer ein Kompromiss bei der Quote an falsch-positiven und falsch-negativen Ergebnissen hingenommen werden. Je sensibler ein Classifier ist, umso wahrscheinlicher ist es, dass er Fälle von Hassrede korrekt erkennt. Es wird dann allerdings ebenfalls wahrscheinlicher, dass er Material, das keine Hassrede darstellt, fälschlicherweise kennzeichnet. Unterschiedlich trainierte Classifier und unterschiedliche Modelle variieren in ihrer Nützlichkeit und Effektivität für unterschiedliche Aufgaben. Für jedes beliebige Modell können unterschiedliche Schwellenwerte eingesetzt werden, die eine Einschätzung zur relativen Wichtigkeit der Vermeidung unterschiedlicher Arten von Fehlern liefern. Die Wahrscheinlichkeit und der Schweregrad von Fehlern sollten berücksichtigt werden, wenn über die Nutzung eines Classifiers entschieden wird, etwa wenn die Frage beantwortet werden soll, ob ein Classifier unmittelbar eingreifen kann oder ob zunächst eine manuelle Genehmigung erforderlich ist, und welche Schutzvorkehrungen getroffen werden müssen.

Meta hat erklärt, dass der betreffende Beitrag in diesem Fall von seinen automatisierten Systeme an die manuelle Prüfung weitergeleitet wurde, weil er wahrscheinlich ein breites Publikum finden würde. Dieser Ansatz kann zwar die Verbreitung schädlichen Materials eindämmen, er steigert jedoch wahrscheinlich auch das Risiko, dass aufmerksamkeiterregende Kunst, die Gegenrede darstellt, fälschlicherweise entfernt wird. Meta hat gegenüber dem Board angegeben, dass es die Quote falsch-positiver Ergebnisse regelmäßig anhand einer Gruppe von durch Prüfexperten getroffenen Entscheidungen auswertet. Meta erklärte auch, dass es möglich ist, die Genauigkeit der für diesen Fall relevanten Machine-Learning-Modelle zu bewerten, und dass es Informationen zu den Voraussagen seiner Classifier mindestens 90 Tage lang aufbewahrt. Das Board hat Informationen angefragt, die eine Bewertung unsererseits der Leistung des Classifiers und der Angemessenheit der von Meta in diesem Fall angewandten Schwellenwerte zulassen. Laut Antwort von Meta können diese gewünschten Informationen nicht vorgelegt werden, da nicht ausreichend Zeit für deren Vorbereitung zur Verfügung stand. Meta gab jedoch an, dass es die Machbarkeit der Bereitstellung dieser Informationen in zukünftigen Fällen prüft.

Der manuelle Review kann in Zusammenhang mit Metas Einsatz von Classifiern zwei wichtige Absicherungen leisten: zunächst vor der Entfernung eines Beitrags und dann erneut im Falle eines Einspruchs. Die Fehler in diesem Fall deuten darauf hin, dass die Anweisungen Metas an Moderatoren, die Gegenrede prüfen, möglicherweise unzureichend sind. Es gibt viele mögliche Gründe, die in diesem Fall dazu beigetragen haben könnten, dass Moderatoren beim manuellen Review gleich zwei Mal eine falsche Entscheidung getroffen haben. Das Board hat die Sorge, dass Prüfern möglicherweise nicht ausreichende Ressourcen wie Zeit oder Schulung bereitgestellt werden, um Fehler wie den hier beobachteten zu vermeiden, insbesondere was Inhalte angeht, die aufgrund von Richtlinienausnahmen zulässig sind (z. B., wenn mit ihnen Hassrede verurteilt oder auf Hassrede aufmerksam gemacht werden soll).

In diesem Fall waren beide Prüfer von der Region Asien-Pazifik aus tätig. Meta konnte dem Board gegenüber keine Angaben dazu machen, ob die Genauigkeitsquoten von Prüfern bei Moderatoren, die potenzielle Hassrede bewerten, unterschiedlich ausfallen, je nachdem, ob sie in der Region tätig sind, aus der die jeweils betroffenen Inhalte stammen. Das Board ist sich bewusst, dass die Bewertung von Hassrede eine komplexe Aufgabe ist, und dass es schwer ist, jeweils den lokalen Kontext und die lokale Geschichte nachzuvollziehen. Das gilt umso mehr angesichts der Menge an Inhalten, die von den Moderatoren tagtäglich zu prüfen sind. Es ist möglich, dass die Moderatoren, die den Inhalt im vorliegenden Fall prüften, eher wenig Wissen über die Unterdrückung von indigenen Menschen in Nordamerika haben. Anweisungen für Moderatoren sollten klare Hinweise dazu enthalten, wie Inhalte in ihrer Ganzheit zu bewerten sind, sodass Moderatoren besser dabei unterstützt werden, den Kontext eines Inhalts zu betrachten, um Nachweise zu Absicht und Bedeutung finden zu können.

Das Board hat Meta in seiner Entscheidung zum „Two buttons“-Meme (2021-005-FB-UA) empfohlen, es Nutzern zu ermöglichen, in Einsprüchen darauf hinzuweisen, dass ihre Inhalte unter eine der Ausnahmen vom Facebook-Gemeinschaftsstandard zu Hassrede fallen. Gegenwärtig ist es so, dass wenn ein Nutzer Einspruch gegen eine Entscheidung Metas einlegt und dieser an den manuellen Review weitergeleitet wird, der Prüfer nicht darüber informiert wird, dass der Nutzer bereits gegen eine vorherige Entscheidung Einspruch eingelegt hat, und dass der Prüfer das Ergebnis des ersten Reviews nicht kennt. Meta hat gegenüber dem Board erklärt, dass diese Information seiner Meinung nach den zweiten Review beeinflusst. Das Board würde allerdings gerne wissen, ob diese Information nicht hingegen die Wahrscheinlichkeit erhöhen könnte, dass eine nuanciertere Entscheidungsfindung stattfindet. Diese Frage könnte von Meta durch empirische Tests untersucht werden, und die Ergebnisse dieser Tests wären bei der Bewertung der Verhältnismäßigkeit der spezifischen von Meta ergriffenen Maßnahmen hilfreich.

Gemäß den UNGPs ist Meta verpflichtet, die Menschenrechte zu achten (Leitprinzip 17). Dies sollte auch die Pflicht umfassen, jegliche nachteiligen Auswirkungen der Inhaltsmoderation bei künstlerischer und politischer Meinungsäußerung durch indigene Menschen bei der Gegenrede zu Diskriminierung zu identifizieren. Meta sollte ferner Angaben dazu machen, wie es solche nachteiligen Auswirkungen in Zukunft vermeiden und eindämmen und Rechenschaft über seine entsprechenden Bemühungen ablegen wird. Das Board beabsichtigt, die diesbezüglichen Maßnahmen von Meta zu beobachten, und erwartet, dass das Unternehmen Risiken für marginalisierte Gruppen priorisiert und Nachweise zu kontinuierlichen Verbesserungen vorlegt.

9.Entscheidung des Oversight Boards

Das Oversight Board hebt die ursprüngliche Entscheidung von Meta auf, den Inhalt zu entfernen.

10. Stellungnahme zu den Richtlinien

Durchsetzung

1. Nutzer sollten zeitnah präzise Benachrichtigungen zu den Maßnahmen erhalten, die das Unternehmen bezüglich ihrer vom Einspruch betroffenen Inhalte ergreift. Gegebenenfalls, und insbesondere bei Durchsetzungsfehlern wie im vorliegenden Fall, sollte dem Nutzer in der Benachrichtigung erklärt werden, dass die Maßnahme im Zuge einer Überprüfung durch das Oversight Board erfolgte. Meta sollte zeigen, wie es Nutzer benachrichtigt, wenn sich die Maßnahmen des Boards auf Inhaltsentscheidungen auswirkt, gegen die Nutzer Einspruch eingelegt hatten, um nachzuweisen, dass es dieser Empfehlung nachgekommen ist. Diese Maßnahmen sollten bei allen Fällen durchgeführt werden, die während der Qualifikationsphase des Verfahrens des Boards korrigiert werden.

2. Meta sollte die Auswirkungen der geänderten Vorgehensweise bei Zweit-Reviews auf Prüfgenauigkeit und -durchsatz auswerten. Insbesondere fordert das Board eine Auswertung der Auswirkungen auf Genauigkeitsquoten, wenn Inhaltsmoderatoren darüber informiert werden, dass sie als Zweitprüfer herangezogen werden, d. h., wenn sie wissen, dass gegen die ursprüngliche Entscheidung Einspruch eingelegt wurde. Bei diesem Experiment sollten Nutzer idealerweise die Möglichkeit erhalten, bei ihrem Einspruch relevanten Kontext anzugeben, der Prüfer bei der Bewertung betroffener Inhalte ggf. unterstützt. Dies entspricht früheren Empfehlungen des Boards. Meta sollte dem Board die Ergebnisse dieser Genauigkeitsbewertungen vorlegen und in seinen vierteljährlichen Transparenzberichten Zusammenfassungen dieser Ergebnisse veröffentlichen, um aufzuzeigen, dass es dieser Empfehlung nachgekommen ist.

3. Es sollte eine Bewertung der Genauigkeit von Überprüfungen mit Schwerpunkt auf Ausnahmen von der Richtlinie zur Vermeidung von Hassrede durchgeführt werden. Gegenstand dieser Untersuchung sollten künstlerische Freiheit und Hinweise auf Menschenrechtsverstöße (Verurteilung solcher Verstöße, das Aufmerksammachen auf diese, selbstreferenzielle Nutzung, befähigende Nutzung) sein. Bei dieser Bewertung sollte auch speziell untersucht werden, wie sich der Standort eines Prüfers (Moderators) auf dessen Fähigkeit auswirkt, Hassrede und Gegenrede aus denselben oder anderen Regionen korrekt einzuordnen. Das Board ist sich dessen bewusst, dass eine solche Analyse wahrscheinlich die Entwicklung geeigneter und korrekt gekennzeichneter Beispiele für relevante Inhalte erfordert. Meta sollte dem Board die Ergebnisse dieser Bewertung vorlegen. Unter anderem sollte Meta erklären, wie die Durchsetzung und die Erarbeitung von Richtlinien anhand dieser Ergebnisse verbessert werden wird und ob das Unternehmen plant, regelmäßige Bewertungen zur Genauigkeit von Überprüfungen in Bezug auf solche Ausnahmen durchzuführen. Außerdem sollte Meta in seinen vierteljährlichen Transparenzberichten Zusammenfassungen der Ergebnisse dieser Bewertungen veröffentlichen, um aufzuzeigen, dass es dieser Empfehlung nachgekommen ist.

* Anmerkung zur Vorgehensweise:

Die Entscheidungen des Oversight Boards werden von einem Panel aus fünf Mitgliedern vorbereitet und von einer Mehrheit des Boards bestätigt. Entscheidungen des Gremiums geben nicht zwangsläufig die persönliche Meinung aller Mitglieder wieder.

Für diese Fallentscheidung wurde eine unabhängige Studie vom Gremium in Auftrag gegeben. Ein unabhängiges Forschungsinstitut mit Sitz an der Universität Göteborg und ein Team aus über 50 Sozialwissenschaftlern auf sechs Kontinenten sowie mehr als 3.200 Länderexperten aus der ganzen Welt sowie Duco Advisers, eine Beratungsfirma mit Schwerpunkt auf die Schnittstelle zwischen Geopolitik, Vertrauen, Sicherheit und Technologie, stellten ihr Expertenwissen zum soziopolitischen und kulturellen Kontext zur Verfügung.

العودة إلى قرارات الحالة والآراء الاستشارية المتعلقة بالسياسة