Cinturón de Wampum

Resumen del caso

Nota: El 28 de octubre de 2021, Facebook anunció que cambiaba el nombre de la empresa a Meta. En este texto, “Meta” hace referencia a la empresa, y “Facebook” continúa haciendo referencia al producto y a las políticas de la aplicación específica.

El Consejo asesor de contenido ha revocado la decisión original de Meta de borrar una publicación de Facebook de una artista indígena norteamericana que se había eliminado conforme a la norma comunitaria sobre lenguaje que incita al odio de Facebook. El Consejo determinó que el contenido está amparado por las concesiones a la política sobre lenguaje que incita al odio, ya que su finalidad es concienciar acerca de los crímenes históricos cometidos contra los pueblos indígenas en Norteamérica.

Información sobre el caso

En agosto de 2021, un usuario de Facebook publicó una foto de un cinturón de abalorios, con una descripción en inglés. Los cinturones de abalorios son una forma de expresión artística de los pueblos indígenas de Norteamérica que consiste en engarzar conchas para formar imágenes. Se usan para registrar historias y acuerdos. Este cinturón incluía una serie de representaciones que, según el usuario, se inspiraron en “the Kamloops story” (la historia de Kamloops), una referencia al descubrimiento de tumbas sin nombre en mayo de 2021 en las inmediaciones de lo que había sido una escuela residencial para niños de pueblos indígenas en la provincia canadiense de la Columbia Británica.

En el texto de la descripción, se indicaba el título de la obra artística, “Kill the Indian / Save the Man” (Matad al indio/salvad al hombre), y se identificaba al usuario como su creador. El usuario describía la serie de imágenes representadas en el cinturón: “Theft of the Innocent, Evil Posing as Saviours, Residential School / Concentration Camp, Waiting for Discovery, Bring Our Children Home” (El robo de los inocentes, el mal haciéndose pasar por salvador, escuela residencial/campo de concentración, esperando el descubrimiento, traed a nuestros niños a casa). En la publicación, el usuario describía el significado de su obra, así como la historia de los cinturones de abalorios y su finalidad educativa. También afirmaba que no había sido fácil crear el cinturón y que contar la historia de lo que sucedió en Kamloops había supuesto una experiencia muy emotiva. Se disculpó por cualquier dolor que su obra pudiera causar a los supervivientes de Kamloops e indicó que su “sole purpose is to bring awareness to this horrific story” (único propósito es concienciar sobre esta terrible historia).

El día después de su publicación, los sistemas automáticos de Meta identificaron el contenido como potencialmente infractor de la norma comunitaria sobre lenguaje que incita al odio de Facebook. Un revisor evaluó el contenido, lo consideró infractor y lo eliminó ese mismo día. El usuario apeló esta decisión ante Meta y solicitó una segunda revisión manual, en la que también se calificó el contenido como infractor. En el momento de la eliminación, el contenido tenía más de 4000 visualizaciones y se había compartido más de 50 veces. Ningún usuario había denunciado el contenido.

Como consecuencia de que el Consejo seleccionara este caso, Meta identificó su eliminación como un “error del sistema de cumplimiento de normas” y restauró el contenido el 27 de agosto. Sin embargo, Meta no informó al usuario de la restauración hasta el 30 de septiembre, dos días después de que el Consejo pidiera a Meta el contenido del mensaje que debería haber enviado al usuario. Meta explicó que el retraso en el envío del mensaje fue consecuencia de un error humano.

Conclusiones principales

Meta está de acuerdo en que su decisión original de eliminar este contenido incumplía las Normas comunitarias de Facebook y que fue un “error del sistema de cumplimiento de normas”. El Consejo considera que este contenido es un claro ejemplo de “respuesta a contenido ofensivo”, donde se hace referencia a lenguaje que incita al odio con el fin de resistir la opresión y la discriminación.

En la introducción de la política sobre lenguaje que incita al odio de Facebook, se explica que se permiten respuestas a contenido ofensivo siempre y cuando se indique con claridad la intención del usuario. Si se examina el contenido de la publicación, es evidente que no se trata de lenguaje que incita al odio. En la obra, se contaba la historia de lo sucedido en Kamloops, y en el texto adjunto se explicaba su importancia. Si bien las palabras “Kill the Indian” (Matad al indio), de forma aislada, constituyen lenguaje que incita al odio, en contexto, esta frase dirige la atención a actos específicos de odio y discriminación, y los condena.

El Consejo recuerda la decisión que tomó en el caso 2020-005-FB-UA, el cual giraba en torno a una cita de un oficial nazi. Ese caso es un ejemplo parecido de cómo la intención puede evaluarse a través de indicadores distintos a las afirmaciones directas, como el contenido y el significado de una cita, la fecha y el país de la publicación, y la esencia de las reacciones y los comentarios que tienen lugar en ella.

En este caso, el Consejo consideró que, para que la publicación se identificara como respuesta a contenido ofensivo, no era necesario que el usuario indicara expresamente que quería concienciar sobre un tema específico. El Consejo observó que, en las “preguntas frecuentes” internas que se proporcionan a los moderadores, se indica que una declaración de intención clara no siempre será suficiente para cambiar el significado de una publicación que constituye lenguaje que incita al odio. Se espera que los moderadores hagan inferencias a partir del contenido para evaluar la intención, en lugar de basarse únicamente en las afirmaciones explícitas.

Dos moderadores concluyeron por separado que esta publicación constituía lenguaje que incita al odio. Meta no pudo especificar los motivos por los que este error se cometió dos veces.

Decisión del Consejo asesor de contenido

El Consejo asesor de contenido revoca la decisión original de Meta de eliminar el contenido.

En un dictamen consultivo sobre políticas, el Consejo recomienda que Meta tome las siguientes medidas:

• Notificar a los usuarios de forma oportuna y precisa toda acción que la empresa realice respecto al contenido relacionado con su apelación. Cuando corresponda (incluidos los casos de errores del sistema de cumplimiento de normas, como este), en el aviso enviado al usuario se debe reconocer que la acción se ha realizado como consecuencia del proceso de revisión del Consejo asesor de contenido.
• Estudiar cómo afecta a la precisión del revisor el hecho de que se informe a los moderadores de contenido de que están haciendo una segunda revisión, de forma que estén al tanto de que la resolución inicial se ha refutado.
• Llevar a cabo una evaluación de la precisión de los revisores centrada en las concesiones correspondientes a las políticas sobre lenguaje que incita al odio, que amparan la expresión artística y aquella que atañe a las infracciones de los derechos humanos (p. ej., actos de condena, concienciación, uso autorreferencial o uso inspirador). En esta evaluación también se debe investigar específicamente cómo el lugar de residencia del revisor afecta a la capacidad de los moderadores de evaluar con precisión el lenguaje que incita al odio y las respuestas a contenido ofensivo originados en la misma región u otras regiones. Meta debe compartir los resultados de esta evaluación con el Consejo, que deben incluir, entre otra información, cómo estos resultados se usarán para mejorar las operaciones de aplicación de normas y el desarrollo de políticas, y si la empresa prevé llevar a cabo evaluaciones de la precisión de los revisores con regularidad en lo que se refiere a estas concesiones. El Consejo también solicita a Meta que comparta públicamente los resúmenes de los resultados de estas evaluaciones en las actualizaciones sobre transparencia que presenta ante el Consejo de forma trimestral para demostrar que ha seguido esta recomendación.

* Los resúmenes de casos ofrecen información general sobre los casos y no sientan precedentes.

Decisión completa del caso

1. Resumen de la decisión

El Consejo asesor de contenido revoca la decisión original de Meta de eliminar una publicación que realizó una artista indígena norteamericana y que incluía una foto de una obra artística de su autoría con el título correspondiente. Este último citaba una instancia histórica de lenguaje que incita al odio. Meta está de acuerdo en que la publicación estaba amparada por una de las concesiones correspondientes a la norma comunitaria sobre lenguaje que incita al odio de Facebook, ya que era evidente que su finalidad era concienciar sobre los crímenes históricos que se cometieron contra los pueblos indígenas en Norteamérica.

2. Descripción del caso

A principios de agosto de 2021 un usuario de Facebook publicó una foto de un cinturón de abalorios, con una descripción en inglés. Los cinturones de abalorios son una forma de expresión artística de los pueblos indígenas de Norteamérica que consiste en engarzar conchas para formar imágenes. Se usan para registrar historias y acuerdos. Este cinturón incluía una serie de representaciones que, según el usuario, se inspiraron en “the Kamloops story” (la historia de Kamloops), una referencia al descubrimiento de tumbas sin nombre en mayo de 2021 en las inmediaciones de lo que había sido una escuela residencial para niños de pueblos indígenas en la provincia canadiense de la Columbia Británica.

En el texto de la descripción, se indicaba el título de la obra artística, “Kill the Indian / Save the Man” (Matad al indio/salvad al hombre), y se identificaba al usuario como su creador. A continuación, el usuario proporcionaba una lista de frases que se correspondían con la serie de imágenes representadas en el cinturón: “Theft of the Innocent, Evil Posing as Saviours, Residential School / Concentration Camp, Waiting for Discovery, Bring Our Children Home” (El robo de los inocentes, el mal haciéndose pasar por salvador, escuela residencial/campo de concentración, esperando el descubrimiento, traed a nuestros niños a casa). En la publicación, el usuario describía el significado de su obra, así como la historia de los cinturones de abalorios y su finalidad educativa. También afirmaba que no había sido fácil crear el cinturón y que contar la historia de lo que sucedió en Kamloops había supuesto una experiencia muy emotiva. Proseguía diciendo que la historia no podía ocultarse del conocimiento público de nuevo y que esperaba que el cinturón ayudara a evitar que eso sucediera. Para concluir la publicación, el usuario se disculpaba por cualquier dolor que su obra pudiera causar a los supervivientes del sistema escolar residencial al indicar que su “sole purpose is to bring awareness to this horrific story” (único propósito era concienciar sobre esta terrible historia).

El día después de su publicación, los sistemas automáticos de Meta identificaron el contenido como potencialmente infractor de la norma comunitaria sobre lenguaje que incita al odio de Facebook. Un revisor evaluó el contenido, lo consideró infractor y lo eliminó ese mismo día. El usuario apeló esta decisión ante Meta y solicitó una segunda revisión manual, en la que también se calificó el contenido como infractor. En el momento de la eliminación, el contenido tenía más de 4000 visualizaciones y se había compartido más de 50 veces. Ningún usuario había denunciado el contenido. Como consecuencia de que el Consejo seleccionara este caso, Meta identificó su eliminación como un “error del sistema de cumplimiento de normas” y restauró el contenido el 27 de agosto. Sin embargo, Meta no informó al usuario de la restauración hasta el 30 de septiembre, dos días después de que el Consejo pidiera a Meta el contenido del mensaje que debería haber enviado al usuario. Meta explicó que el retraso en el envío del mensaje fue consecuencia de un error humano. En el mensaje en sí, no se informaba al usuario de que se había restaurado su contenido como consecuencia de la apelación que este había presentado ante el Consejo, así como de la selección de este caso por parte del Consejo.

La organización Association on American Indian Affairs señaló en un comentario público (10208) que la cita que se usó como título de la obra artística corresponde a Richard Henry Pratt, oficial del ejército que estableció el primer internado federal para pueblos indígenas de los Estados Unidos de América. La frase resumía las políticas que respaldaban la creación de internados, cuya finalidad era “civilize” (civilizar) por la fuerza a los pueblos nativos y “eradicate all vestiges of Indian culture” (erradicar todo vestigio de la cultura indígena). En Canadá se implementaron políticas similares, que la Truth and Reconciliation Commission of Canada consideró equivalentes a un genocidio cultural.

La alusión del usuario a lo que sucedió en “Kamloops” hace referencia a la escuela residencial para pueblos indígenas de Kamloops, que fue un internado para los niños de las Naciones Originarias situado en la provincia canadiense de la Columbia Británica. En mayo de 2021, líderes de la Nación Originaria Tk’emlúps te Secwépemc anunciaron el descubrimiento de tumbas sin nombre en Kamloops. Las autoridades han confirmado la presencia de 200 probables lugares de sepultura en la zona.

El Gobierno canadiense estima que al menos 150 000 niños indígenas pasaron por el sistema escolar residencial antes de que se cerrara el último internado en 1997. Con frecuencia, se separaba a los niños indígenas de sus familias por la fuerza, y se les prohibía expresar cualquier aspecto de la cultura indígena. En los internados, se empleaban castigos físicos severos y abusivos, y el personal cometía o toleraba abusos sexuales y actos de violencia graves contra muchos estudiantes. Los estudiantes sufrían desnutrición, la limpieza y la calefacción de los internados eran insuficientes, y muchos niños morían a causa de tuberculosis y otras enfermedades con atención médica mínima. La Truth and Reconciliation Commission concluyó que al menos 4100 estudiantes murieron mientras se encontraban en los internados, muchos como consecuencia de maltratos o negligencias, y otros a raíz de enfermedades o accidentes.

3. Autoridad y ámbito de acción

El Consejo tiene la facultad para revisar la decisión de Meta tras una apelación del usuario cuyo contenido se haya eliminado (sección 1 del artículo 2 del acta constitutiva; sección 1 del artículo 3 de los estatutos). El Consejo puede ratificar o revertir la decisión de Meta, y la decisión que tome será vinculante para la empresa (artículo 4 y sección 5 del artículo 3 del acta constitutiva). Las decisiones del Consejo pueden incluir dictámenes consultivos sobre políticas con recomendaciones no vinculantes a las que Meta debe responder (artículo 4 y sección 4 del artículo 3 del acta constitutiva).

Cuando el Consejo selecciona casos como este, en los que Meta reconoce posteriormente que ha cometido un error, el Consejo revisa la decisión inicial para entender mejor la causa de los errores y realizar observaciones o recomendaciones que puedan contribuir a la reducción del número de errores y la optimización del proceso pertinente. Tras su decisión en el caso relacionado con síntomas del cáncer de mama y desnudos (2020-004-IG-UA, sección 3), el Consejo implementó un proceso que permite a Meta identificar si ha habido algún error del sistema de cumplimiento de normas antes de que el caso se asigne a un panel (consulta los informes de transparencia de la página 30). Es inútil que, en estos casos, Meta centre su argumentación por completo en su decisión revisada, explique lo que debería haber sucedido con el contenido del usuario y, a la vez, pida al Consejo que ratifique esto como la decisión “definitiva” de la empresa. Además de explicar por qué la decisión que el usuario ha apelado es incorrecta, el Consejo sugiere que Meta explique cómo ha ocurrido el error y por qué el proceso de revisión interna de la empresa no ha podido identificarlo o corregirlo. El Consejo seguirá basando sus revisiones en las decisiones que los usuarios hayan apelado.

4. Normas pertinentes

El Consejo asesor de contenido tuvo en cuenta las siguientes normas en su decisión:

I.Normas comunitarias de Facebook:

En las Normas comunitarias de Facebook sobre lenguaje que incita al odio, este se define como “todo contenido que ataca directamente a las personas por lo que denominamos ‘características protegidas’: raza, etnia, nacionalidad, religión, clase, orientación sexual, sexo, identidad de género y discapacidad o enfermedad grave”. Conforme al “nivel 1”, el contenido prohibido incluye “lenguaje que incite a la violencia o que la apoye, tanto de forma escrita como visual”. Esta norma comunitaria también cuenta con concesiones para distinguir el contenido no infractor:

“Somos conscientes de que, en ocasiones, las personas comparten contenido que incluye lenguaje que incita al odio usado por un tercero con la intención de rechazarlo o concienciar a los demás. En otros casos, el lenguaje que, de otra manera, infringiría nuestras normas se puede usar de forma autorreferencial o empoderadora. Nuestras políticas están diseñadas para dar espacio a estos tipos de lenguaje, pero exigimos que la intención quede clara. Si no es el caso, el contenido podría eliminarse”.

II. Valores de Meta:

Los valores de Meta se detallan en la introducción a las Normas comunitarias de Facebook. El valor de la libertad de expresión se describe como “de suma importancia”:

Nuestras Normas comunitarias siempre han tenido la finalidad de crear un espacio donde todos podamos expresarnos y dar a conocer nuestra opinión. […] Queremos que todo el mundo pueda tratar abiertamente los temas que le interesan, incluso si los demás no están de acuerdo o los consideran inapropiados.

Meta limita la “expresión” en favor de otros cuatro valores, y dos de ellos son relevantes en este caso:

“Seguridad”: nos comprometemos a hacer de Facebook un lugar seguro. La expresión que supone una amenaza para las personas puede intimidar, excluir o silenciar a otros, por lo que no está permitida en Facebook.

“Dignidad”: creemos que todas las personas son igualmente dignas y tienen los mismos derechos. Esperamos que respeten la dignidad de los demás y no los acosen ni los degraden.

III. Normas sobre derechos humanos:

Los Principios Rectores sobre las Empresas y los Derechos Humanos de la ONU (UNGP, por sus siglas en inglés), respaldados por el Consejo de Derechos Humanos de la ONU en 2011, establecen un marco voluntario de las responsabilidades de las empresas privadas en cuanto a estos derechos. En 2021, Meta anunció su Política corporativa de derechos humanos, con la que reafirmó su compromiso con el respeto de los derechos humanos de conformidad con los UNGP. El análisis del Consejo sobre las responsabilidades de Meta en materia de derechos humanos en este caso se basó en las siguientes normas de derechos humanos:

• Libertad de expresión: artículo 19 del Pacto Internacional de Derechos Civiles y Políticos (ICCPR, por sus siglas en inglés); Observación general n.º 34 del Comité de Derechos Humanos (2011); artículo 5 de la Convención Internacional sobre la Eliminación de todas las Formas de Discriminación Racial (ICERD, por sus siglas en inglés); informe del Relator especial de la ONU sobre lenguaje que incita al odio, A/74/486 (2019); informe del Relator especial de la ONU sobre moderación de contenido online, A/HRC/38/35 (2018).
• Igualdad y no discriminación: párrafo 1 del artículo 2 y artículo 26 del ICCPR; artículo 2 de la ICERD; Recomendación general n.º 35, Comité para la Eliminación de la Discriminación Racial (2013).
• Derechos culturales: artículo 27 del ICCPR; artículo 15 del Pacto Internacional de Derechos Económicos, Sociales y Culturales (ICESCR, por sus siglas en inglés); informe del Relator especial de la ONU en el ámbito de los derechos humanos, sobre la libertad artística y la creatividad, A/HRC/23/34 (2013).
• Derechos de los pueblos indígenas: declaración de la ONU sobre los derechos de los pueblos indígenas, párrafo 2 del artículo 7, párrafo 1 del artículo 8, y artículo 19.

5. Declaración del usuario

El usuario declaró en su apelación ante el Consejo que en su publicación se exhibía una obra artística tradicional que documentaba hechos históricos y que no tenía nada que ver con lenguaje que incita al odio. Además, afirmó que esta historia “needed to be seen” (tenía que darse a conocer) y, en relación con la eliminación de la publicación por parte de Meta, declaró que “this is censorship” (se trataba de censura).

6. Explicación de la decisión de Meta

Meta dijo al Consejo que la frase “Kill the Indian” (Matad al indio) constituía un ataque de nivel 1 conforme a la norma comunitaria sobre lenguaje que incita al odio de Facebook, que prohíbe el “lenguaje que incita a la violencia” dirigido a personas en base a características protegidas, entre ellas, la raza o la etnia. No obstante, Meta reconoció que la eliminación del contenido fue incorrecta porque la política permite compartir expresiones que inciten al odio emitidas por otra persona para “condenarlas o concienciar a los demás”. Meta señaló que el usuario indicó en la publicación que su propósito era concienciar sobre la terrible historia que tuvo lugar en Kamloops.

Meta destacó que la frase “Kill the Indian/Save the Man” (Matad al indio, salvad al hombre) tiene su origen en la asimilación forzada de niños indígenas. Al concienciar sobre la historia de Kamloops, el usuario quería hacer lo mismo en cuanto a la asimilación forzada a través de las escuelas residenciales. En respuesta a una pregunta del Consejo, Meta aclaró que no era necesario que el revisor de contenido conociera esta historia para aplicar la política correctamente. En la publicación del usuario, se indicó que se pretendía concienciar sobre una historia terrible, y, por lo tanto, el revisor podía, dentro de lo razonable, concluir que la finalidad de la publicación era concienciar acerca del lenguaje que incita al odio que se citaba en ella.

Meta informó al Consejo de que ningún usuario había denunciado el contenido de este caso. Meta usa clasificadores basados en aprendizaje automático entrenados para detectar automáticamente posibles infracciones de las Normas comunitarias de Facebook. En este caso, dos clasificadores identificaron automáticamente la publicación como posible lenguaje que incita al odio. El primer clasificador que analizó el contenido no estaba muy seguro de que la publicación infringiera la norma comunitaria. Sin embargo, otro clasificador determinó, en base a varias señales contextuales, que quizá la publicación se compartiera muchas veces y, por lo tanto, que existía la posibilidad de que muchas personas la vieran. Dado el daño potencial que podía surgir a partir de la amplia distribución de lenguaje que incita al odio, el sistema de Meta envió automáticamente la publicación a revisión manual.

Meta aclaró en sus respuestas a las preguntas del Consejo que un revisor situado en la región de Asia-Pacífico determinó que la publicación incluía lenguaje que incita al odio y la eliminó de la plataforma. El usuario apeló dicha acción, y como resultado un segundo revisor de la región de Asia-Pacífico revisó el contenido. También determinó que se trataba de lenguaje que incita al odio. Meta confirmó al Consejo que los moderadores no registran las argumentaciones de las decisiones que toman respecto al contenido de forma individual.

7.Comentarios de terceros

El Consejo asesor de contenido tuvo en cuenta ocho comentarios públicos relacionados con este caso: cuatro de los Estados Unidos y Canadá, dos de Europa, uno del África subsahariana y uno de Asia-Pacífico y Oceanía. En los comentarios, se abordaron diferentes temas, entre ellos, la importancia de la cita en la que el usuario basó el título de su obra, el contexto sobre el uso de escuelas residenciales en Norteamérica y cómo la moderación de contenido de Meta afecta a la libertad artística y los derechos de expresión de personas de identidad u origen indígenas.

Si quieres leer los comentarios públicos que se enviaron en relación con este caso, haz clic aquí.

8.Análisis del Consejo asesor de contenido

El Consejo analizó la pregunta de si este contenido debería restaurarse sobre la base de tres perspectivas: las Normas comunitarias de Facebook, los valores de Meta y sus responsabilidades respecto a los derechos humanos.

8.1 Cumplimiento de las Normas comunitarias

Meta está de acuerdo en que su decisión original de eliminar este contenido incumplía las Normas comunitarias de Facebook y que fue un “error del sistema de cumplimiento de normas”. El Consejo considera que, inequívocamente, el contenido de este caso no constituye lenguaje que incita al odio. Este contenido es un claro ejemplo de “respuesta a contenido ofensivo”, donde se hace referencia a lenguaje que incita al odio o se hace una reapropiación de este como una forma de combatir la opresión y la discriminación.

En la norma comunitaria sobre lenguaje que incita al odio, se permite de forma explícita el “contenido que incluya expresiones que incitan al odio emitidas por otra persona con la intención de condenarlas o concienciar en este particular”. No obstante, dos moderadores concluyeron por separado que esta publicación constituía lenguaje que incita al odio. Meta no pudo especificar los motivos por los que este error en particular se cometió dos veces.

En el caso de la cita nazi (2020-005-FB-UA), el Consejo indicó que el contexto en que se usa una cita es importante para comprender su significado. En ese caso, el contenido y el significado de la cita, la fecha de la publicación y el país donde se realizó, así como la esencia de las reacciones y los comentarios que tuvieron lugar en ella fueron claros indicios de que el usuario no pretendía elogiar a una figura designada como ofensiva.

El Consejo determinó que no era necesario que el usuario indicara expresamente que quería concienciar sobre un tema específico para que la intención y el significado de esta publicación fueran claros. En las imágenes representadas en la obra se contaba la historia de lo que había ocurrido en Kamloops, y en el texto adjunto se explicaba su importancia. Si bien las palabras “Kill the Indian” (Matad al indio), de manera aislada, constituyen lenguaje que incita al odio, al evaluar el contenido de forma integral, no quedan dudas de que la frase se usa para concienciar sobre el odio y la discriminación, y condenarlos. En el contenido se usaron comillas para distinguir la frase completa ofensiva del título: “Kill the Indian/Save the Man” (Matad al indio, salvad al hombre). Esto debería haber dado un indicio al revisor para detenerse y analizar el caso en más detalle. El modo en que el usuario contaba la historia de Kamloops y explicaba la importancia cultural del cinturón de abalorios dejaba claro que se identificaba con las víctimas que sufrieron discriminación y violencia, y no con los perpetradores de estos actos. Su relato condenaba inequívocamente los eventos descubiertos en Kamloops. A partir de los comentarios y las reacciones que tuvieron lugar en la publicación, era evidente que la audiencia del usuario entendía la intención de condena y concienciación.

El Consejo señaló que en las “preguntas frecuentes” internas de Facebook, que forman parte de las pautas proporcionadas a los moderadores, se instruye a estos últimos para que prioricen la eliminación del contenido que incluye lenguaje que incita al odio cuando la intención del usuario no esté clara. En ellas, también se indica que una declaración de intención clara no siempre será suficiente para cambiar el significado de una publicación que constituye lenguaje que incita al odio. En estas pautas internas se ofrecen pocas instrucciones a los moderadores en cuanto a la forma adecuada de distinguir el lenguaje prohibido que incita al odio de las respuestas a contenido ofensivo en las que se citan este tipo de expresiones para condenarlas o concienciar al respecto. Según la información de la que dispone el Consejo, no hay pautas que expliquen cómo evaluar indicios de la intención en el contenido artístico que cita o usa términos que constituyen lenguaje que incita al odio o en el contenido que trata infracciones de los derechos humanos, cuando hay concesiones correspondientes a esta política que amparan dicho contenido.

8.2 Cumplimiento de los valores de Meta

El Consejo considera que la decisión original de eliminar el contenido no se tomó de conformidad con los valores de Meta de “expresión” y “dignidad”, ni contribuyó a fomentar el valor de “seguridad”. Si bien fue coherente con los valores de Meta que exigen limitar la difusión de lenguaje que incita al odio en sus plataformas, al Consejo le preocupa que los procesos de moderación de Meta no puedan identificar y proteger de forma adecuada la capacidad de las personas que se enfrentan a actos de marginación o discriminación de poder expresarse a través de respuestas a contenido ofensivo.

Meta manifestó su compromiso con las respuestas a contenido ofensivo:

Como comunidad, plataforma de medios sociales y conjunto de experiencias humanas compartidas, Facebook apoya las iniciativas críticas de discurso contra ideologías extremistas al aplicar políticas de contenido contundentes y trabajar junto con comunidades locales, legisladores, expertos y agentes de cambio a fin de impulsar este tipo de iniciativas en todo el mundo.

Meta afirma que la “expresión” es el valor más importante de la empresa. Las expresiones artísticas que tienen la finalidad de esclarecer los horrores de atrocidades del pasado e instruir a las personas acerca de su impacto a largo plazo son una de las manifestaciones del valor de “expresión” más eficaces e importantes, en especial, cuando se trata de grupos marginados que expresan su propia cultura y luchan por conseguir que se escuche su propia historia. Además de ser una representación de la “expresión”, las respuestas a contenido ofensivo constituyen una herramienta clave para que aquellos a quienes se dirige lenguaje que incita al odio puedan proteger su propia dignidad y disuadir las conductas opresivas, discriminatorias y denigrantes. Meta debe garantizar que sus políticas de contenido y prácticas de moderación tengan en cuenta esta forma de expresión y la protejan.

Decir a un usuario que pretende concienciar sobre las atrocidades masivas que se suprime su discurso por constituir lenguaje que incita al odio es una afrenta a su dignidad. Esta acusación, en particular, cuando Meta la confirma en una apelación, podría llevar a la autocensura.

8.3 Cumplimiento de las responsabilidades de Meta en materia de los derechos humanos

El Consejo concluye que la eliminación de esta publicación supone un incumplimiento de las responsabilidades de Meta como empresa en materia de los derechos humanos. Meta se ha comprometido a respetar los derechos humanos de conformidad con los Principios Rectores de la ONU sobre las Empresas y los Derechos Humanos (UNGP). En su Política corporativa de derechos humanos, se dispone el cumplimiento específico del Pacto Internacional de Derechos Civiles y Políticos (ICCPR).

Este es el primer caso del Consejo que se refiere a expresiones artísticas, así como su primer caso en relación con una expresión en que el usuario se identifica a sí mismo como indígena. Es uno de los múltiples casos que el Consejo ha seleccionado en los que el usuario procuraba dirigir la atención hacia infracciones graves de los derechos humanos.

Libertad de expresión (artículo 19 del ICCPR)

Las normas internacionales sobre derechos humanos hacen hincapié en el valor de la expresión política (párrafo 38 de la Observación general n.º 34 del Comité de Derechos Humanos). El alcance de la protección de este derecho se especifica en el párrafo 2 del artículo 19 del ICCPR, donde se hace una mención especial a la expresión “en forma de arte”. En la Convención Internacional sobre la Eliminación de todas las Formas de Discriminación Racial (ICERD), también se dispone la protección contra la discriminación en el ejercicio del derecho a la libertad de expresión (artículo 5), y el Comité a cargo de supervisar el cumplimiento de esta por parte de los estados ha hecho hincapié en la importancia que tiene el derecho de asistir a los “grupos vulnerables para reajustar el equilibrio de poder entre los miembros de la sociedad” y de ofrecer “opiniones alternativas y argumentos contrarios” en los debates (párrafo 29 de la Recomendación general n.º 35 del Comité para la Eliminación de la Discriminación Racial [CERD, por sus siglas en inglés]).

El arte suele ser una manifestación política, y las normas internacionales reconocen el rol único y decisivo que esta forma de comunicación tiene a la hora de cuestionar el statu quo (Relator Especial de la ONU en el ámbito de los derechos culturales, A/HRC/23/34, párrafos 3 y 4). Internet y las plataformas de medios sociales, como Facebook e Instagram, en particular, tienen especial valor para los artistas en cuanto al alcance para llegar a audiencias nuevas y más amplias. Es posible que sus medios de vida dependan del acceso a las plataformas de medios sociales que dominan internet.

El derecho a la libertad de expresión se garantiza a todas las personas sin discriminación (párrafo 2 del artículo 19 del ICCPR). El Consejo recibió comentarios en los que se expresaba que los derechos de los pueblos indígenas a dar su consentimiento informado, previo y libre en sitios donde los estados implementan medidas legislativas o administrativas que afectan a esas comunidades implican que es responsabilidad de Meta consultar con dichas comunidades al desarrollar sus políticas de contenido (comentario público 10240, Minority Rights Group; consulta también el artículo 19 de la declaración de la ONU sobre los derechos de los pueblos indígenas). El Relator Especial de la ONU sobre la libertad de opinión y de expresión ha planteado una inquietud similar en el contexto de las responsabilidades de las plataformas de medios sociales (A/HRC/38/35, párrafo 54).

En este caso, el contenido también involucra muchos otros derechos, como los derechos de las personas que pertenecen a minorías nacionales, étnicas o lingüísticas de disfrutar, en comunidad con otros miembros de su grupo, su propia cultura (artículo 27 del ICCPR) y el derecho a participar en la vida cultural y disfrutar del arte (artículo 15 del ICESCR). La expresión artística que implica crear un cinturón de abalorios que procura registrar atrocidades cometidas contra los derechos humanos y su continuo legado, además de concienciar al respecto, está amparada por el artículo 6(c) de la declaración de los defensores de los derechos humanos de la ONU, así como por el derecho a la verdad acerca de las atrocidades (conjunto de principios para la lucha contra la impunidad de la ONU). En la declaración de la ONU sobre los derechos de los pueblos indígenas, se reconoce expresamente que el desarraigo forzado de niños puede ser un acto de violencia y genocidio (párrafo 2 del artículo 7) y se ofrece protección específica contra la asimilación forzada y la destrucción cultural (párrafo 1 del artículo 8).

El artículo 19 del ICCPR exige que, si un estado impone restricciones sobre la libertad de expresión, estas deben cumplir los requisitos de legalidad, fin legítimo y necesidad y proporcionalidad (párrafo 3 del artículo 19 del ICCPR). El Relator Especial de la ONU sobre la libertad de expresión ha animado a las empresas de medios sociales a tomar como guía estos principios a la hora de moderar la expresión online, ya que la regulación de la expresión a medida por parte de empresas privadas podría generar inquietudes específicas según ese contexto (A/HRC/38/35, párrafos 45 y 70). El Consejo ha usado la prueba de tres partes en base al artículo 19 del ICCPR en todas sus decisiones hasta la fecha.

I. Legalidad (claridad y accesibilidad de las reglas)

La norma comunitaria sobre lenguaje que incita al odio admite manifiestamente el contenido que condena al lenguaje que incita al odio o conciencia al respecto. La claridad y la accesibilidad de este componente de la política son suficientes para que el usuario comprenda las reglas y actúe en consecuencia (párrafo 25 de la Observación general n.º 34). En la norma sobre legalidad, también se exige que las reglas que restringen la expresión deben “proporcionar suficientes pautas para aquellos que están a cargo de su implementación, de forma que puedan definir qué tipos de expresión pueden restringirse de forma adecuada y cuáles no” (ibidem). La imposibilidad de dos moderadores de evaluar de forma adecuada la aplicación de las concesiones correspondientes a la política a este contenido indica que posiblemente deban proporcionarse pautas internas adicionales a los moderadores.

II. Fin legítimo

Cualquier restricción estatal sobre la libertad de expresión debe procurar alguno de los fines legítimos mencionados en el párrafo 3 del artículo 19 del ICCPR. En sus respuestas al Consejo, Meta sistemáticamente se ha referido a los fines de esta lista al justificar las medidas que ha tomado para limitar discursos. El Consejo previamente reconoció que la norma comunitaria sobre lenguaje que incita al odio de Facebook procura el fin legítimo de proteger los derechos de los demás. Esos derechos incluyen el derecho a la igualdad y a la no discriminación, la libertad de expresión y el derecho a la integridad física.

III. Necesidad y proporcionalidad

El evidente error ocurrido en este caso significa que obviamente la eliminación no era necesaria, y Meta está de acuerdo. Al Consejo le preocupa que un error tan inequívoco pueda indicar que existen problemas de proporcionalidad más profundos en los procesos de revisión manual y automática de Meta. Todas las restricciones que se apliquen a la libertad de expresión deben ser adecuadas para desempeñar su función protectora y deben ser el instrumento menos perturbador de los que permitan conseguir el resultado deseado (párrafo 34 de la Observación general n.º 34). El cumplimiento del sistema de moderación de contenido de Meta respecto a los requisitos de necesidad y proporcionalidad depende en gran medida de su eficacia para eliminar lenguaje que incita al odio real y, a la vez, minimizar el número de detecciones y eliminaciones erróneas.

Cada publicación que se elimina por error perjudica la libertad de expresión. El Consejo entiende que los errores son inevitables, tanto en el caso de seres humanos como en el de máquinas. El lenguaje que incita al odio y las respuestas a él siempre dependen del contexto, y los límites no siempre están claros. Sin embargo, los tipos de errores y las personas o comunidades que cargan con el peso de esos errores señalan decisiones relativas al diseño que deben evaluarse y examinarse de forma constante. Esto requiere que se investigue más a fondo la raíz del error ocurrido en este caso y que se evalúe de forma más amplia la eficacia de la moderación de las respuestas a contenido ofensivo.

Dada la importancia del arte crítico de los artistas indígenas para contrarrestar el odio y la opresión, el Consejo espera que Meta tenga especial sensibilidad ante la posibilidad de eliminar de forma incorrecta el contenido de este caso y contenido similar en Facebook e Instagram. No basta con evaluar el rendimiento de la aplicación de la política sobre lenguaje que incita al odio de Facebook por parte de Meta de forma integral. Es posible que un sistema que funcione bien en términos generales tenga un rendimiento bastante deficiente en subcategorías de contenido, en las que tomar decisiones incorrectas perjudique en gran medida los derechos humanos. Es posible que los tipos de errores cometidos en este caso sean poco frecuentes. Sin embargo, el Consejo señala que miembros de grupos marginados manifiestan preocupación por el índice y el impacto de las eliminaciones a causa de falsos positivos desde hace varios años. Los errores cometidos en este caso indican que le corresponde a Meta demostrar que ejerce debida diligencia respecto a los derechos humanos para garantizar que sus sistemas funcionen de forma justa y no exacerben opresiones históricas y presentes (principio 17 de los UNGP).

Meta evalúa habitualmente la precisión de sus sistemas de aplicación de políticas en lo que respecta al trato del lenguaje que incita al odio. Esta evaluación no se divide en evaluaciones de precisión que midan específicamente la capacidad de Meta de distinguir el lenguaje que incita al odio del contenido permitido que lo condena o que conciencia al respecto.

Los procesos existentes de Meta también incluyen mecanismos ad hoc para identificar tendencias de errores e investigar las causas raíz de estos. Sin embargo, para ello se necesitan amplias muestras de contenido con las que se pueda medir el rendimiento del sistema. El Consejo consultó si Meta analizó específicamente el rendimiento de sus sistemas de revisión en cuanto a la evaluación precisa de las respuestas a contenido ofensivo que constituyen expresiones artísticas y aquellas con las que se pretende concienciar acerca de infracciones de los derechos humanos. Meta indicó al Consejo que no había realizado investigaciones específicas sobre el impacto de las eliminaciones por falsos positivos de las expresiones artísticas o de las expresiones de personas de identidad u origen indígenas.

Meta indicó al Consejo que se enfrenta a obstáculos para comenzar dichas evaluaciones, por ejemplo, la falta de un sistema para automatizar la recopilación de una muestra de contenido que pueda beneficiarse a partir de las concesiones correspondientes a la política. Esto ocurre porque los revisores marcan el contenido como infractor o no infractor, pero no se les pide que indiquen los casos en que el contenido no infractor involucra una concesión correspondiente a alguna política. La recopilación de una muestra que incluya respuestas a contenido ofensivo amparadas por esta concesión debería hacerse de forma manual.

Si bien al Consejo le resultó alentador el nivel de detalle proporcionado acerca de cómo Meta evalúa el rendimiento durante una sesión de preguntas y respuestas que solicitó, no hay duda de que debe invertirse más en evaluar la precisión de la aplicación de las concesiones correspondientes a la política sobre lenguaje que incita al odio y en aprender de las tendencias de errores. Sin información adicional sobre las decisiones relativas al diseño que Meta toma y el rendimiento de sus sistemas manuales y automáticos, es difícil para el Consejo o Meta evaluar la proporcionalidad del enfoque actual de Meta respecto al lenguaje que incita al odio.

Al evaluar si es necesario y proporcionado usar las herramientas de aprendizaje automático específicas activas en este caso para detectar posible lenguaje que incita al odio de forma automática, conocer la precisión de dichas herramientas es clave. Los clasificadores de aprendizaje automático siempre suponen una compensación entre los índices de falsos positivos y falsos negativos. Cuanto más sensible es un clasificador, más probable es que identifique de forma correcta instancias de lenguaje que incita al odio, pero también es más probable que marque material que no constituye lenguaje que incita al odio de forma incorrecta. La utilidad y la eficacia de los clasificadores entrenados de distintos modos y de los diferentes modelos varían según las diversas tareas. Para cualquier modelo dado, pueden usarse distintos umbrales que reflejen un criterio sobre la importancia relativa de evitar diferentes tipos de errores. La probabilidad de que ocurran errores y la gravedad de estos también deben tenerse en cuenta al tomar decisiones sobre cómo emplear un clasificador, por ejemplo, si puede realizar una acción de inmediato o si requiere aprobación manual, y qué protecciones se implementan.

Meta explicó que sus sistemas automáticos enviaron la publicación en cuestión a revisión en este caso porque era probable que la viera una gran cantidad de personas. Este método puede limitar la difusión de material dañino, pero también es probable que aumente el riesgo de que expresiones artísticas eficaces que contrarrestan el odio se eliminen de forma incorrecta. Meta indicó al Consejo que regularmente evalúa el índice de falsos positivos en función del tiempo, y lo hace respecto a un conjunto de decisiones tomadas por revisores especializados. Meta también señaló que era posible evaluar la precisión de los modelos de aprendizaje automático específicos que eran de interés en este caso y que conserva la información de las predicciones de sus clasificadores durante, al menos, 90 días. El Consejo solicitó información que nos permitiría evaluar el rendimiento del clasificador y la idoneidad de los umbrales que Meta empleó en este caso. Meta explicó al Consejo que no podía proporcionar la información que el Consejo requería porque no tenía tiempo suficiente para prepararla. Sin embargo, Meta indicó que estaba considerando la viabilidad de proporcionar dicha información en futuros casos.

La revisión manual pudo haber proporcionado dos protecciones importantes en el funcionamiento de los clasificadores de Meta: primero, antes de que la publicación se eliminara y, después, otra vez, ante la apelación. Los errores cometidos en este caso indican que las pautas que Meta ofrece a los moderadores que evalúan respuestas a contenido ofensivo podrían no ser suficientes. Hay muchísimos motivos que podrían haber contribuido a que los moderadores humanos llegaran dos veces a la misma decisión equivocada en este caso. Al Consejo le preocupa que quizá los revisores no cuenten con suficientes recursos en términos de tiempo o formación para evitar el tipo de error cometido en este caso, en especial, respecto al contenido que se permite conforme a las concesiones correspondientes a las políticas (por ejemplo, “condenar” lenguaje que incita al odio y “concienciar” al respecto).

En este caso, ambos revisores se encontraban en la región de Asia-Pacífico. Meta no pudo proporcionar información al Consejo sobre si los índices de precisión de los revisores variaban cuando los moderadores que evaluaban el posible lenguaje que incita al odio no se encontraban en la misma región en que se había originado el contenido. El Consejo destacó la complejidad de evaluar el lenguaje que incita al odio y la dificultad para comprender el contexto y la historia locales, en especial, si se tiene en cuenta la gran cantidad de contenido que los moderadores revisan cada día. Es concebible que los moderadores que evaluaron el contenido en este caso tuvieran menos experiencia en torno a la opresión de los pueblos indígenas en Norteamérica. Las pautas deberían incluir instrucciones claras para evaluar el contenido en su totalidad y ayudar a los moderadores a evaluar el contexto con mayor precisión a fin de distinguir indicios de la intención y el significado.

El Consejo recomendó en la decisión del caso del meme de los dos botones (2021-005-FB-UA) que Meta permitiera a los usuarios indicar en la apelación que su contenido estaba amparado por una de las concesiones a la norma comunitaria sobre lenguaje que incita al odio de Facebook. Actualmente, cuando un usuario apela una de las decisiones de Meta que pasan a revisión manual, no se informa al revisor de que el usuario refutó una decisión anterior ni se le proporciona el resultado de la revisión previa. Si bien Meta indicó al Consejo que cree que esta información sesgará la revisión, al Consejo le interesaría saber si esta información podría aumentar la probabilidad de que la toma de decisiones tuviera más matices. Meta podría hacer pruebas empíricas para responder esta pregunta. Los resultados de dichas pruebas serían útiles para evaluar la proporcionalidad de las medidas específicas que Meta decidió implementar.

Conforme a los UNGP, Meta tiene la responsabilidad de ejercer la debida diligencia respecto a los derechos humanos (principio 17). Entre otras cosas, debe identificar toda incidencia negativa que la moderación de contenido pueda tener en la expresión artística y la expresión política de los pueblos indígenas que pretenden contrarrestar la discriminación. Meta debe definir en detalle cómo prevendrá, mitigará y justificará sus iniciativas para abordar dichas incidencias negativas. El Consejo asume el compromiso de supervisar el rendimiento de Meta y espera ver que la empresa priorice los riesgos relacionados con grupos marginados y demuestre evidencia de mejoras continuas.

9.Decisión del Consejo asesor de contenido

El Consejo asesor de contenido revoca la decisión original de Meta de eliminar el contenido.

10. Dictamen consultivo sobre políticas

Aplicación

1. Notificar a los usuarios de forma oportuna y precisa toda acción que la empresa realice respecto al contenido relacionado con su apelación. Cuando corresponda (incluidos los casos de errores del sistema de cumplimiento de normas, como este), en el aviso enviado al usuario se debe reconocer que la acción se ha realizado como consecuencia del proceso de revisión del Consejo asesor de contenido. Meta debe compartir los mensajes enviados a los usuarios cuando las acciones del Consejo afecten decisiones de contenido que los usuarios apelaron, a fin de demostrar su cumplimiento con esta recomendación. Estas acciones deben realizarse en relación con todos los casos corregidos en la etapa de selección del proceso del Consejo.

2. Estudiar cómo afectarían a la precisión y la productividad de los revisores determinadas modificaciones de los métodos de revisión secundaria. En particular, el Consejo solicita una evaluación de los índices de precisión cuando se informa a los moderadores de contenido que realizan una revisión secundaria, de modo que sepan que la resolución inicial se refutó. Idealmente, este experimento debería ofrecer la posibilidad a los usuarios de proporcionar contexto pertinente que permita a los revisores evaluar su contenido, en consonancia con las recomendaciones previas del Consejo. Meta debe compartir los resultados de estas evaluaciones de la precisión con el Consejo y resumir los resultados en el informe de transparencia que presenta ante el Consejo de forma trimestral para demostrar que sigue esta recomendación.

3. Llevar a cabo evaluaciones de la precisión centradas en las concesiones correspondientes a las políticas sobre lenguaje que incita al odio, que amparan la expresión artística y la expresión sobre infracciones de los derechos humanos (p. ej., actos de condena, concienciación, uso autorreferencial o uso inspirador). En esta evaluación también se debe investigar específicamente cómo el lugar de residencia del revisor afecta a la capacidad de los moderadores de evaluar con precisión el lenguaje que incita al odio y las respuestas a contenido ofensivo originados en la misma región u otras regiones. El Consejo entiende que este análisis posiblemente requiera la recopilación de muestras de contenido relevante identificadas de forma adecuada y precisa. Meta debe compartir los resultados de esta evaluación con el Consejo, entre otras cosas, cómo estos resultados se usarán para mejorar las operaciones de cumplimiento de normas y el desarrollo de políticas, y si prevé llevar a cabo evaluaciones de la precisión de los revisores de forma regular en torno a estas concesiones. Además, debe resumir los resultados en el informe de transparencia que presenta ante el Consejo de forma trimestral para demostrar que sigue esta recomendación.

* Nota procedimental:

Las decisiones del Consejo asesor de contenido se preparan a través de comités constituidos por cinco miembros y deben recibir la aprobación de la mayoría de dicha institución. Las decisiones emitidas no reflejan necesariamente las opiniones personales de todos los miembros.

En cuanto a la decisión del caso, se encargó una investigación independiente a nombre del Consejo. Un instituto de investigación independiente con sede en la Universidad de Gotemburgo y un equipo conformado por más de 50 científicos sociales de seis continentes, así como 3200 expertos de diferentes países del mundo y Duco Advisors, una empresa asesora dedicada a la intersección de geopolítica, confianza, seguridad y tecnología, aportaron sus conocimientos sobre contextos culturales y sociopolíticos.

मामले के निर्णयों और नीति सलाहकार राय पर लौटें