Cinturón de Wampum

Resumen del caso

Nota: El 28 de octubre de 2021, Facebook anunció que cambiaba el nombre de la empresa a Meta. En este texto, "Meta" hace referencia a la empresa, y "Facebook" continúa haciendo referencia al producto y a las políticas de la app específica.

El Consejo asesor de contenido anuló la decisión original de Meta de eliminar una publicación de Facebook de un artista indígena norteamericano que se había eliminado conforme a la norma comunitaria sobre lenguaje que incita al odio de Facebook. El Consejo determinó que el contenido está amparado por las concesiones a la política sobre lenguaje que incita al odio, ya que su finalidad es concientizar acerca de los crímenes históricos cometidos contra los pueblos indígenas en Norteamérica.

Información sobre el caso

En agosto de 2021, un usuario de Facebook publicó una foto de un cinturón de abalorios, con una descripción de texto en inglés. Los cinturones de abalorios son piezas de arte de los pueblos indígenas de Norteamérica donde se engarzan conchillas para formar imágenes y se registran historias y acuerdos. El cinturón incluía una serie de representaciones que, según el usuario, se inspiraron en la historia de Kamloops, una referencia al descubrimiento de tumbas sin identificación en mayo de 2021 en un lugar que había sido una escuela residencial para niños de pueblos indígenas de Columbia Británica, Canadá.

En el texto, se indicaba el título de la obra de arte, "Kill the Indian/Save the Man" (Maten al indio, salven al hombre), y se identificaba al usuario como su creador. El usuario describió todas las imágenes representadas en el cinturón: "Theft of the Innocent, Evil Posing as Saviours, Residential School/Concentration Camp, Waiting for Discovery, Bring Our Children Home" (El robo de los inocentes. El mal posando como salvador. Escuela residencial, campo de concentración. Esperando el descubrimiento. Traigan a nuestros niños a casa). En la publicación, el usuario describió el significado de su obra de arte, así como la historia de los cinturones de abalorios y su finalidad educativa. El usuario expresó que no fue sencillo crear el cinturón y que le resultó conmovedor contar la historia de lo que sucedió en Kamloops. Se disculpó por cualquier dolor que su arte les pudiera causar a los sobrevivientes de Kamloops y destacó que su único propósito era concientizar acerca de esta terrible historia.

Los sistemas automáticos de Meta identificaron el contenido como potencialmente infractor de la norma comunitaria sobre lenguaje que incita al odio de Facebook el día después de su publicación. Un revisor evaluó el contenido, lo consideró infractor y lo eliminó ese mismo día. El usuario apeló dicha decisión ante Meta y solicitó una segunda revisión manual, en la que también se calificó el contenido como infractor. En el momento de la eliminación, el contenido tenía más de 4.000 visualizaciones y se había compartido más de 50 veces. Ningún usuario reportó el contenido.

Como consecuencia de que el Consejo seleccionara este caso, Meta identificó su eliminación como un "error del sistema de cumplimiento de normas" y restauró el contenido el 27 de agosto. Sin embargo, Meta no le notificó al usuario acerca de la restauración sino hasta el 30 de septiembre, es decir, dos días después de que el Consejo le pidiera a Meta el contenido del mensaje enviado al usuario. Meta explicó que el retraso en el envío del mensaje fue consecuencia de un error humano.

Conclusiones principales

Meta estuvo de acuerdo en que su decisión original de eliminar este contenido se contraponía a las Normas comunitarias de Facebook y que fue un "error del sistema de cumplimiento de normas". El Consejo determinó que este contenido es un claro ejemplo de "respuesta a contenido ofensivo", en donde se hace referencia a lenguaje que incita al odio para resistir a la opresión y la discriminación.

En la introducción a la política sobre lenguaje que incita al odio de Facebook, se explica que se permiten respuestas a contenido ofensivo siempre y cuando se indique con claridad la intención del usuario. Es evidente a partir del contenido de la publicación que no se trata de lenguaje que incita al odio. En la obra de arte, se narraba la historia de lo sucedido en Kamloops, y el relato incluido explicaba su importancia. Si bien las palabras "Kill the Indian" (Maten al indio), de manera aislada, constituyen lenguaje que incita al odio, en contexto, esta frase dirige la atención a actos específicos de odio y discriminación, y los condena.

El Consejo evocó su decisión del caso 2020-005-FB-UA, que involucraba una cita de un oficial nazi. Ese caso ofrece un ejemplo semejante de cómo la intención puede evaluarse a través de indicadores diferentes de las afirmaciones directas, como el contenido y el significado de una cita, la fecha y el país de la publicación y la sustancia de las reacciones y comentarios que ocurren en ella.

En este caso, el Consejo determinó que no era necesario que el usuario indicara expresamente que quería generar conciencia para que la publicación se identificara como respuesta a contenido ofensivo. El Consejo observó que, en las "preguntas frecuentes" internas que se proporcionan a los moderadores, se indica que una declaración de intención clara no siempre será suficiente para cambiar el significado de una publicación que constituye lenguaje que incita al odio. Se espera que los moderadores hagan inferencias a partir del contenido para evaluar la intención, en lugar de basarse únicamente en las afirmaciones explícitas.

Dos moderadores por separado concluyeron que esta publicación constituía lenguaje que incita al odio. Meta no pudo especificar los motivos por los que este error se cometió dos veces.

Decisión del Consejo asesor de contenido

El Consejo asesor de contenido anuló la decisión original de Meta de eliminar el contenido.

En su declaración de asesoramiento normativo, el Consejo recomendó que Meta haga lo siguiente:

• Notifique a los usuarios de forma oportuna y precisa toda acción que la empresa realice en torno al contenido relacionado con su apelación. Cuando corresponda (incluidos los casos de errores del sistema de cumplimiento de normas como este), el aviso enviado al usuario debe reconocer que la acción se realizó a raíz del proceso de revisión del Consejo asesor de contenido.
• Estudie cómo afecta a la precisión del revisor el hecho de que se les informe a los moderadores de contenido que están haciendo una segunda revisión, de modo que estén al tanto de que la resolución inicial se refutó.
• Lleve a cabo una evaluación de la precisión de los revisores centrada en las concesiones correspondientes a las políticas sobre lenguaje que incita al odio, que amparan la expresión artística y la expresión sobre infracciones de los derechos humanos (p. ej., actos de condena, concientización, uso autorreferencial, uso inspirador). En esta evaluación, también se debe investigar específicamente cómo el lugar de residencia del revisor afecta la capacidad de los moderadores de evaluar con precisión el lenguaje que incita al odio y las respuestas a contenido ofensivo originados en la misma región u otras regiones. Meta debe compartir los resultados de esta evaluación con el Consejo, entre otras cosas, cómo estos resultados se usarán para mejorar las operaciones de aplicación de políticas y el desarrollo de políticas, y si prevé llevar a cabo evaluaciones de la precisión de los revisores de forma regular en torno a estas concesiones. El Consejo también solicitó a Meta que compartiera públicamente los resúmenes de los resultados de estas evaluaciones en las actualizaciones relativas a la transparencia que presenta ante el Consejo de forma trimestral para demostrar que cumplió con esta recomendación.

* Los resúmenes de casos ofrecen información general sobre los casos y no sientan precedentes.

Decisión del caso completa

1. Resumen de la decisión

El Consejo asesor de contenido anuló la decisión original de Meta de eliminar una publicación realizada por un artista indígena norteamericano que incluía una foto de una obra de arte de su autoría con el título correspondiente, que citaba una instancia histórica de lenguaje que incita al odio. Meta estuvo de acuerdo en que la publicación estaba amparada por una de las concesiones correspondientes a la norma comunitaria sobre lenguaje que incita al odio de Facebook, ya que sin duda su finalidad era concientizar acerca de los crímenes históricos cometidos contra los pueblos indígenas en Norteamérica.

2. Descripción del caso

A principios de agosto de 2021, un usuario de Facebook publicó una foto de un cinturón de abalorios, con una descripción de texto en inglés. Los cinturones de abalorios son piezas de arte de los pueblos indígenas de Norteamérica donde se engarzan conchillas para formar imágenes y se registran historias y acuerdos. El cinturón incluía una serie de representaciones que, según el usuario, se inspiraron en la historia de Kamloops, una referencia al descubrimiento de tumbas sin identificación en mayo de 2021 en un lugar que había sido una escuela residencial para niños de pueblos indígenas de Columbia Británica, Canadá.

En el texto, se indicaba el título de la obra de arte, "Kill the Indian/Save the Man" (Maten al indio, salven al hombre), y se identificaba al usuario como su creador. Luego, el usuario proporcionó una lista de frases que corresponden a la serie de imágenes representadas en el cinturón: "Theft of the Innocent, Evil Posing as Saviours, Residential School/Concentration Camp, Waiting for Discovery, Bring Our Children Home" (El robo de los inocentes. El mal posando como salvador. Escuela residencial, campo de concentración. Esperando el descubrimiento. Traigan a nuestros niños a casa). En la publicación, el usuario describió el significado de su obra de arte, así como la historia de los cinturones de abalorios y su finalidad educativa. El usuario expresó que no fue sencillo crear el cinturón y que le resultó muy conmovedor contar la historia de lo que sucedió en Kamloops. Continuó diciendo que la historia no podía ocultarse del público conocimiento otra vez y que esperaba que el cinturón evitara que eso sucediera. Para concluir la publicación, el usuario se disculpó por cualquier dolor que su obra de arte pudiera causarles a los sobrevivientes del sistema escolar residencial al expresar que su único propósito era concientizar acerca de esta terrible historia.

Los sistemas automáticos de Meta identificaron el contenido como potencialmente infractor de la norma comunitaria sobre lenguaje que incita al odio de Facebook el día después de su publicación. Un revisor evaluó el contenido, lo consideró infractor y lo eliminó ese mismo día. El usuario apeló dicha decisión ante Meta y solicitó una segunda revisión manual, en la que también se calificó el contenido como infractor. En el momento de la eliminación, el contenido tenía más de 4.000 visualizaciones y se había compartido más de 50 veces. Ningún usuario reportó el contenido. Como consecuencia de que el Consejo seleccionara este caso, Meta identificó su eliminación como un "error del sistema de cumplimiento de normas" y restauró el contenido el 27 de agosto. Sin embargo, Meta no le notificó al usuario acerca de la restauración sino hasta el 30 de septiembre, es decir, dos días después de que el Consejo le pidiera a Meta el contenido del mensaje enviado al usuario. Meta explicó que el retraso en el envío del mensaje fue consecuencia de un error humano. En el mensaje en sí, no se le informaba al usuario que se había restaurado su contenido a raíz de la apelación que había hecho ante el Consejo y la selección del Consejo de este caso.

Association on American Indian Affairs señaló en un comentario del público (10208) que la cita que se usó como título de la obra de arte corresponde a Richard Henry Pratt, oficial del ejército que estableció el primer internado federal para pueblos indígenas de los Estados Unidos de América. La frase resumía las políticas que respaldaban la creación de internados, cuya finalidad era "civilize" (civilizar) por la fuerza a los pueblos nativos y "eradicate all vestiges of Indian culture" (erradicar todo vestigio de la cultura indígena). En Canadá, se implementaron políticas similares, que Truth and Reconciliation Commission of Canada consideró equivalentes a un genocidio cultural.

La alusión del usuario a lo que sucedió en "Kamloops" hace referencia a la escuela residencial para pueblos indígenas de Kamloops, que fue un internado para los niños de las Naciones Originarias de Columbia Británica, Canadá. En mayo de 2021, líderes de la Nación Originaria Tk’emlúps te Secwépemc anunciaron el descubrimiento de tumbas sin identificación en Kamloops. Las autoridades confirmaron la presencia de 200 probables lugares de sepultura en la zona.

El Gobierno canadiense estima que al menos 150.000 niños indígenas pasaron por el sistema escolar residencial antes de que se cerrara el último internado en 1997. Con frecuencia, se separaba a los niños indígenas de sus familias por la fuerza, y se les prohibía expresar cualquier aspecto de la cultura indígena. En los internados, se empleaban castigos físicos severos y abusivos, y el personal cometía o toleraba abusos sexuales y actos violencia graves contra muchos estudiantes. Los estudiantes sufrían desnutrición, no había suficiente aseo ni calefacción en los internados, y muchos niños morían a causa de tuberculosis y otras enfermedades con atención médica mínima. Truth and Reconciliation Commission concluyó que al menos 4.100 estudiantes murieron mientras se encontraban en los internados, muchos como consecuencia de maltratos o negligencias, y otros a raíz de enfermedades o accidentes.

3. Autoridad y alcance

El Consejo tiene la facultad para revisar la decisión de Meta tras la apelación de un usuario cuyo contenido se eliminó (Artículo 2, sección 1, del acta constitutiva; Artículo 3, sección 1, de los estatutos). El Consejo puede mantener o revertir la decisión de Meta, y la decisión que tome será vinculante para la empresa (Artículo 4 y Artículo 3, sección 5, del acta constitutiva). Las decisiones del Consejo pueden incluir declaraciones de asesoramiento normativo con recomendaciones no vinculantes a las que Meta debe responder (Artículo 4 y Artículo 3, sección 4, del acta constitutiva).

Cuando el Consejo selecciona casos como este, en los que Meta posteriormente reconoce que cometió un error, el Consejo revisa la decisión inicial para entender mejor la causa de los errores y para realizar observaciones o recomendaciones que pudieran contribuir a la disminución de los errores y la optimización del debido proceso. Tras su decisión del caso de síntomas del cáncer de mama y desnudos (2020-004-IG-UA, sección 3), el Consejo implementó un proceso que le permite a Meta identificar si hubo algún error del sistema de cumplimiento de normas antes de que el caso se asigne a un panel (consultar: informes de transparencia, página 30). Es inútil que, en estos casos, Meta centre su justificación por completo en la decisión revisada, explique lo que debería haber ocurrido con el contenido del usuario y, a la vez, le pida al Consejo que mantenga esto como la decisión "definitiva" de la empresa. Además de explicar por qué la decisión que el usuario apeló era incorrecta, el Consejo sugirió que Meta explicara cómo ocurrió el error y por qué el proceso de revisión interna de la empresa no pudo identificarlo o corregirlo. El Consejo seguirá basando sus revisiones en las decisiones que los usuarios apelaron.

4. Normas pertinentes

El Consejo asesor de contenido consideró las siguientes normas en su decisión:

I.Normas comunitarias de Facebook:

Las Normas comunitarias de Facebook definen el lenguaje que incita al odio como "un ataque directo a personas según lo que llamamos características protegidas, por ejemplo, raza, etnia, nacionalidad, religión, orientación sexual, casta, sexo, género, identidad de género y discapacidad o enfermedad grave". Conforme al "nivel 1", el contenido prohibido incluye "el lenguaje que incita a la violencia o que la apoya, tanto de forma escrita como visual". La norma comunitaria también cuenta con concesiones para distinguir el contenido no infractor.

Somos conscientes de que, a veces, las personas comparten contenido que incluye lenguaje que incita al odio emitido por otra persona con la intención de repudiarlo o concientizar a los demás. En otros casos, el lenguaje que, de otra manera, infringiría nuestras normas puede usarse de forma autorreferencial o con fines de motivación. Nuestras políticas están diseñadas para dar espacio a estos tipos de lenguaje, pero exigimos que la intención quede clara. Si no es el caso, el contenido podría eliminarse.

II. Valores de Meta:

Los valores de Meta se detallan en la introducción a las Normas comunitarias de Facebook. El valor de "expresión" se describe como fundamental.

Nuestras Normas comunitarias siempre apuntaron a crear un espacio donde las personas puedan expresarse y dar a conocer su opinión. [...] Queremos que las personas puedan hablar abiertamente sobre los temas que les importan, incluso si otros no están de acuerdo o los consideran objetables.

Meta limita la "expresión" en favor de otros cuatro valores, y dos de ellos son relevantes en este caso.

Seguridad: nos comprometemos a hacer de Facebook un lugar seguro. La expresión que supone una amenaza para las personas puede intimidar, excluir o silenciar a otros, por lo que no está permitida en Facebook.

Dignidad: creemos que todas las personas son dignas y tienen los mismos derechos. Esperamos que esas personas respeten la dignidad de los demás y no los acosen ni los degraden.

III. Normas de derechos humanos:

Los Principios Rectores sobre las Empresas y los Derechos Humanos de la ONU (UNGP), respaldados por el Consejo de Derechos Humanos de la ONU en 2011, establecen un marco voluntario que encuadra las responsabilidades de las empresas privadas en cuanto a estos derechos. En 2021, Meta anunció su Política corporativa de derechos humanos, con la que reafirmó su compromiso con el respeto de los derechos humanos de conformidad con los UNGP. El análisis del Consejo sobre las responsabilidades de Meta respecto de los derechos humanos en este caso se basó en las siguientes normas de derechos humanos:

• Libertad de expresión: Artículo 19 del Pacto Internacional de Derechos Civiles y Políticos (ICCPR); observación general n.º 34 del Comité de Derechos Humanos de 2011; Artículo 5 de la Convención Internacional sobre la Eliminación de todas las Formas de Discriminación Racial (ICERD); informe del Relator Especial de la ONU sobre lenguaje que incita al odio, A/74/486 (2019); informe del Relator Especial de la ONU sobre moderación de contenido online, A/HRC/38/35 (2018).
• Igualdad y no discriminación: Artículo 2, párrafo 1, y Artículo 26 del ICCPR; Artículo 2 de la ICERD; recomendación general n.º 35, Comité para la Eliminación de la Discriminación Racial (2013).
• Derechos culturales: Artículo 27 del ICCPR; Artículo 15 del Pacto Internacional de Derechos Económicos, Sociales y Culturales (ICESCR); informe del Relator Especial de la ONU en el ámbito de los derechos humanos, sobre la libertad artística y la creatividad, A/HRC/23/34 (2013).
• Derechos de los pueblos indígenas: Declaración de las Naciones Unidas sobre los derechos de los pueblos indígenas, Artículo 7, párrafo 2; Artículo 8, párrafo 1, y Artículo 19.

5. Declaración del usuario

El usuario declaró en su apelación ante el Consejo que su publicación exhibía una pieza de arte tradicional que documentaba hechos históricos y que no tenía nada que ver con lenguaje que incita al odio. Además, expresó que esta historia debía darse a conocer y, en relación con la eliminación de la publicación por parte de Meta, afirmó que se trataba de censura.

6. Explicación de la decisión de Meta

Meta le dijo al Consejo que la frase "Kill the Indian" (Maten al indio) constituía un ataque de nivel 1 conforme a la norma comunitaria sobre lenguaje que incita al odio de Facebook, que prohíbe el "lenguaje que incita a la violencia" dirigido a personas sobre la base de características protegidas, entre ellas, la raza o etnia. No obstante, Meta reconoció que la eliminación del contenido fue incorrecta porque la política permite compartir lenguaje que incita al odio pronunciado por otra persona para "condenarlo o concientizar a los demás". Meta señaló que el usuario indicó en la publicación que su propósito era generar conciencia respecto de la terrible historia ocurrida en Kamloops.

Meta destacó que la frase "Kill the Indian/Save the Man" (Maten al indio, salven al hombre) se originó en la asimilación forzada de niños indígenas. Al generar conciencia sobre la historia de Kamloops, el usuario también quería generar conciencia acerca de la asimilación forzada mediante escuelas residenciales. En respuesta a una pregunta del Consejo, Meta aclaró que no era necesario que el revisor de contenido conociera esta historia para aplicar la política de forma adecuada. En la publicación del usuario, se indicó que se pretendía generar conciencia sobre una historia terrible, y, por lo tanto, el revisor podía, dentro de lo razonable, concluir que la finalidad de la publicación era concientizar acerca del lenguaje que incita al odio citado.

Meta informó al Consejo que ningún usuario reportó el contenido de este caso. Meta usa clasificadores con aprendizaje automático entrenados para detectar de forma automática posibles infracciones de las Normas comunitarias de Facebook. En este caso, dos clasificadores identificaron la publicación como posible lenguaje que incita al odio de forma automática. Según el primer clasificador que analizó el contenido, no había demasiada certeza de que la publicación infringiera la norma comunitaria. Sin embargo, otro clasificador determinó, sobre la base de varias señales contextuales, que la publicación podría compartirse muchas veces y podría ser vista por muchas personas. Dado el daño potencial que podía surgir a partir de la distribución extendida de lenguaje que incita al odio, el sistema de Meta envió la publicación a revisión manual de forma automática.

Meta aclaró en sus respuestas a las preguntas del Consejo que un revisor situado en la región de Asia-Pacífico determinó que la publicación incluía lenguaje que incita al odio y la eliminó de la plataforma. El usuario apeló dicha acción, y un segundo revisor de la región de Asia-Pacífico revisó el contenido y también determinó que se trataba de lenguaje que incita al odio. Meta le confirmó al Consejo que los moderadores no registran la justificación de las decisiones que toman respecto del contenido de forma individual.

7.Comentarios de terceros

El Consejo asesor de contenido consideró ocho comentarios del público relacionados con este caso: cuatro de los Estados Unidos y Canadá, dos de Europa, uno de África subsahariana y uno de Asia-Pacífico y Oceanía. En los comentarios, se abordaron diferentes temas, entre ellos, la importancia de la cita en la que el usuario basó el título de su obra de arte, contexto sobre el uso de escuelas residenciales en Norteamérica y cómo la moderación de contenido de Meta afecta la libertad artística y los derechos de expresión de personas de identidad u origen indígenas.

Si quieres leer los comentarios del público que se enviaron en relación con este caso, haz clic aquí.

8.Análisis del Consejo asesor de contenido

El Consejo analizó la pregunta de si este contenido debería restaurarse sobre la base de tres perspectivas: las Normas comunitarias de Facebook, los valores de Meta y sus responsabilidades respecto de los derechos humanos.

8.1. Cumplimiento de las Normas comunitarias

Meta estuvo de acuerdo en que su decisión original de eliminar este contenido se contraponía a las Normas comunitarias de Facebook y que fue un "error del sistema de cumplimiento de normas". El Consejo determinó que, inequívocamente, el contenido de este caso no constituye lenguaje que incita al odio. Este contenido es un claro ejemplo de "respuesta a contenido ofensivo", donde se hace referencia a lenguaje que incita al odio o se hace una reapropiación de este como una forma de lucha contra la opresión y la discriminación.

En la norma comunitaria sobre lenguaje que incita al odio, se permite de forma explícita el "contenido que incluye lenguaje que incita al odio emitido por otra persona con la intención de reprobarlo o concientizar a los demás". No obstante, dos moderadores por separado concluyeron que esta publicación constituía lenguaje que incita al odio. Meta no pudo especificar los motivos por los que este error en particular se cometió dos veces.

En el caso de la cita nazi (2020-005-FB-UA), el Consejo destacó que el contexto en que se usa una cita es importante para comprender su significado. En ese caso, el contenido y el significado de la cita, la fecha de la publicación y el país donde se realizó, así como la sustancia de las reacciones y comentarios que ocurrieron en ella fueron claros indicios de que el usuario no pretendía elogiar a una figura designada como ofensiva.

El Consejo determinó que no era necesario que el usuario indicara expresamente que quería generar conciencia para que la intención y el significado de esta publicación fueran claros. La obra de arte ilustrada contaba la historia de lo que había ocurrido en Kamloops, y el relato incluido explicaba su importancia. Si bien las palabras "Kill the Indian" (Maten al indio), de manera aislada, constituyen lenguaje que incita al odio, al evaluar el contenido de forma integral, no quedan dudas de que la frase se usa para concientizar sobre el odio y la discriminación, y condenarlos. En el contenido, se usaron comillas para distinguir la frase ofensiva del título, que de forma completa era "Kill the Indian/Save the Man" (Maten al indio, salven al hombre). Esto debería haberle dado una pauta al revisor para detenerse y analizarlo en detalle. El modo en que el usuario contó la historia de Kamloops y explicó la importancia cultural del cinturón de abalorios dejó en claro que se identificaba con las víctimas que sufrieron discriminación y violencia, y no con los perpetradores de estas. Su relato condenaba sin duda los eventos descubiertos en Kamloops. A partir de los comentarios y las reacciones que ocurrieron en la publicación, fue evidente que el público del usuario entendió la intención de condena y concientización.

El Consejo señaló que en las "preguntas frecuentes" internas de Facebook, que forman parte de las pautas proporcionadas a los moderadores, se instruye a estos últimos a priorizar la eliminación del contenido que incluye lenguaje que incita al odio cuando la intención del usuario no está clara. En ellas, también se indica que una declaración de intención clara no siempre será suficiente para cambiar el significado de una publicación que constituye lenguaje que incita al odio. En estas pautas internas, se ofrece poca instrucción a los moderadores respecto de cómo distinguir de forma adecuada el lenguaje que incita al odio prohibido de las respuestas a contenido ofensivo que lo citan para condenarlo o concientizar al respecto. Según la información de la que dispone el Consejo, no hay pautas que expliquen cómo evaluar indicios de la intención en el contenido artístico que cita o usa términos que constituyen lenguaje que incita al odio o en el contenido que trata infracciones de los derechos humanos, cuando concesiones correspondientes a la política amparan dicho contenido.

8.2 Cumplimiento de los valores de Meta

El Consejo determinó que la decisión original de eliminar el contenido no se tomó de conformidad con los valores de Meta de "expresión" y "dignidad", ni atendió el valor de "seguridad". Si bien fue coherente con los valores de Meta que exigen limitar la difusión de lenguaje que incita al odio en sus plataformas, al Consejo le preocupa que los procesos de moderación de Meta no puedan identificar y proteger de forma adecuada la facultad de las personas que enfrentan actos de marginación o discriminación de poder expresarse a través de respuestas a contenido ofensivo.

Meta manifestó su compromiso con las respuestas a contenido ofensivo.

Como comunidad, plataforma de medios sociales y conjunto de experiencias humanas compartidas, Facebook apoya las iniciativas de contraargumentos críticos al aplicar políticas de contenido contundentes y trabajar junto con comunidades locales, legisladores, expertos y agentes de cambio a fin de impulsar este tipo de iniciativas en todo el mundo.

Meta afirmó que la "expresión" es el valor más importante de la empresa. Las expresiones artísticas que tienen la finalidad de esclarecer los horrores de atrocidades del pasado e instruir a las personas acerca de su impacto a largo plazo son una de las manifestaciones del valor de "expresión" más poderosas e importantes, en especial, cuando se trata de grupos marginados que expresan su propia cultura y luchan por lograr que se escuche su propia historia. Además de ser una representación de la "expresión", las respuestas a contenido ofensivo constituyen una herramienta clave para que aquellos a quienes se dirige lenguaje que incita al odio puedan proteger su propia dignidad y aminorar las conductas opresivas, discriminatorias y denigrantes. Meta debe garantizar que sus políticas de contenido y prácticas de moderación contemplen esta forma de expresión y la protejan.

Decirle a un usuario que pretende generar conciencia acerca de atrocidades masivas que se suprime su discurso por constituir lenguaje que incita al odio es una afrenta a su dignidad. Esta acusación, en particular, cuando Meta la confirma en una apelación, podría generar autocensuras.

8.3 Cumplimiento de las responsabilidades de Meta con los derechos humanos

El Consejo concluyó que la eliminación de esta publicación trasgredió las responsabilidades de Meta como empresa con los derechos humanos. Meta se comprometió a respetar los derechos humanos de conformidad con los Principios Rectores sobre las Empresas y los Derechos Humanos de la ONU (UNGP). En su Política corporativa de derechos humanos, se dispone que esto incluye el Pacto Internacional de Derechos Civiles y Políticos (ICCPR).

Este es el primer caso del Consejo que se refiere a expresiones artísticas, así como su primer caso en relación con una expresión en que el usuario se identifica a sí mismo como indígena. Es uno de los varios casos seleccionados por el Consejo en los que el usuario procuraba dirigir la atención hacia infracciones graves de los derechos humanos.

Libertad de expresión (Artículo 19 del ICCPR)

Las normas internacionales de derechos humanos hacen hincapié en el valor de la expresión política (observación general n.º 34, párrafo 38, del Comité de Derechos Humanos). El alcance de la protección de este derecho se especifica en el Artículo 19, párrafo 2, del ICCPR, donde se hace una mención especial a la expresión "en forma de arte". En la Convención Internacional sobre la Eliminación de todas las Formas de Discriminación Racial (ICERD), también se dispone la protección contra la discriminación en el ejercicio del derecho a la libertad de expresión (Artículo 5), y el Comité a cargo de controlar el cumplimiento por parte de los Estados hizo hincapié en la importancia que tiene el derecho en lo que respecta a la asistencia de los "grupos vulnerables para reajustar el equilibrio de poder entre los componentes de la sociedad" y al ofrecimiento de "opiniones alternativas y argumentos contrarios" en los debates (recomendación n.º 35, párrafo 29, del Comité de la ICERD).

El arte suele ser una manifestación política, y las normas internacionales reconocen el papel único y decisivo que esta forma de comunicación tiene para cuestionar el statu quo (Relator Especial de la ONU en el ámbito de los derechos culturales, A/HRC/23/34, párrafos 3 y 4). Internet y las plataformas de medios sociales, como Facebook e Instagram, en particular, tienen especial valor para los artistas en cuanto al alcance de públicos nuevos y más amplios. Es posible que sus medios de vida dependan del acceso a las plataformas de medios sociales que dominan internet.

El derecho a la libertad de expresión se les garantiza a todas las personas sin discriminación (Artículo 19, párrafo 2, del ICCPR). El Consejo recibió comentarios en los que se expresaba que los derechos de los pueblos indígenas a dar su consentimiento informado, previo y libre en sitios donde los Estados implementan medidas legislativas o administrativas que afectan a esas comunidades implican que es responsabilidad de Meta consultar con dichas comunidades al desarrollar sus políticas de contenido (comentario del público 10.240, Minority Rights Group; consultar también el Artículo 19 de la Declaración de las Naciones Unidas sobre los derechos de los pueblos indígenas). El Relator Especial de la ONU sobre la libertad de opinión y de expresión planteó una inquietud similar en el contexto de las responsabilidades de las plataformas de medios sociales (A/HRC/38/35, párrafo 54).

En este caso, el contenido también involucra muchos otros derechos, como los derechos de las personas que pertenecen a minorías nacionales, étnicas o lingüísticas a disfrutar, en comunidad con otros miembros de su grupo, su propia cultura (Artículo 27 del ICCPR) y el derecho a participar en la vida cultural y disfrutar del arte (Artículo 15 del ICESCR). La expresión artística que implica crear un cinturón de abalorios que procuraba registrar atrocidades cometidas contra los derechos humanos y su continuo legado, además de concientizar al respecto, está amparada por el Artículo 6(c) de la Declaración de los defensores de los derechos humanos de la ONU, así como por el derecho a la verdad acerca de las atrocidades (conjunto de principios para la lucha contra la impunidad de la ONU). En la Declaración de las Naciones Unidas sobre los derechos de los pueblos indígenas, se reconoce expresamente que el desarraigo forzado de niños puede ser un acto de violencia y genocidio (Artículo 7, párrafo 2) y se ofrece protección específica contra la asimilación forzada y la destrucción cultural (Artículo 8, párrafo 1).

El Artículo 19 del ICCPR exige que, si un Estado impone restricciones sobre la libertad de expresión, deben cumplir los requisitos de legalidad, fin legítimo y necesidad y proporcionalidad (Artículo 19, párrafo 3, del ICCPR). El Relator Especial de la ONU sobre la libertad de expresión animó a las empresas de medios sociales a tomar como guía estos principios al moderar la expresión online, ya que la regulación de la expresión a escala realizada por empresas privadas podría generar inquietudes específicas según ese contexto (A/HRC/38/35, párrafos párrafos 45 y 70). El Consejo usó la prueba de tres partes con base en el Artículo 19 del ICCPR en todas sus decisiones hasta la fecha.

I. Legalidad (claridad y accesibilidad de las reglas)

La norma comunitaria sobre lenguaje que incita al odio admite manifiestamente el contenido que condena al lenguaje que incita al odio o concientiza al respecto. La claridad y la accesibilidad de este componente de la política son suficientes para que el usuario comprenda las reglas y actúe en consecuencia (observación general n.º 34, párrafo 25). En la norma sobre legalidad, también se exige que las reglas que restringen la expresión "proporcionen suficientes pautas para aquellos que están a cargo de su implementación, de manera que puedan definir qué tipos de expresión pueden restringirse de forma adecuada y cuáles no" (ibidem). La imposibilidad de dos moderadores de evaluar de forma adecuada la aplicación de las concesiones correspondientes a la política a este contenido indica que posiblemente deban proporcionarse pautas internas adicionales a los moderadores.

II. Fin legítimo

Cualquier restricción estatal sobre la libertad de expresión debe procurar alguno de los fines legítimos mencionados en el Artículo 19, párrafo 3, del ICCPR. En sus respuestas al Consejo, Meta sistemáticamente se refirió a los fines de esta lista al justificar las medidas que había tomado para limitar discursos. El Consejo previamente reconoció que la norma comunitaria sobre lenguaje que incita al odio de Facebook procura el fin legítimo de proteger los derechos de los demás. Esos derechos incluyen el derecho a la igualdad y a la no discriminación, la libertad de expresión y el derecho a la integridad física.

III. Necesidad y proporcionalidad

El evidente error ocurrido en este caso significa que obviamente la eliminación no era necesaria, y Meta estuvo de acuerdo. Al Consejo le preocupa que un error tan inequívoco pudiera indicar que existen problemas de proporcionalidad más profundos en los procesos de revisión manual y automática de Meta. Toda restricción que se aplique a la libertad de expresión debe ser adecuada a fin de cumplir su función de protección y debe ser el instrumento menos invasivo entre aquellos que le permitan cumplir dicha función (observación general n.º 34, párrafo 34). El cumplimiento del sistema de moderación de contenido de Meta respecto de los requisitos de necesidad y proporcionalidad depende en gran medida de su eficacia para eliminar lenguaje que incita al odio real y, a la vez, minimizar el número de detecciones y eliminaciones erróneas.

Cada publicación que se elimina por error perjudica la libertad de expresión. El Consejo entiende que los errores son inevitables, tanto para los seres humanos como para las máquinas. El lenguaje que incita al odio y las respuestas a él siempre dependen del contexto, y los límites no siempre están claros. Sin embargo, los tipos de errores y las personas o comunidades que cargan el peso de esos errores señalan decisiones relativas al diseño que deben evaluarse y examinarse de forma constante. Esto requiere que se investigue más a fondo la raíz del error ocurrido en este caso y que se evalúe de forma más amplia la eficacia de la moderación de las respuestas a contenido ofensivo.

Dada la importancia del arte crítico de los artistas indígenas para contrarrestar el odio y la opresión, el Consejo espera que Meta tenga especial sensibilidad ante la posibilidad de eliminar de forma incorrecta el contenido de este caso y contenido similar en Facebook e Instagram. No alcanza con evaluar el rendimiento de la aplicación de la política sobre lenguaje que incita al odio de Facebook por parte de Meta de forma integral. Es posible que un sistema que funcione bien en términos generales tenga un rendimiento bastante deficiente en subcategorías de contenido, en las que tomar decisiones incorrectas perjudica en gran medida los derechos humanos. Quizá los tipos de errores ocurridos en este caso sean poco frecuentes. Sin embargo, el Consejo señaló que miembros de grupos marginados manifiestan preocupación por el índice y el impacto de las eliminaciones a causa de falsos positivos desde hace varios años. Los errores cometidos en este caso indican que le corresponde a Meta demostrar que ejerce debida diligencia respecto de los derechos humanos para garantizar que sus sistemas funcionen de forma justa y no exacerben opresiones históricas y presentes (Principio 17 de los UNGP).

Meta evalúa habitualmente la precisión de sus sistemas de aplicación de políticas en lo que respecta al trato del lenguaje que incita al odio. Esta evaluación no se divide en evaluaciones de precisión que midan específicamente la capacidad de Meta de distinguir el lenguaje que incita al odio del contenido permitido que lo condena o concientiza al respecto.

Los procesos existentes de Meta también incluyen mecanismos ad hoc para identificar tendencias de errores e investigar las causas raíz de estos. Sin embargo, para ello se necesitan amplias muestras de contenido con las que se pueda medir el rendimiento del sistema. El Consejo consultó si Meta analizó específicamente el rendimiento de sus sistemas de revisión en cuanto a la evaluación precisa de las respuestas a contenido ofensivo que constituyen expresiones artísticas y aquellas con las que se pretende concientizar acerca de infracciones de los derechos humanos. Meta indicó al Consejo que no había realizado investigaciones específicas sobre el impacto de las eliminaciones por falsos positivos de las expresiones artísticas o de las expresiones de personas de identidad u origen indígenas.

Meta le indicó al Consejo que enfrenta obstáculos para comenzar dichas evaluaciones, por ejemplo, la falta de un sistema para automatizar la recopilación de una muestra de contenido que pudiera beneficiarse a partir de las concesiones correspondientes a la política. Esto ocurre porque los revisores marcan el contenido como infractor o no infractor, pero no se les pide que indiquen cuando el contenido no infractor involucra una concesión correspondiente a alguna política. La recopilación de una muestra que incluya respuestas a contenido ofensivo amparadas por esta concesión debería hacerse de forma manual.

Si bien al Consejo le resultó alentador el nivel de detalle provisto acerca de cómo Meta evalúa el rendimiento durante una sesión de preguntas y respuestas que solicitó, no hay dudas de que debe invertirse más en evaluar la precisión de la aplicación de las concesiones correspondientes a la política sobre lenguaje que incita al odio y en aprender de las tendencias de errores. Sin información adicional sobre las decisiones relativas al diseño que Meta toma y el rendimiento de sus sistemas manuales y automáticos, es difícil para el Consejo o Meta evaluar la proporcionalidad del enfoque actual de Meta respecto del lenguaje que incita al odio.

Al evaluar si es necesario y proporcionado usar las herramientas de aprendizaje automático específicas activas en este caso para detectar posible lenguaje que incita al odio de forma automática, conocer la precisión de dichas herramientas es clave. Los clasificadores de aprendizaje automático siempre suponen una compensación entre los índices de falsos positivos y falsos negativos. Cuanto más sensible es un clasificador, más probable es que identifique de forma correcta instancias de lenguaje que incita al odio, pero también es más probable que marque material que no constituye lenguaje que incita al odio de forma incorrecta. La utilidad y la eficacia de los clasificadores entrenados de distintos modos y de los diferentes modelos varían según las diversas tareas. Para cualquier modelo dado, pueden usarse distintos umbrales que reflejen un criterio sobre la importancia relativa de evitar diferentes tipos de errores. La probabilidad de que ocurran errores y la gravedad de estos también deben tenerse en cuenta al tomar decisiones sobre cómo emplear un clasificador, por ejemplo, si puede realizar una acción de inmediato o si requiere aprobación manual, y qué protecciones se implementan.

Meta explicó que sus sistemas automáticos enviaron la publicación en cuestión a revisión en este caso porque era probable que la viera una gran cantidad de personas. Este método puede limitar la difusión de material dañino, pero también es probable que aumente el riesgo de que expresiones artísticas poderosas que contrarrestan el odio se eliminen de forma incorrecta. Meta le indicó al Consejo que regularmente evalúa el índice de falsos positivos en función del tiempo, y lo hace respecto de un conjunto de decisiones tomadas por revisores especializados. Meta también señaló que era posible evaluar la precisión de los modelos de aprendizaje automático específicos que eran de interés en este caso y que conserva la información de las predicciones de sus clasificadores durante, al menos, 90 días. El Consejo solicitó información que nos permitiría evaluar el rendimiento del clasificador y la idoneidad de los umbrales que Meta empleó en este caso. Meta le explicó al Consejo que no podía proporcionar la información que el Consejo requería porque no tenía tiempo suficiente para prepararla. Sin embargo, Meta destacó que estaba considerando la factibilidad de proporcionar dicha información en futuros casos.

La revisión manual pudo haber proporcionado dos protecciones importantes en el funcionamiento de los clasificadores de Meta: primero, antes de que la publicación se eliminara y, luego, otra vez, ante la apelación. Los errores cometidos en este caso indican que las pautas que Meta ofrece a los moderadores que evalúan respuestas a contenido ofensivo podrían no ser suficientes. Hay muchísimos motivos que podrían haber contribuido a que los moderadores humanos llegaran dos veces a la misma decisión equivocada en este caso. Al Consejo le preocupa que quizá los revisores no cuenten con suficientes recursos en términos de tiempo o capacitación para evitar el tipo de error cometido en este caso, en especial, respecto del contenido que se permite conforme a las concesiones correspondientes a las políticas (por ejemplo, "condenar" lenguaje que incita al odio y "concientizar" al respecto).

En este caso, ambos revisores se encontraban en la región de Asia-Pacífico. Meta no pudo brindar información al Consejo sobre si los índices de precisión de los revisores variaban cuando los moderadores que evaluaban el posible lenguaje que incita al odio no se encontraban en la misma región en que se había originado el contenido. El Consejo destacó la complejidad de evaluar el lenguaje que incita al odio y la dificultad para comprender el contexto y la historia locales, en especial, si se tiene en cuenta la gran cantidad de contenido que los moderadores revisan cada día. Es concebible que los moderadores que evaluaron el contenido en este caso tuvieran menos experiencia en torno a la opresión de los pueblos indígenas en Norteamérica. Las pautas deberían incluir instrucciones claras para evaluar el contenido en su totalidad y ayudar a los moderadores a evaluar el contexto con mayor precisión a fin de distinguir indicios de la intención y el significado.

El Consejo recomendó en la decisión del caso del meme de los dos botones (2021-005-FB-UA) que Meta les permitiera a los usuarios indicar en la apelación que su contenido estaba amparado por una de las concesiones a la norma comunitaria sobre lenguaje que incita al odio de Facebook. Actualmente, cuando un usuario apela una de las decisiones de Meta que pasan a revisión manual, no se le informa al revisor que el usuario refutó una decisión anterior ni se le proporciona el resultado de la revisión previa. Si bien Meta le indicó al Consejo que cree que esta información sesgará la revisión, al Consejo le interesaría saber si esta información podría aumentar la probabilidad de que la toma de decisiones tuviera más matices. Meta podría hacer pruebas empíricas para responder esta pregunta. Los resultados de dichas pruebas serían útiles para evaluar la proporcionalidad de las medidas específicas que Meta decidió implementar.

Conforme a los UNGP, Meta tiene la responsabilidad de ejercer la debida diligencia respecto de los derechos humanos (Principio 17). Entre otras cosas, debe identificar toda incidencia negativa que la moderación de contenido pudiera tener en la expresión artística y la expresión política de los pueblos indígenas que pretenden contrarrestar la discriminación. Meta debe definir en detalle cómo prevendrá, mitigará y justificará sus iniciativas para abordar dichas incidencias negativas. El Consejo asumió el compromiso de supervisar el rendimiento de Meta y espera ver que la empresa priorice los riesgos relacionados con grupos marginados y demuestre evidencia de mejoras continuas.

9.Decisión del Consejo asesor de contenido

El Consejo asesor de contenido anuló la decisión original de Meta de eliminar el contenido.

10. Declaraciones de asesoramiento normativo

Aplicación

1. Notifique a los usuarios de forma oportuna y precisa toda acción que la empresa realice en torno al contenido relacionado con su apelación. Cuando corresponda (incluidos los casos de errores del sistema de cumplimiento de normas como este), el aviso enviado al usuario debe reconocer que la acción se realizó a raíz del proceso de revisión del Consejo asesor de contenido. Meta debe compartir los mensajes enviados a los usuarios cuando las acciones del Consejo afecten decisiones de contenido que los usuarios apelaron, a fin de demostrar su cumplimiento con esta recomendación. Estas acciones deben realizarse en relación con todos los casos corregidos en la etapa de elegibilidad del proceso del Consejo.

2. Estudie cómo afectarían a la precisión y la productividad de los revisores ciertas modificaciones a los métodos de revisión secundaria. En particular, el Consejo solicita una evaluación de los índices de precisión cuando se les informa a los moderadores de contenido que realizan una revisión secundaria, de modo que sepan que la resolución inicial se refutó. Idealmente, este experimento debería ofrecer la posibilidad a los usuarios de proporcionar contexto pertinente que les permitiera a los revisores evaluar su contenido, en consonancia con las recomendaciones previas del Consejo. Meta debe compartir los resultados de estas evaluaciones de la precisión con el Consejo y resumir los resultados en el informe de transparencia que presenta ante el Consejo de forma trimestral para demostrar su cumplimiento con esta recomendación.

3. Lleve a cabo evaluaciones de la precisión centradas en las concesiones correspondientes a las políticas sobre lenguaje que incita al odio, que amparan la expresión artística y la expresión sobre infracciones de los derechos humanos (p. ej., actos de condena, concientización, uso autorreferencial, uso inspirador). En esta evaluación, también se debe investigar específicamente cómo el lugar de residencia del revisor afecta la capacidad de los moderadores de evaluar con precisión el lenguaje que incita al odio y las respuestas a contenido ofensivo originados en la misma región u otras regiones. El Consejo entiende que este análisis posiblemente requiera la recopilación de muestras de contenido relevante identificadas de forma adecuada y precisa. Meta debe compartir los resultados de esta evaluación con el Consejo, entre otras cosas, cómo estos resultados se usarán para mejorar las operaciones de cumplimiento de normas y el desarrollo de políticas, y si prevé llevar a cabo evaluaciones de la precisión de los revisores de forma regular en torno a estas concesiones. Además, debe resumir los resultados en el informe de transparencia que presenta ante el Consejo de forma trimestral para demostrar su cumplimiento con esta recomendación.

* Nota de procedimiento:

La preparación de las decisiones del Consejo asesor de contenido está a cargo de paneles conformados por cinco miembros, quienes deben aprobarlas por mayoría. Las decisiones del Consejo no necesariamente representan las opiniones personales de todos los miembros.

En cuanto a la decisión del caso, se encargó una investigación independiente en nombre del Consejo. Un instituto de investigación independiente con sede en la Universidad de Gotemburgo y un equipo conformado por más de 50 científicos sociales de seis continentes, así como 3.200 expertos de diferentes países del mundo y Duco Advisors, una empresa asesora dedicada a la intersección de geopolítica, confianza, seguridad y tecnología, ofrecen sus conocimientos sobre contextos culturales y sociopolíticos.

Volver a Decisiones de casos y opiniones consultivas sobre políticas