Anulado
Reapropiación de términos árabes
13 de junio de 2022
El Consejo asesor de contenido anuló la decisión original de Meta de eliminar una publicación de Instagram que, según el usuario, mostraba imágenes de palabras árabes que pueden usarse de forma despectiva en referencia a los hombres con maneras afeminadas.
El Consejo asesor de contenido anuló la decisión original de Meta de eliminar una publicación de Instagram que, según el usuario, mostraba imágenes de palabras árabes que pueden usarse de forma despectiva en referencia a los hombres con "maneras afeminadas". El contenido estaba cubierto por una excepción a la política sobre el lenguaje que incita al odio de Meta, y no debería haberse retirado.
Información sobre el caso
En noviembre de 2021, una cuenta de Instagram pública que se describe como un espacio para debatir narrativas queer en la cultura árabe publicó una serie de fotos en secuencia (una sola publicación de Instagram que puede contener hasta diez imágenes con un solo texto). El texto, redactado en árabe y en inglés, explicaba que cada imagen incluía una palabra diferente que puede usarse de forma despectiva hacia los hombres con "maneras afeminadas" en el mundo árabe, incluidos los términos "zamel", "foufou" y "tante/tanta". El usuario señaló que la publicación tenía el objeto de reapropiar el poder de términos tan hirientes.
Inicialmente, Meta eliminó el contenido porque infringía su política sobre el lenguaje que incita al odio, pero lo restauró después de que el usuario apelara la decisión. Tras recibir un reporte de otro usuario, Meta volvió a eliminar el contenido por infringir su política sobre el lenguaje que incita al odio. Según Meta, antes de que el Consejo seleccionara este caso, el contenido se había remitido para una revisión interna adicional, que dictaminó que, de hecho, no infringía la política sobre el lenguaje que incita al odio de la empresa. Seguidamente, Meta restauró el contenido en Instagram. Meta explicó que las decisiones iniciales de eliminar el contenido se basaron en revisiones de las imágenes que contenían los términos "z***l" y "t***e/t***a".
Conclusiones principales
El Consejo considera que la eliminación del contenido constituye un claro error y un incumplimiento de la política sobre el lenguaje que incita al odio de Meta. Aunque la publicación contiene términos que constituyen insultos, el contenido está cubierto por una excepción relativa a lenguaje utilizado de forma autorreferencial o motivadora, así como una excepción que permite citar lenguaje que incita al odio para condenar o concientizar. Las afirmaciones del usuario de que no aprobaba ni alentaba el uso de los insultos en cuestión y que su objetivo era reapropiar el poder de términos tan hirientes deberían haber alertado al moderador sobre la posibilidad de que hubiera lugar a una excepción.
Para personas LGBTQIA+ en países que reprimen su derecho de expresión, los medios sociales suelen ser el único canal que tienen para expresarse con libertad. El exceso de moderación del lenguaje de las personas de grupos minoritarios perseguidos constituye una grave amenaza a su libertad de expresión. Por lo tanto, en casos de expresión de grupos marginados, al Consejo le preocupa que Meta no contemple excepciones coherentes al aplicar la política sobre el lenguaje que incita al odio.
Los errores de este caso, en el que participaron tres moderadores distintos que determinaron que el contenido infringía la política sobre el lenguaje que incita al odio, indican que las pautas de Meta para moderadores que evalúan referencias a términos despectivos podrían ser insuficientes. Al Consejo le preocupa que los revisores no tengan suficientes recursos en términos de capacidad o capacitación para evitar errores como el observado en este caso.
Proporcionar pautas a los moderadores de contenido en idioma inglés sobre el modo de revisar contenido en otros idiomas, como hace actualmente Meta, plantea desafíos inherentes. Para que los moderadores puedan evaluar mejor cuándo deben aplicar excepciones a contenido que contenga insultos, el Consejo recomienda a Meta traducir sus pautas internas a los dialectos del árabe que utilizan sus moderadores.
Asimismo, el Consejo cree que, a efectos de formular listas detalladas de insultos y ofrecer pautas apropiadas a los moderadores sobre la aplicación de excepciones a su política sobre insultos, Meta debe consultar de forma habitual a las minorías que sean objeto de tales insultos en las culturas y los países específicos. Además, Meta debe mostrar una mayor transparencia sobre el modo en que crea sus listas de insultos para cada mercado, las aplica y las evalúa.
La decisión del Consejo asesor de contenido
El Consejo asesor de contenido anuló la decisión original de Meta de eliminar el contenido.
En su declaración de asesoramiento normativo, el Consejo recomendó que Meta hiciera lo siguiente:
- Traducir las normas internas de implementación y las preguntas conocidas a dialectos del árabe utilizados por sus moderadores de contenido. Esto podría reducir los casos de moderación excesiva en regiones de habla árabe, ya que los moderadores podrían evaluar mejor cuándo corresponde aplicar excepciones relativas a contenido que contenga insultos.
- Publicar una explicación clara sobre el modo en que crea sus listas de insultos específicas para cada mercado. Esta explicación debe incluir los procesos y criterios para designar qué insultos y países se asignan a cada lista.
- Publicar una explicación clara sobre el modo en que aplica sus listas de insultos específicas para cada mercado. Esta explicación debe incluir los procesos y criterios para determinar de forma precisa cuándo y dónde se aplicará la prohibición de los insultos, ya sea en referencia a publicaciones cuyo origen geográfico sea la propia región; que tengan su origen fuera de la región, pero que estén relacionadas con ella; o bien guarden relación con todos los usuarios de la propia región, independientemente del origen geográfico de la publicación.
- Publicar una explicación clara sobre el modo en que audita las listas de insultos específicas para cada mercado. Esta explicación debe incluir los procesos y criterios para eliminar insultos de las listas específicas para cada mercado de Meta o bien mantenerlos.
* Los resúmenes de casos ofrecen información general sobre los casos y no sientan precedentes.
Decisión del caso completa
1.Resumen de la decisión
El Consejo asesor de contenido anuló la decisión original de Meta de eliminar una publicación de Instagram realizada por una cuenta que explora narrativas queer de la historia y la cultura popular árabes. El contenido está cubierto por una excepción de la política sobre el lenguaje que incita al odio de Meta, ya que reporta, condena y comenta el uso negativo que hacen otros de los insultos homofóbicos y los emplea en un contexto expresamente positivo.
2. Descripción del caso y contexto
En noviembre de 2021, una cuenta de Instagram pública que se identifica como un espacio para debatir narrativas queer en la cultura árabe publicó una serie de fotos en secuencia (una sola publicación de Instagram que puede contener hasta diez imágenes con un solo texto). El texto, redactado por el usuario en árabe y en inglés, explicaba que cada imagen incluía una palabra diferente que puede usarse de forma despectiva hacia los hombres con "maneras afeminadas" en el mundo árabe, incluidos los términos "zamel", "foufou" y "tante/tanta". En el texto, el usuario indicaba que no aprobaba ni alentaba el uso de estas palabras, pero explicaba que anteriormente habían utilizado una de estas palabras para insultarlo y que la publicación tenía el objetivo de reapropiar el poder de términos tan hirientes. Los expertos externos del Consejo confirmaron que los términos citados en el contenido suelen utilizarse como insultos.
El contenido se visualizó aproximadamente 9.000 veces y obtuvo alrededor de 30 comentarios y 2.000 reacciones. En las tres horas siguientes a la publicación del contenido, un usuario lo reportó como desnudos o actividad sexual de adultos y otro lo reportó como servicios sexuales. Cada uno de los reportes fue revisado por separado por moderadores humanos distintos. El moderador que revisó el primer reporte no realizó ninguna acción, pero el que revisó el segundo eliminó el contenido porque infringía la política sobre lenguaje que incita al odio de Meta. El usuario apeló esta medida y un tercer moderador restauró el contenido en la plataforma. Tras la restauración del contenido, otro usuario lo reportó como lenguaje que incita al odio, y un nuevo moderador llevó a cabo una cuarta revisión y volvió a eliminar el contenido. El usuario apeló por segunda vez y, después de una quinta revisión, otro moderador confirmó la decisión de eliminar el contenido. Después de que Meta notificara la decisión al usuario, este presentó una apelación al Consejo asesor de contenido. Posteriormente, Meta confirmó que todos los moderadores que revisaron el contenido hablaban árabe con fluidez.
Meta explicó que las decisiones iniciales de eliminar el contenido se basaron en revisiones de las imágenes que contenían los términos "z***l" y "t***e/t***a". En respuesta a una consulta del Consejo, Meta también señaló que la empresa considera que otro término utilizado en el contenido, "moukhanath", constituye un insulto.
Según Meta, después de que el usuario apelara al Consejo, pero antes de que este seleccionara el caso, el contenido se remitió de forma independiente a una revisión interna adicional, lo que permitió dictaminar que no infringía la política sobre lenguaje que incita al odio. Posteriormente, el contenido se restauró en la plataforma.
3. Autoridad y alcance del Consejo asesor de contenido
El Consejo tiene la facultad para revisar la decisión de Meta tras la apelación de un usuario cuyo contenido se eliminó (Artículo 2, sección 1, del acta constitutiva; Artículo 3, sección 1, de los estatutos).
El Consejo puede mantener o revertir la decisión de Meta (Artículo 3, sección 5, del acta constitutiva), y la decisión que tome será vinculante para la empresa (Artículo 4 del acta constitutiva). Meta también debe evaluar la viabilidad de aplicar su decisión con respecto a contenido idéntico cuyo contexto sea similar (Artículo 4 del acta constitutiva). Las decisiones del Consejo podrían incluir declaraciones de asesoramiento normativo con recomendaciones no vinculantes a las que Meta debe responder (Artículo 3, sección 4, Artículo 4 del acta constitutiva).
Cuando el Consejo selecciona casos como este, en los que Meta reconoce que cometió un error, procede a revisar la decisión inicial para entender mejor la causa de los errores, así como para realizar observaciones o recomendaciones que puedan contribuir a la reducción del número de errores y la optimización del debido proceso.
4.Fuentes de autoridad
El Consejo asesor de contenido tuvo en cuenta las siguientes fuentes de autoridad:
I.Decisiones del Consejo asesor de contenido:
Las decisiones más relevantes del Consejo en relación con este caso incluyen:
- La "decisión sobre el cinturón de abalorios" (2021-012-FB-UA): En esta decisión, el Consejo destacó la importancia de proteger la expresión de grupos marginados, y señaló que Meta no debe eliminar contenido que constituya una excepción a la política sobre lenguaje que incita al odio.
- La "decisión sobre los insultos de Sudáfrica" (2021-011-FB-UA): En esta decisión, el Consejo determinó que Meta tiene que ser más transparente en cuanto a los procedimientos y criterios que utiliza para desarrollar listas de insultos. Asimismo, el Consejo recomendó que Meta priorice mejorar la equidad de los procedimientos al aplicar la política sobre lenguaje que incita al odio para que los usuarios puedan comprender mejor por qué se elimina el contenido.
- La "decisión sobre el bot de Birmania" (2021-007-FB-UA): En esta decisión, el Consejo hizo hincapié en la importancia del contexto a la hora de evaluar si el contenido se encuentra dentro de las excepciones a la política sobre lenguaje que incita al odio.
Por otra parte, el Consejo hace referencia a las recomendaciones efectuadas en: La "decisión sobre el aislamiento de Ocalan" (2021-006-IG-UA), la "decisión sobre el meme de los dos botones" (2021-005-FB-UA) y la "decisión sobre los síntomas del cáncer de mama y la desnudez" (2020-004-IG-UA).
II. Políticas de contenido de Meta:
Este caso involucra las Normas comunitarias de Instagram y las Normas comunitarias de Facebook. El Centro de transparencia de Meta establece que Facebook e Instagram comparten políticas de contenido, lo que significa que, si se determina que el contenido infringe las normas en Facebook, también se considerará que infringe las normas en Instagram.
Las Normas comunitarias de Instagram establecen que:
Queremos promover una comunidad diversa y positiva. Eliminamos el contenido que incluye amenazas creíbles o lenguaje que incita al odio. Resulta inaceptable fomentar la violencia o atacar a alguien por razones de raza, etnia, nacionalidad, sexo, género, identidad de género, orientación sexual, creencias religiosas, discapacidad o enfermedad. Es posible que permitamos el lenguaje que incita al odio si se comparte para denunciarlo o para generar conciencia. En estos casos, te pedimos que expreses tu intención de forma clara.
Las Normas comunitarias de Facebook definen el lenguaje que incita al odio como un ataque directo a personas según lo que llamamos características protegidas, por ejemplo, raza, etnia, nacionalidad, religión, orientación sexual, casta, sexo, género, identidad de género y discapacidad o enfermedad grave. Meta divide los ataques en tres categorías. La sección relativa a insultos de la política sobre lenguaje que incita al odio prohíbe el contenido que describe o se dirige de forma negativa a personas mediante insultos, es decir, con términos que sean inherentemente ofensivos y se usen como etiquetas denigrantes para las características mencionadas con anterioridad. El resto de la tercera categoría prohíbe el contenido dirigido a personas con fines de segregación o exclusión.
Como parte de las bases de la política, Meta señala que:
Somos conscientes de que, a veces, las personas comparten contenido que incluye lenguaje que incita al odio emitido por otra persona con la intención de repudiarlo o concientizar a los demás. En otros casos, el lenguaje que, de otra manera, infringiría nuestras normas puede usarse de forma autorreferencial o con fines de motivación. Nuestras políticas están diseñadas para dar espacio a estos tipos de lenguaje, pero exigimos que la intención quede clara. Si no es el caso, el contenido podría eliminarse.
III. Valores de Meta:
Los valores de Meta se detallan en la introducción a las Normas comunitarias de Facebook, donde la "expresión" se define como un valor "fundamental":
Nuestras Normas comunitarias siempre apuntaron a crear un espacio donde las personas puedan expresarse y dar a conocer su opinión. [...] Queremos que las personas puedan hablar abiertamente sobre los temas que les importan, incluso si otros no están de acuerdo o los consideran objetables.
Meta limita la "expresión" en favor de otros cuatro valores, y dos de ellos son relevantes en este caso:
"Seguridad": nos comprometemos a hacer de Facebook un lugar seguro. La expresión que supone una amenaza para las personas puede intimidar, excluir o silenciar a otros, por lo que no está permitida en Facebook.
"Dignidad": creemos que todas las personas son dignas y tienen los mismos derechos. Esperamos que las personas respeten la dignidad de los demás y no los acosen ni los degraden.
IV. Normas internacionales sobre derechos humanos:
Los Principios Rectores sobre las Empresas y los Derechos Humanos de la ONU (UNGP), respaldados por el Consejo de Derechos Humanos de la ONU en 2011, establecen un marco voluntario que encuadra las responsabilidades de las empresas privadas en cuanto a estos derechos. En 2021, Meta anunció su Política corporativa de derechos humanos, con la que reafirmó su compromiso con el respeto de los derechos humanos de conformidad con los UNGP. El análisis del Consejo sobre las responsabilidades de Meta con los derechos humanos en este caso se basó en las siguientes normas de derechos humanos, que se aplican en la sección 8 de esta decisión:
- Derecho a la libertad de opinión y expresión: Artículo 19 del Pacto Internacional de Derechos Civiles y Políticos (ICCPR), observación general n.º 34, Comité de Derechos Humanos (2011); comunicación 488/1992, Toonen v. Australia, Comité de Derechos Humanos, 1992; resolución 32/2, Consejo de Derechos Humanos, 2016; informes del Relator Especial de la ONU sobre la libertad de opinión y expresión: A/HRC/38/35 (2018) y A/74/486 (2019); informe del Alto Comisionado de la ONU para los Derechos Humanos: A/HRC/19/41 (2011).
- Derecho a la no discriminación: Artículo 2, párrafo 1, y Artículo 26 del ICCPR.
5. Respuestas del usuario
En su declaración ante el Consejo, el usuario describió su cuenta como un lugar para celebrar la cultura árabe queer. Explica que, aunque se trata de un espacio seguro, a medida que fue creciendo se convirtió en el objetivo de troles homofóbicos que escriben comentarios abusivos y reportan contenidos de forma masiva.
El usuario explicó que su intención al publicar el contenido era celebrar a los hombres y jóvenes afeminados de la sociedad árabe, a los que se suele denigrar con el lenguaje despectivo señalado en la publicación. Además, explicó que intentaba reapropiar estas palabras despectivas utilizadas en su contra como una forma de resistencia y empoderamiento, y argumentó que en el contenido de la publicación dejó claro que no aprueba ni alienta el uso de las palabras de las imágenes como insultos. También señaló que creía que su contenido está permitido según las políticas de contenido de Meta, que permiten específicamente el uso de términos, que de otro modo estarían prohibidos, cuando se utilizan de forma autorreferencial o empoderadora.
6. Respuestas de Meta
En su justificación, Meta explicó que el contenido se eliminó originalmente de conformidad con su política sobre lenguaje que incita al odio, ya que el contenido incluye una palabra prohibida según la lista de insultos de Meta por constituir un término despectivo para personas gay. Finalmente, Meta anuló su decisión original y restauró el contenido porque el uso de la palabra en cuestión constituía una de las excepciones de Meta en cuanto a contenido que desaprueba insultos o lenguaje que incita al odio, discute el uso de insultos, incluidos los reportes de casos en que se usaron, o debate sobre si su uso es aceptable. Meta admitió que el contexto indicaba que el usuario llamaba la atención sobre la naturaleza hiriente de la palabra y, por lo tanto, no constituía una infracción.
En respuesta a las preguntas del Consejo sobre el modo en que el contexto es pertinente cuando Meta aplica excepciones a la política sobre lenguaje que incita al odio, Meta indicó que se permiten los insultos y el lenguaje que incita al odio cuando son objeto de burlas, rechazos, comentarios o reportes, o bien se usan de forma autorreferencial, y que la responsabilidad recae en el usuario a la hora de dejar clara su intención al mencionar un insulto.
En respuesta a otra pregunta del Consejo, Meta señaló que no especularon en torno al motivo por el cual se eliminó erróneamente el contenido porque sus revisores no documentan los motivos de sus decisiones.
El Consejo formuló a Meta un total de 17 preguntas, 16 de las cuales recibieron una respuesta completa y 1 recibió una respuesta parcial.
7. Comentarios del público
El Consejo recibió tres comentarios del público en relación con este caso: uno provenía de los Estados Unidos y Canadá, el segundo provenía de Oriente Medio y África del Norte, y el tercero provenía de Latinoamérica y el Caribe.
Los comentarios enviados se referían a los siguientes temas: seguridad para los colectivos LGBT en las principales plataformas de redes sociales, la consideración del contexto local en la aplicación de la política sobre lenguaje que incita al odio y los significados cambiantes de las palabras en árabe.
Si quieres leer los comentarios del público que se enviaron en relación con este caso, haz clic aquí.
Además, como parte del trabajo continuo con las partes interesadas, los miembros del Consejo mantuvieron conversaciones informativas y enriquecedoras con organizaciones que trabajan en defensa de la libertad de expresión y los derechos de personas LGBTQIA+, incluidos hablantes de árabe. Estas conversaciones pusieron de manifiesto problemas como los siguientes: la dificultad de proclamar la reapropiación categórica de un insulto y su inocuidad universal en casos en los que el término en cuestión puede seguir siendo un insulto para algunos públicos, independientemente de la intención del emisor; los problemas provocados por la falta de participación de grupos de defensa de los derechos LGBTQIA+ y comunidades no angloparlantes en la elaboración de políticas de contenido; y los riesgos de una moderación de contenido que no sea lo bastante sensible al contexto.
8.Análisis del Consejo asesor de contenido
El Consejo analizó la pregunta de si este contenido debería restaurarse tomando como base tres perspectivas: las políticas de contenido de Meta, los valores de la empresa y sus responsabilidades con los derechos humanos.
Este caso fue seleccionado por el Consejo porque el exceso de moderación del lenguaje de personas de grupos minoritarios perseguidos constituye una amenaza grave y generalizada a su libertad de expresión. Los espacios de expresión en internet son especialmente importantes para los grupos que son perseguidos, y sus derechos requieren una mayor atención por parte de las empresas de medios sociales para protegerlos. Por otra parte, este caso demuestra la complejidad que supone para Meta encontrar un equilibrio entre proteger a las minorías del lenguaje que incita al odio y crear un espacio en el que las minorías puedan expresarse plenamente, incluso mediante la reapropiación de insultos hirientes.
8.1 Cumplimiento de las políticas de contenido de Meta
I.Reglas de contenido
El Consejo opina que, aunque se usaron insultos, el contenido no puede considerarse lenguaje que incita al odio porque está amparado por la excepción a la política sobre lenguaje que incita al odio relativa a insultos que se utilizan de forma autorreferencial o empoderadora, así como la excepción relativa al hecho de citar lenguaje que incita al odio para expresar rechazo o concientizar.
En las decisiones sobre el cinturón de abalorios y el meme de los dos botones, el Consejo indicó que no es necesario que un usuario señale de forma explícita su intención en una publicación para que esta cumpla los requisitos para constituir una excepción conforme a la política sobre lenguaje que incita al odio. Basta con que el usuario deje claro en el contexto de la publicación que está utilizando terminología de lenguaje que incita al odio de un modo que la política permita.
Sin embargo, en este caso el contenido incluía afirmaciones del usuario relativas a que no aprobaba ni alentaba el uso ofensivo de los insultos en cuestión, sino que se trataba de un intento de resistirse a la narrativa dominante y desafiarla y de la reapropiación del poder de términos tan hirientes. Aunque no siempre serán necesarias ni suficientes unas declaraciones de intenciones claras para legitimar el uso o la cita de lenguaje que incita al odio, su presencia debería alertar al moderador sobre la posibilidad de que pueda proceder una excepción. En este caso, el Consejo opina que la declaración de intenciones, junto con el contexto, deja claro que el contenido se ajusta a la excepción sin duda alguna.
No obstante, en un primer momento Meta eliminó el contenido, ya que tres moderadores distintos determinaron que el contenido infringía la política sobre lenguaje que incita al odio. Aunque existen varios motivos por los cuales distintos moderadores clasificaron de forma incorrecta el contenido, Meta no pudo ofrecer explicaciones específicas porque no obliga a los moderadores a registrar el razonamiento subyacente a sus decisiones. Como se indica en la decisión sobre el cinturón de abalorios, los tipos de errores y las personas o las comunidades que los sufren son un reflejo de las opciones de diseño de los sistemas de aplicación de políticas de la plataforma, que amenazan los derechos de libertad de expresión de miembros de grupos perseguidos. En los casos en los que Meta observa patrones de exceso de moderación en relación con un grupo perseguido o marginado, como es el caso, resultaría apropiado investigar el razonamiento tras las decisiones relativas a la aplicación de las políticas y plantearse qué modificaciones en las reglas de moderación se requieren, o si es necesario un mayor grado de formación o supervisión en referencia a las reglas existentes, para evitar tales excesos en la aplicación que afecten a miembros de grupos cuyos derechos de expresión están sometidos a un riesgo específico.
II.Aplicación de políticas
En respuesta a las preguntas del Consejo, Meta explicó que solo se restauró el contenido en la plataforma porque había sido marcado por un empleado de Meta para remitirlo a otro nivel de revisión. Remitido para revisión significa que, en lugar de someter la decisión a una revisión en el mismo nivel, que suele externalizarse, esta se somete a la consideración de un equipo interno de Meta. Parece que fue necesario que un empleado de Meta se diera cuenta de que se había eliminado el contenido, por lo que luego completó y envió un formulario web interno señalando el error. Aparte de factores relativos al azar, este tipo de sistemas solo puede identificar errores en el contenido con el que el personal de Meta entra en contacto. Por consiguiente, es mucho menos probable que se detecte, marque y aborde contenido que no esté redactado en inglés, que no se publique en cuentas con muchos seguidores en EE. UU. o que no haya sido creado por y para grupos con un amplia representación en Meta.
Como parte de su divulgación, se informó al Consejo que a las partes interesadas les preocupa que la aplicación precisa de las excepciones a la política sobre lenguaje que incita al odio requiera una cierta experiencia en el asunto y conocimiento del contexto local que es posible que Meta no posea o no siempre pueda aplicar. El Consejo expresa su preocupación sobre el hecho de que, a menos que Meta recabe regularmente las opiniones de grupos minoritarios que son objeto de insultos en cada país, no podrá formular listas detalladas de los insultos indicados ni ofrecer pautas adecuadas a sus moderadores sobre cómo deben aplicarse las excepciones a las políticas sobre insultos.
8.2 Cumplimiento de los valores de Meta
El Consejo determinó que la decisión original de eliminar el contenido no se tomó de conformidad con los valores de Meta de "expresión" y "dignidad", ni atendió el valor de "seguridad". Aunque se ajusta a los valores de Meta para impedir el uso de insultos dirigidos a usuarios de sus plataformas, al Consejo le preocupa que Meta no esté aplicando de forma sistemática excepciones a la política en los casos de expresión de grupos marginados.
En el contexto de este caso, una "expresión" que busque promover la libertad de expresión de los miembros de un grupo marginado reviste la máxima importancia. Es justo que Meta intente limitar el uso de insultos que denigren o intimiden a sus destinatarios, pero también que tolere los intentos de buena fe de despojar a estas palabras de su impacto negativo a través de la reapropiación.
El Consejo admite que la difusión de insultos afecta al valor de "dignidad". Especialmente al utilizarlos para ofender o en ausencia de indicadores contextuales que señalen que no se utilizan para ofender, los insultos pueden intimidar, alterar u ofender a los usuarios de maneras que inhiben la expresión en internet. En cambio, si existen indicadores contextuales claros que señalen que el insulto se menciona para rechazarlo o concientizar sobre él o que se utiliza de una forma autorreferencial o empoderadora, el valor de "dignidad" no determina que la palabra deba eliminarse de la plataforma. Por el contrario, un exceso de moderación que ignora las excepciones afecta sobre todo a las minorías y los grupos marginados. Como recomienda el Consejo en la decisión sobre el "meme de los dos botones", Meta debe garantizar que los moderadores cuenten con el apoyo y los recursos suficientes para evaluar adecuadamente los contextos pertinentes. Es importante que los moderadores puedan distinguir entre referencias permitidas a insultos y sus usos no permisibles para proteger la "expresión" y la "dignidad" de sus usuarios, sobre todo los de comunidades marginadas.
Dado que la "dignidad" y la "seguridad" de las comunidades marginadas están sometidas a un mayor nivel de riesgo en las plataformas de medios sociales, estas deben asumir mayores responsabilidades para protegerlas. El Consejo ya recomendó en la decisión relativa al "cinturón de abalorios" que Meta evalúe la precisión con la que se están aplicando las disposiciones de la política sobre lenguaje que incita al odio. Dicha precisión puede mejorarse formando a los moderadores, de modo que puedan identificar contenido que afecte a comunidades discriminadas y recibir instrucciones para evaluar atentamente si procede aplicar excepciones a la política sobre lenguaje que incita al odio. La evaluación del contenido, junto con indicaciones contextuales complementarias, debe ser el factor decisivo que provoque la aplicación de tales excepciones.
Con respecto a la "seguridad", el Consejo también señala la especial importancia de los espacios seguros en internet y la cuidadosa moderación para las comunidades marginadas y amenazadas. Los hablantes de árabe del colectivo LGBTQIA+, sobre todo en la región de Oriente Medio y África del Norte, corren cierto peligro al expresarse con franqueza en internet. Meta debe encontrar un equilibrio entre la necesidad de proporcionar espacios de apoyo para esta expresión y asegurarse de actuar sin exceso de moderación ni silenciando a aquellos que se enfrentan a la censura y la opresión. Si bien el Consejo reconoce la complejidad de la moderación en este espacio, y sobre todo a esta escala, resulta crucial que las plataformas inviertan los recursos necesarios para poder hacerlo correctamente.
8.3 Cumplimiento de las responsabilidades de Meta con los derechos humanos
El Consejo concluye que la decisión inicial de Meta de eliminar el contenido no se ajustó a sus responsabilidades en materia de derechos humanos como empresa. Meta se comprometió a respetar los derechos humanos de conformidad con los Principios Rectores sobre las Empresas y los Derechos Humanos de la ONU (UNGP). En la Política corporativa de derechos humanos de Facebook, se dispone el cumplimiento específico del Pacto Internacional de Derechos Civiles y Políticos (ICCPR).
1. Libertad de expresión (Artículo 19 del ICCPR)
El Artículo 19 del ICCPR contiene disposiciones para una amplia protección de la expresión, incluyendo comentarios sobre derechos humanos y expresión que puedan considerarse altamente ofensivos (observación general n.º 34, párrafo 11). El derecho a la libertad de expresión se garantiza a todas las personas sin discriminación en cuanto a sexo u otra condición (Artículo 2, párrafo 1, del ICCPR). Esto incluye la orientación sexual y la identidad de género (Toonen v. Australia (1992); A/HRC/19/41, párrafo 7).
Esta publicación guarda relación con importantes aspectos sociales de discriminación contra personas LGBTQIA+. El Alto Comisionado de la ONU para los Derechos Humanos expresó su preocupación respecto a las restricciones sobre la libertad de expresión que surgen de limitaciones discriminatorias a la defensa de los derechos LGBTQIA+ (informe A/HRC/19/41, párrafo 65).
El Artículo 19 exige que, si un Estado impone restricciones sobre la libertad de expresión, estas deben cumplir los requisitos de legalidad, fin legítimo, y necesidad y proporcionalidad (Artículo 19, párrafo 3, del ICCPR). De acuerdo con el marco de los UNGP, en el informe del Relator Especial de la ONU sobre la libertad de opinión y expresión, se apeló a las empresas de medios sociales a garantizar que sus reglas de contenido se rijan por los requisitos del Artículo 19, párrafo 3, del ICCPR (A/HRC/38/35, párrafos 45 y 70).
I. Legalidad (claridad y accesibilidad de las reglas)
El requisito de legalidad dispone que cualquier restricción sobre la libertad de expresión sea lo bastante accesible y clara como para ofrecer orientación sobre qué se permite y qué no.
El Consejo recomendó en el caso sobre los "síntomas del cáncer de mama y la desnudez" (2020-004-IG-UA, recomendación n.º 9), el caso sobre el "aislamiento de Ocalan" (2021-006-IG-UA, recomendación n.º 10) y la opinión de asesoramiento normativo sobre el uso compartido de información residencial privada (recomendación n.º 9) que Meta aclare a los usuarios de Instagram que las Normas comunitarias de Facebook también se aplican a Instagram, con algunas excepciones. En la opinión de asesoramiento normativo, el Consejo recomendó que Meta no tardara más de 90 días en llevarlo a cabo. El Consejo tomó nota de la respuesta de Meta a la opinión de asesoramiento normativo. Si bien la recomendación se implementará por completo, Meta sigue trabajando en el desarrollo de Normas comunitarias de Instagram más exhaustivas que aclaren su relación con las Normas comunitarias de Facebook, y no puede comprometerse a respetar el plazo de 90 días. El Consejo, tras haber reiterado esta recomendación en múltiples ocasiones, opina que Meta tuvo tiempo suficiente para prepararse para estos cambios. La relación poco clara entre las Normas comunitarias de Instagram y las de Facebook es motivo continuo de confusión para los usuarios de las plataformas de Meta. En la actualidad, aunque las Normas comunitarias de Instagram contienen un enlace a la política sobre lenguaje que incita al odio de las Normas comunitarias de Facebook, no se indica claramente al usuario que esta política se aplica en su totalidad a Instagram, incluida la prohibición de insultar y sus excepciones. Las actualizaciones oportunas y exhaustivas de las Normas comunitarias de Instagram siguen siendo una prioridad esencial para el Consejo.
En relación con el desarrollo de la lista de insultos, el Consejo reitera lo expresado en el caso de los insultos de Sudáfrica (2021-011-FB-UA) respecto a la mayor obligación de transparencia de Meta en cuanto a procedimientos y criterios para desarrollar la lista. En este caso, Meta explicó que establece listas de insultos para cada mercado consolidado según el análisis y el visto bueno de socios internos pertinentes tales como equipos de procesos, mercados y políticas de contenido. Asimismo, Meta señaló que sus expertos de mercado evalúan la lista de insultos cada año, y que cada término se valora de forma cualitativa y cuantitativa, distinguiendo las palabras que son intrínsecamente ofensivas, aunque se escriban de forma aislada, de las palabras que no son intrínsecamente ofensivas. El Consejo no conoce exactamente cuándo tiene lugar esa revisión anual, pero después de que se seleccionara este caso Meta evaluó el uso de la palabra "z***l". Después de la evaluación, la palabra se eliminó de la lista "árabe" de insultos, pero se mantuvo en la lista destinada al "mercado magrebí". El Consejo desconoce si la evaluación formaba parte de los procedimientos habituales o de una revisión específica en respuesta a su selección de este caso. En términos más generales, el Consejo no tiene claro en qué consisten las evaluaciones cualitativas y cuantitativas durante las revisiones anuales.
Los usuarios no pueden acceder a información sobre los procesos y los criterios de desarrollo de las listas de insultos ni a la designación de los mercados, particularmente en referencia a la distinción entre mercados lingüísticos y geográficos. Sin esta información, los usuarios podrían tener dificultades para valorar qué palabras pueden considerarse insultos únicamente a partir de la definición de insultos que aparece en la política sobre lenguaje que incita al odio, que se basa en conceptos subjetivos como el grado intrínseco en que algo es ofensivo y su naturaleza insultante (informe A/74/486, párrafo 46; ver también informe A/HRC/38/35, párrafo 26).
Respecto a cómo se aplica la lista de insultos, Meta señaló en el caso de los insultos de Sudáfrica (2021-011-FB-UA) que su prohibición contra los insultos se aplica en todo el mundo, pero la designación de los insultos es específica para cada mercado. Explicó que si un término aparece en la lista de insultos de un mercado, la política sobre lenguaje que incita al odio prohíbe su uso en ese mercado. La explicación de Meta no deja claro si sus prácticas de aplicación, que pueden ser de ámbito mundial, implican que los insultos designados para un mercado también se prohíben en todo el mundo. Meta explicó que definía un mercado como una combinación de países e idiomas/dialectos y que la división entre mercados se basa principalmente en una combinación de idioma/dialecto y país del contenido. Los revisores de contenido de Meta se designan para su mercado en función de su aptitud lingüística y su conocimiento de la cultura y el mercado. Conforme a Meta, este contenido concernía a los mercados árabe y magrebí en la lista de insultos. Se dirigió a estos mercados según la combinación de varios indicadores, como el lugar, el idioma y el dialecto detectados en el contenido, el tipo de contenido y el tipo de reporte. Para el Consejo, no queda suficientemente claro cómo se combinan los distintos indicadores para determinar a qué mercados afectaría un cierto contenido ni si el contenido que incluye una palabra que es un insulto en un mercado particular solo se eliminaría si está relacionado con ese mercado o bien si se eliminaría en todo el mundo. La propia política no contiene ninguna explicación sobre este proceso.
Meta debería proporcionar una explicación exhaustiva sobre la aplicación de las políticas sobre insultos en la plataforma. La política actual contiene diversas áreas de opacidad, entre ellas si los insultos designados para áreas geográficas específicas se eliminan de la plataforma solo cuando se publican o visualizan en esas zonas o si esto ocurre independientemente de dónde se publiquen o visualicen. Asimismo, Meta debería explicar cómo maneja las palabras que se consideran un insulto en algunos contextos, pero que tienen un significado completamente distinto en otro contexto que no infringe ninguna política de Meta.
La estructura de la política sobre lenguaje que incita al odio también podría provocar confusión. Aunque la prohibición de insultos aparece bajo el encabezado relativo a lenguaje que incita al odio de nivel tres, el Consejo no tiene claro que la prohibición pertenezca a ese nivel porque los insultos no tienen necesariamente un fin de exclusión o segregación, que son las prioridades del resto de ese nivel.
II.Fin legítimo
Cualquier restricción sobre la libertad de expresión debe procurar alguno de los fines legítimos mencionados en el ICCPR, entre ellos, los derechos de los demás. La política en cuestión en este caso tenía el fin legítimo de proteger los derechos de terceros (observación general n.º 34, párrafo 28) a la igualdad y la protección contra la violencia y la discriminación según la orientación sexual y la identidad de género (Artículo 2, párrafo 1; Artículo 26 del ICCPR; Comité de Derechos Humanos de la ONU, Toonen v. Australia (1992); resolución 32/2 del Consejo de Derechos Humanos de la ONU sobre la protección contra la violencia y la discriminación por motivos de orientación sexual e identidad de género).
III. Necesidad y proporcionalidad
El principio de necesidad y proporcionalidad dispone que las restricciones que se apliquen a la libertad de expresión deben ser adecuadas para cumplir su función de protección, deben ser el instrumento menos invasivo entre aquellos que permitan cumplir dicha función y deben ser proporcionales al interés que se pretende proteger (observación general n.º 34, párrafo 34).
En este caso no era necesario eliminar el contenido, ya que tal acción fue un claro error que no se ajustó a la excepción contemplada en las políticas sobre lenguaje que incita al odio de Meta. Por otra parte, la eliminación no era el instrumento menos invasivo para cumplir el fin legítimo porque, en cada revisión que dio lugar a una eliminación, se retiró la totalidad de la secuencia que contenía diez fotos por presuntas infracciones de la política tan solo en una de las fotos. Incluso en el caso de que la secuencia hubiera incluido una imagen con insultos inadmisibles no amparados bajo una excepción, la eliminación de toda la secuencia no supondría una respuesta proporcionada.
Meta explicó al Consejo que se considera que se cometió una infracción en una publicación cuando alguna foto contiene una infracción de las Normas comunitarias y que a diferencia de lo que ocurre en Facebook, Meta no puede eliminar una imagen concreta de una publicación de Instagram con varias fotos. Meta señaló que se había propuesto una actualización de la herramienta de revisión de contenido con el objeto de que los revisores pudieran eliminar de la secuencia tan solo la foto causante de la infracción, pero no se le dio prioridad. El Consejo opina que esta explicación es poco clara, y cree que no priorizar la actualización podría dar lugar a un exceso de moderación sistémico que implique la eliminación de secuencias enteras, aunque solo una parte de ellas contenga presuntas infracciones. El Consejo también señala que, si un usuario publica la misma serie de fotos en Facebook e Instagram, los distintos tratamientos de este tipo de contenido en las dos plataformas darían lugar a resultados contradictorios que no se justifican a través de ninguna diferencia significativa en las políticas: en caso de que una de las fotos suponga una infracción, esto provocará la eliminación de toda la secuencia en Instagram, pero no en Facebook.
2.No discriminación
Dada la importancia de la reapropiación de los términos despectivos para contrarrestar la discriminación de los colectivos LGBTQIA+, el Consejo espera que Meta muestre una especial sensibilidad ante la posibilidad de eliminar de forma indebida el contenido de este caso y contenido similar en Facebook e Instagram. Como señaló el Consejo en la decisión sobre el cinturón de abalorios (2021-012-FB-UA) respecto a la expresión artística de colectivos indígenas, no basta con evaluar los resultados de aplicación de la política sobre lenguaje que incita al odio de Meta en su totalidad, sino que es necesario tener en cuenta los efectos sobre grupos marginados específicos. Conforme a los UNGP, las empresas deben prestar especial atención a las consecuencias concretas sobre los derechos humanos de las personas pertenecientes a grupos o poblaciones expuestos a un mayor riesgo de vulnerabilidad o de marginación (UNGP, principios 18 y 20). Para personas LGBTQIA+ en países que reprimen su derecho de expresión, los medios sociales suelen ser una de las escasas formas que aún tienen de expresarse con libertad. Este es el caso sobre todo en Instagram, donde las Normas comunitarias permiten que los usuarios no utilicen su nombre real. El Consejo observa que no se otorgan las mismas libertades a los usuarios de Facebook en las Normas comunitarias. Sería importante que Meta demostrara que emprendió un proceso de debida diligencia en materia de derechos humanos para garantizar que sus sistemas funcionen de forma justa y que no contribuyan a ninguna discriminación (UNGP, principio 17). El Consejo menciona que Meta evalúa habitualmente la precisión de sus sistemas de aplicación de políticas en lo que respecta al trato del lenguaje que incita al odio (decisión sobre el cinturón de abalorios). Sin embargo, estas valoraciones no se desglosan en evaluaciones de precisión que miden específicamente la capacidad de Meta de distinguir lenguaje inadmisible que incita al odio de contenido permitido que persigue la reapropiación de términos despectivos.
Los errores cometidos en este caso indican que las pautas que Meta ofrece a los moderadores que evalúan referencias a términos despectivos podrían no ser suficientes. Al Consejo le preocupa que quizá los revisores no cuenten con suficientes recursos en términos de capacidad o formación para evitar el tipo de error cometido en este caso, en especial, respecto al contenido que se permite conforme a las concesiones correspondientes a las políticas. En este caso, Meta informó al Consejo que las preguntas frecuentes y las normas de implementación internas están disponibles únicamente en inglés para garantizar una aplicación mundial estandarizada de sus políticas y que todos sus moderadores de contenido dominan el inglés. En la decisión sobre el bot de Birmania (2021-007-FB-UA), el Consejo recomendó a Meta que garantice que sus normas de implementación internas estén disponibles en el idioma en que los moderadores revisan contenido. Meta no adoptó ninguna otra medida respecto a esta recomendación y dio una respuesta similar, en la que señaló que sus moderadores de contenido dominaban el inglés. El Consejo remarca que proporcionar a los revisores de contenido pautas en inglés sobre el modo de revisar contenido en otros idiomas plantea desafíos intrínsecos. Las normas de implementación internas y las preguntas frecuentes suelen basarse en estructuras idiomáticas del inglés norteamericano, y quizá no puedan aplicarse a otros idiomas como el árabe.
En la decisión sobre el cinturón de abalorios (2021-012-FB-UA, recomendación n.º 3), el Consejo recomendó a Meta realizar evaluaciones de precisión centradas en las excepciones a la política sobre lenguaje que incita al odio relacionadas con expresiones sobre violaciones de los derechos humanos (p. ej., actos de condena, concientización, uso autorreferencial o uso empoderador) y que compartiera los resultados de la evaluación, incluido el modo en que estos resultados contribuirían a mejoras en operaciones de aplicación y desarrollo de políticas. El Consejo emitió esta recomendación porque, según su opinión, los costos de un exceso de moderación al eliminar expresiones relativas a violaciones de los derechos humanos son especialmente elevados. El Comité tomó nota de las preocupaciones sobre la recomendación expresadas por Meta en lo relativo a la evaluación de la viabilidad, incluidas (a) la falta de categorías específicas en sus políticas sobre excepciones en temas como las violaciones de los derechos humanos y (b) la falta de un ejemplo de contenido fácilmente identificable que se ampare bajo las excepciones al lenguaje que incita al odio. El Consejo cree que estos desafíos pueden superarse, ya que Meta podría centrar el análisis en excepciones existentes al lenguaje que incita al odio y otorgar prioridad a la identificación de ejemplos de contenido. El Consejo anima a Meta a implementar la recomendación del caso del cinturón de abalorios (2021-012-FB-UA) y agradece cualquier información adicional que Meta pueda facilitarle en su siguiente informe trimestral.
9. Decisión del Consejo asesor de contenido
El Consejo asesor de contenido anuló la decisión original de Meta de eliminar el contenido.
10. Declaraciones de asesoramiento normativo
Aplicación
1. Meta debería traducir las normas de implementación internas y las preguntas frecuentes al árabe estándar moderno. Esto podría reducir los casos de moderación excesiva en regiones de habla árabe, ya que los moderadores podrían evaluar mejor cuándo corresponde aplicar excepciones relativas a contenido que contenga insultos. El Consejo señala que Meta no adoptó ninguna acción adicional en respuesta a la recomendación en el caso del bot de Birmania (2021-007-FB-UA), en la que se aconsejaba a Meta que se asegurara de que sus normas de implementación internas estuvieran disponibles en el idioma en el cual los moderadores revisan el contenido. El Consejo considerará que esta recomendación se implementó cuando Meta le informe que se terminó la traducción al árabe estándar moderno.
Transparencia
2. Meta debe publicar una explicación clara sobre el modo en que crea la lista de insultos de cada mercado. Esta explicación debe incluir los procesos y criterios para designar qué insultos y países se asignan a cada lista. El Consejo considerará que se implementó cuando se publique la información en el Centro de transparencia.
3. Meta debe publicar una explicación clara sobre el modo en que vela por la aplicación de la lista de insultos de cada mercado. Esta explicación debe incluir los procesos y criterios para determinar de forma precisa cuándo y dónde se aplicará la prohibición de los insultos, ya sea en referencia a publicaciones cuyo origen geográfico sea la propia región; que tengan su origen fuera de la región, pero que estén relacionadas con ella; o bien guarden relación con todos los usuarios de la propia región, independientemente del origen geográfico de la publicación. El Consejo considerará que se implementó esta recomendación cuando se publique la información en el Centro de transparencia de Meta.
4. Meta debe publicar una explicación clara sobre el modo en que evalúa la lista de insultos de cada mercado. Esta explicación debe incluir los procesos y criterios utilizados para la eliminación o conservación de insultos de la lista de Meta de cada mercado. El Consejo considerará que se implementó esta recomendación cuando se publique la información en el Centro de transparencia de Meta.
* Nota procedimental:
La preparación de las decisiones del Consejo asesor de contenido está a cargo de paneles conformados por cinco miembros, quienes deben aprobarlas por mayoría. Las decisiones del Consejo no necesariamente representan las opiniones personales de todos los miembros.
En cuanto a la decisión del caso, se encargó una investigación independiente en nombre del Consejo. Un instituto de investigación independiente con sede en la Universidad de Gotemburgo y un equipo conformado por más de 50 científicos sociales de seis continentes, así como 3.200 expertos de diferentes países del mundo. El Consejo también recibió asesoramiento de Duco Advisors, una empresa asesora dedicada a la intersección de geopolítica, confianza, seguridad y tecnología. La empresa Lionbridge Technologies, LLC, con especialistas en más de 350 idiomas que trabajan en 5.000 ciudades diferentes, se encargó de las competencias en materia lingüística.
Volver a Decisiones de casos y opiniones consultivas sobre políticas