Images explicites générées par l’IA de personnalités publiques féminines

Résumé

Les deux cas concernent des images explicites générées par l’IA mettant en scène des personnalités publiques féminines indienne et américaine qui, selon le Conseil de surveillance, auraient dû être supprimées des plateformes de Meta. Les images intimes créées avec des techniques de deepfake affectent de façon disproportionnée les femmes et les filles, portant ainsi atteinte à leurs droits à la vie privée et à être protégées contre les préjudices d’ordre mental et physique. Les restrictions imposées à ces contenus sont légitimes en vue de protéger les personnes contre la création et la diffusion d’images à caractère sexuel sans leur consentement. Compte tenu de la gravité des préjudices causés, seule la suppression du contenu s’avère efficace pour protéger les personnes affectées. L’ajout d’une mention à un contenu manipulé n’est pas approprié dans ces cas, car les préjudices découlent du partage et de la visualisation de ces images, et pas seulement du fait de tromper les utilisateurs sur leur authenticité. Les recommandations du Conseil tendent à rendre plus intuitives les règles de Meta concernant ce type de contenu et à simplifier le processus de signalement d’images sexualisées non consensuelles pour les utilisateurs.

À propos des cas

Ces deux cas impliquent des images générées par l’IA de femmes nues, la première ressemblant à une personnalité publique indienne, la seconde à une personnalité publique américaine. Dans le premier cas, un compte Instagram consacré uniquement au partage d’images générées ou manipulées par l’IA de femmes indiennes a publié une photo où l’on voit le dos d’une femme nue dont le visage est visible, parmi une série d’autres images. Cette série contenait également une image similaire montrant cette femme en maillot de bain, très vraisemblablement la photo d’origine qui a été modifiée par l’IA pour en faire une photo explicite. Le second cas implique également une image explicite générée par l’IA, mettant cette fois en scène une personnalité publique féminine des États-Unis. Dans cette image publiée sur un groupe Facebook consacré aux créations basées sur l’IA, on peut voir la femme nue subir des attouchements. La personnalité connue à laquelle elle ressemble est mentionnée dans la légende.

Le premier contenu (personnalité publique indienne) a été signalé à Meta par un utilisateur pour pornographie, mais en l’absence d’un examen mené dans les 48 heures, le signalement a été automatiquement fermé. L’utilisateur a alors fait appel auprès de Meta, mais ce recours a fini par subir le même sort que le signalement. L’utilisateur a finalement présenté un appel auprès du Conseil. À la suite de la sélection de ce cas par le Conseil, Meta a déterminé que sa décision initiale de laisser le contenu sur Instagram était une erreur et a supprimé la publication pour infraction au Standard de la communauté sur l’intimidation et le harcèlement. Ensuite, une fois que le Conseil a commencé ses délibérations, Meta a désactivé le compte à l’origine du contenu et ajouté l’image explicite à une banque des Services de mise en correspondance du contenu multimédia (MMS).

En ce qui concerne le second cas (personnalité publique américaine), l’image explicite avait déjà été ajoutée à une banque MMS pour avoir enfreint la politique de Meta relative à l’intimidation et au harcèlement, et a donc été automatiquement supprimée. Ces banques trouvent et suppriment automatiquement les images que les équipes d’examen manuel ont déjà identifiées comme étant en infraction des règles de Meta. L’utilisateur à l’origine de l’image générée par l’IA a déposé un appel, mais celui-ci a été automatiquement fermé. L’utilisateur a alors fait appel auprès du Conseil pour demander la restauration de sa publication.

Les images intimes créées avec des techniques de deepfake utilisent des contenus multimédias non authentiques manipulés par ordinateur afin de représenter de vraies personnes en les sexualisant. Ces contenus sont de plus en plus faciles à créer, moins d’images étant nécessaires pour générer une image réaliste. Selon un rapport, les vidéos de deepfake diffusées en ligne ont augmenté de 550 % depuis 2019, la grande majorité sexualisant de vraies personnes et ciblant principalement les femmes.

Principales observations

Le Conseil considère que ces deux images enfreignent la règle de Meta qui interdit les « images truquées et sexualisées désobligeantes » en vertu de sa politique sur l’intimidation et le harcèlement. Les images ont manifestement été modifiées pour montrer les visages de vraies personnalités publiques avec un corps nu (réel ou fictif) différent, tandis que les indices contextuels, notamment les hashtags et l’endroit où le contenu a été publié, indiquent également qu’elles ont été générées par l’IA. Dans le second cas (personnalité publique américaine), on constate une autre violation de la politique sur la nudité et les activités sexuelles chez les adultes, car l’image explicite montre la femme en train de subir des attouchements au niveau de la poitrine. La suppression de ces deux publications était cohérente avec les responsabilités de Meta en matière de droits humains.

Le Conseil estime que les utilisateurs des plateformes de Meta doivent pouvoir comprendre leurs règles. Bien que l’expression « images truquées et sexualisées désobligeantes » aurait dû être suffisamment claire pour les deux utilisateurs à l’origine de ces publications, elle ne l’est pas assez pour les utilisateurs en général. Lorsque le Conseil a interrogé Meta sur le sens de cette notion, l’entreprise a répondu qu’elle fait référence aux « images manipulées sexualisant des personnes de façon probablement non sollicitée par elles-mêmes et donc perçues comme désobligeantes ». Le Conseil remarque qu’un terme différent tel que « non consensuelles » décrirait plus clairement l’idée de manipulations sexualisées non sollicitées d’images. Par ailleurs, le Conseil considère que le terme « images truquées » est trop restreint pour couvrir l’éventail de techniques de manipulation du contenu multimédia actuellement disponibles, notamment l’IA générative. Meta doit préciser dans cette règle que l’interdiction appliquée à ce contenu couvre cet éventail plus large de techniques de modification.

Afin de s’assurer que les règles interdisant les images sexualisées non consensuelles sont plus intuitives à comprendre, le Conseil est d’avis qu’elles doivent être intégrées au Standard de la communauté sur l’exploitation sexuelle des adultes, plutôt qu’à la politique relative à l’intimidation et au harcèlement. Dans les deux cas de figure, il est peu probable que les utilisateurs les eussent perçues comme relevant de l’intimidation et du harcèlement. Une recherche externe a démontré que les utilisateurs publient ce type de contenu pour d’autres raisons que le harcèlement et le trolling. Leur objectif est par exemple de créer une audience, monétiser des pages ou rediriger les utilisateurs vers d’autres sites, notamment pornographiques. Les règles que Meta appliquent à ces images seraient donc plus claires si on portait l’attention sur l’absence de consentement et les préjudices perpétrés par la prolifération de ces contenus, plutôt que sur les conséquences des attaques directes, ce que l’application de la politique sur l’intimidation et le harcèlement implique. La politique relative à l’exploitation sexuelle des adultes serait plus pertinente pour accueillir ces règles. Cette politique interdit déjà les images intimes non consensuelles, qui représentent un problème similaire, car les deux cas en l’espèce illustrent bien les abus sexuels basés sur des images. Meta pourrait ensuite envisager de renommer la politique selon les termes suivants : « contenu sexuel non consensuel ».

Le Conseil remarque que Meta n’a ajouté l’image mettant en scène une personnalité publique indienne à une banque MMS que lorsqu’il lui a demandé des explications. L’entreprise a alors affirmé s’être appuyée sur des reportages d’information pour ajouter l’image de la personnalité publique américaine à la banque, mais qu’aucun signal médiatique n’est apparu dans le premier cas. Cette situation est préoccupante, et pour cause : de nombreuses victimes de deepfakes d’images intimes sont inconnues du public et doivent soit accepter la diffusion de leurs représentations non consensuelles, soit chercher tous les contenus connexes et les signaler. L’un des signaux indiquant l’absence de consentement dans le cadre de la politique sur l’exploitation sexuelle des adultes est visible dans les reportages d’information sur les fuites d’images intimes non consensuelles. Cela peut être utile lorsque les publications impliquent des personnalités publiques, mais n’est pas pertinent pour les particuliers. Meta ne devrait donc pas trop s’appuyer sur ce signal. Le Conseil suggère également que le contexte montrant que les caractéristiques de nudité ou de sexualisation du contenu sont générées, truquées ou manipulées par l’IA doit être considéré comme un signal de non-consentement.

Enfin, le Conseil s’inquiète de la fermeture automatique des appels déposés pour prévenir les abus sexuels basés sur des images. Le simple fait de devoir attendre 48 heures avant la conduite d’un examen peut nuire aux victimes, compte tenu des préjudices causés. Le Conseil ne dispose pas encore de suffisamment d’informations sur le recours de Meta à la fermeture automatique en général, mais estime qu’il s’agit d’un problème susceptible d’affecter considérablement les droits humains, et qu’il convient de mener une évaluation des risques et d’y remédier.

Décision du Conseil de surveillance

Dans le premier cas (personnalité publique indienne), le Conseil a annulé la décision initiale de Meta de laisser la publication sur la plateforme. Dans le second cas (personnalité publique américaine), le Conseil a confirmé la décision de Meta de supprimer la publication.

Le Conseil recommande à Meta ce qui suit :

• Déplacer l’interdiction relative aux « images truquées et sexualisées désobligeantes » dans le Standard de la communauté sur l’exploitation sexuelle des adultes.
• Modifier le terme « désobligeantes » énoncé dans l’interdiction sur les « images truquées et sexualisées désobligeantes » par « non consensuelles ».
• Remplacer le terme « images truquées » énoncé dans l’interdiction sur les « images truquées et sexualisées désobligeantes » par un terme plus générique pour le contenu multimédia manipulé.
• Harmoniser ses politiques sur le contenu non consensuel en ajoutant un nouveau signal pour l’absence de consentement dans la politique relative à l’exploitation sexuelle des adultes, à savoir un contexte montrant que le contenu a été généré ou manipulé par l’IA. Pour le contenu répondant à ce contexte spécifique, la politique doit également préciser qu’il ne doit pas nécessairement être « non commercial ou produit dans un cadre privé » pour constituer une infraction.

* Les résumés de cas donnent un aperçu du cas et n’ont pas valeur de précédent.

Décision complète sur le cas

1. Description du cas et contexte 

Le Conseil de surveillance a examiné ces deux cas conjointement, le premier ayant été publié sur Facebook, le second sur Instagram, par deux utilisateurs distincts.

La première publication contient l’image manipulée par l’IA d’une femme nue vue de dos, le visage visible. Diffusée sur Instagram, l’image ressemble à une personnalité publique indienne et fait partie d’une série d’images montrant une photo similaire de cette femme, en maillot de bain, vraisemblablement la photo d’origine qui a été modifiée par l’IA. Le compte à l’origine de cette publication se décrit comme un lieu de partage uniquement dédié aux images générées par l’IA de femmes indiennes, et la légende inclut des hashtags indiquant que l’image a été créée par l’IA.

Un utilisateur a signalé le contenu auprès de Meta pour pornographie. Ce signalement a été automatiquement fermé, car il n’a pas été examiné dans les 48 heures. L’utilisateur a ensuite fait appel de la décision de Meta de conserver ce contenu, mais le signalement a une nouvelle fois été automatiquement fermé, laissant ainsi le contenu sur la plateforme. Cette personne a alors fait appel auprès du Conseil. À la suite de la sélection de ce cas par le Conseil, Meta a déterminé que sa décision de laisser le contenu sur la plateforme était une erreur et a supprimé la publication pour infraction au Standard de la communauté sur l’intimidation et le harcèlement. Ensuite, une fois que le Conseil a sélectionné ce cas, Meta a désactivé le compte à l’origine du contenu et l’a ajouté à une banque des Services de mise en correspondance du contenu multimédia (MMS).

Le second cas concerne une image publiée dans un groupe Facebook dédié à la création de contenus IA. Cette image générée par l’IA montre une femme nue subissant des attouchements au niveau de la poitrine. Elle a été créée par l’IA afin de ressembler à une personnalité publique américaine, nommée dans la légende.

Dans ce second cas, l’image a été supprimée pour infraction à la politique de Meta relative à l’intimidation et au harcèlement. Un autre utilisateur avait déjà publié une image identique, conduisant à son escalation aux spécialistes de Meta sur la politique ou en la matière qui sont arrivés à la conclusion que ce contenu enfreignait la politique sur l’intimidation et le harcèlement, notamment pour « images truquées ou dessins sexualisés désobligeants », et l’ont supprimé. L’image en question a ensuite été ajoutée à une banque MMS. Ces banques trouvent et suppriment automatiquement les images déjà identifiées comme étant en infraction. L’image générée par l’IA du second cas a été automatiquement supprimée, car elle avait déjà été ajoutée à une banque MMS. L’utilisateur à l’origine du contenu a fait appel de la suppression, mais le signalement a été automatiquement fermé. Il a alors fait appel auprès du Conseil pour demander la restauration de son contenu.

Le Conseil a pris en considération le contexte ci-dessous pour parvenir à sa décision dans ces deux cas.

Les deepfakes d’images intimes sont des contenus multimédias non authentiques manipulés par ordinateur afin de représenter de vraies personnes en les sexualisant. La perception de la pornographie peut varier d’un pays et d’une culture à l’autre. Un commentaire public envoyé au Conseil par Witness, une ONG internationale qui défend les droits humains, illustre cette problématique avec un deepfake d’une femme politique bangladaise en bikini, qui pourrait lui causer de graves préjudices en raison du contexte culturel, alors que cela pourrait ne pas être le cas dans une autre culture (commentaire PC-27095).

Les images intimes créées par des techniques de deepfake sont de plus en plus faciles à créer grâce aux outils IA, moins d’images étant nécessaires pour générer une image réaliste. Women in International Security ( WIIS) explique : « Cela signifie que presque tout le monde ayant pris un selfie ou publié en ligne une photo de soi est exposé au risque éventuel qu’un deepfake soit créé à partir de son image ». Selon The Guardian, l’entreprise d’IA Deeptrace a analysé 15 000 vidéos de deepfake qu’elle a trouvées en ligne en septembre 2019, et a constaté que 96 % étaient de nature pornographique et que 99 % d’entre elles montraient des visages de célébrités féminines sur des corps d’actrices pornographiques. Une augmentation de 550 % du nombre de vidéos deepfake en ligne a été observée depuis 2019. Les images montrant de vraies personnes de façon sexualisée constituent 98 % de l’ensemble des vidéos deepfake en ligne, dont les femmes représentent à 99 % les personnes ciblées ( rapport 2023 de Home Security Heroes). Les 10 principaux sites Web dédiés aux deepfakes d’images intimes ont été collectivement visités plus de 34 millions de fois par mois.

Il a été démontré que les abus sexuels basés sur des images ont un impact considérable sur les victimes. Le rapport britannique de 2019 consacré à la haine, au harcèlement et aux abus commis en ligne cite un certain nombre d’études sur les abus sexuels basés sur des images (notamment les deepfakes d’images intimes) qui ont examiné les expériences des victimes. Ces études ont démontré que les victimes peuvent ressentir de la honte, de l’impuissance, de la gêne, de la culpabilité, de la colère, de la paranoïa, de l’isolement, de l’humiliation et de la détresse, sans parler des sentiments de perte d’intégrité, de dignité, de sécurité, d’estime, de respect et de confiance en soi. Les chercheurs qui ont examiné les abus sexuels en ligne suggèrent que les deepfakes d’images à caractère sexuel peuvent entraîner des préjudices aussi graves que ceux associés aux images sexuelles réelles non consensuelles.

Les deepfakes d’images intimes sont un problème mondial. Des rapports ont montré que des femmes politiques ont été prises pour cible au Bangladesh, au Pakistan, en Italie, aux États-Unis, en Irlande du Nord et en Ukraine. Des journalistes, des défenseures des droits humains et des célébrités sont quotidiennement ciblées. Tout le monde peut cependant être victime de deepfakes d’images intimes. Par ailleurs, des incidents ont récemment été documentés aux États-Unis et en Espagne concernant des cas d’enfants et de jeunes adolescentes visées par des deepfakes d’images intimes. Les experts que le Conseil a consultés ont noté que ce type de contenu peut être particulièrement préjudiciable dans les communautés conservatrices. Par exemple, une jeune femme de 18 ans aurait été abattue par son père et son oncle au Kohistan, une région reculée du Pakistan, après qu’une photo retouchée par ordinateur la montrant avec un homme est devenue virale.

L’Inde et les États-Unis envisagent la promulgation de lois et ont annoncé de futures mesures pour réguler les deepfakes. Dans un commentaire public, Rakesh Maheshwari, un ancien représentant du gouvernement spécialisé en droit informatique explique comment les lois actuellement en vigueur en Inde relatives aux réseaux sociaux pourraient s’appliquer au contenu du premier cas (voir commentaire PC-27029). Le Conseil a toutefois reçu de nombreux commentaires publics mettant l’accent sur le fait que les plateformes de réseaux sociaux doivent impérativement être la première ligne de défense, car il est possible que les régimes juridiques n’évoluent pas suffisamment vite pour prévenir la prolifération de ces contenus. Un commentaire public émis par l’ONG indienne Breakthrough Trust précise également qu’en Inde « les femmes doivent souvent affronter une autre forme de victimisation », lorsque la police ou les tribunaux leur demandent pourquoi elles ont publié des photos d’elles-mêmes sur Internet, quand bien même ces images ont été truquées (voir commentaire PC-27044).

Meta a travaillé d’arrache-pied au développement de technologies destinées à régler un problème connexe : le partage d’images intimes non consensuelles. Des experts indépendants consultés par le Conseil ont félicité Meta pour ses systèmes de détection et de suppression des images intimes non consensuelles, en sa qualité de leader de son secteur, et ont reconnu l’efficacité de ses technologies de mise en correspondance des images. Les images intimes non consensuelles et les deepfakes d’images intimes sont deux notions distinctes. En effet, la première catégorie représente des images réelles tandis que la seconde implique des images créées ou modifiées par ordinateur, tout en sachant qu’il s’agit dans les deux cas d’abus sexuels basés sur des images

2. Soumissions de l’utilisateur

L’utilisateur à l’origine du signalement du premier contenu a expliqué avoir vu sur Instagram des images explicites générées par l’IA de célébrités et s’être inquiété de leur présence sur une plateforme utilisée par des adolescents. Le créateur de contenu n’a fourni aucune déclaration d’utilisateur au Conseil.

La personne qui a partagé la publication dans le second cas a indiqué dans son appel que son intention n’était pas d’intimider, de harceler ni de dénigrer qui que ce soit, mais de divertir.

3. Politiques de Meta relatives au contenu et soumissions

I. Politiques de Meta relatives au contenu

Standard de la communauté en matière d’intimidation et de harcèlement

Le Standard de la communauté sur l’intimidation et le harcèlement stipule, en vertu du niveau 1 (protections universelles pour tout le monde), que toute personne (y compris les personnalités publiques) est protégée contre les « images truquées ou dessins sexualisés désobligeants ».

D’autres conseils internes fournis aux équipes de modération de contenu définissent les « images truquées ou dessins sexualisés désobligeants » comme des contenus ayant été manipulés ou modifiés afin de les sexualiser de façon probablement non sollicitée et donc perçus comme désobligeants par les personnes ciblées. Par exemple, placer la tête d’une personne réelle sur un corps nu ou presque nu.

Politique sur la nudité et les activités sexuelles chez les adultes

Cette politique interdit, entre autres représentations de la nudité et des activités sexuelles, les « gros plans sur des fesses entièrement dénudées » ainsi que la « palpation d’une poitrine féminine ». La palpation d’une poitrine féminine est « définie comme un mouvement de prise où les doigts sont pliés et montrant à la fois des traces sur la poitrine ainsi qu’un changement de forme clair de celle-ci. Nous autorisons la palpation dans des contextes d’allaitement. »

Politique relative à l’exploitation sexuelle des adultes

Cette politique interdit :

« Le partage, la menace ou la déclaration d’intention de partager, offrir ou solliciter des images intimes non consensuelles qui remplissent les trois conditions suivantes :

• L’image est non commerciale ou prise dans un contexte privé.
• La personne sur l’image est (presque) nue, engagée dans une activité sexuelle ou prend une pose sexuelle.
• L’absence de consentement au partage de l’image est indiquée par la présence de l’un de ces signaux :
  • Un contexte de vengeance (comme une légende, des commentaires ou un titre de page).
  • Des sources indépendantes (comme une application de la loi antérieure) notamment le contenu des médias de loisirs (comme la divulgation non autorisée d’image confirmée par le média).
  • Une correspondance visible entre la personne représentée sur l’image et la personne qui nous a signalé le contenu.
  • La personne qui nous a signalé le contenu porte le même nom que la personne représentée sur l’image. »

II. Soumissions de Meta

Meta a évalué les deux publications en fonction de ses politiques sur l’intimidation et le harcèlement et sur la nudité et les activités sexuelles chez les adultes. L’entreprise est arrivée à la conclusion que les deux contenus concernés ont enfreint la politique relative à l’intimidation et au harcèlement, mais que seule la publication du second cas (personnalité publique américaine) n’a pas respecté le Standard de la communauté sur la nudité et les activités sexuelles chez les adultes.

Standard de la communauté en matière d’intimidation et de harcèlement

La politique sur l’intimidation et le harcèlement protège aussi bien les particuliers que les personnalités publiques des « [i]mages truquées ou dessins sexualisés désobligeants », car ce type de contenu « empêche les personnes de se sentir en sécurité et respectées sur Facebook, Instagram et Threads ». En réponse à la question du Conseil concernant le processus de l’entreprise pour identifier les contenus « truqués » ou générés par l’IA, Meta a expliqué les évaluer « au cas par cas » et s’appuyer sur plusieurs signaux, y compris sur des « indices contextuels ainsi que des signaux issus de sources fiables, tels que des articles de médias de vérification tiers, des sources médiatiques sérieuses, des évaluations de partenaires de confiance intégrés, et d’autres organisations non partisanes ou partenaires gouvernementaux ».

Meta a déterminé que l’image du premier cas enfreignait cette politique, car elle a été créée par l’IA afin de ressembler à une personnalité publique indienne et a été manipulée ou modifiée pour que cette personnalité apparaisse presque nue dans une « pose sexuellement suggestive ». L’entreprise a également tenu compte de l’alias de l’utilisateur et des hashtags, des éléments qui indiquent sans ambiguïté que l’image a été générée par l’IA.

Meta a déterminé que l’image du second cas enfreignait également cette politique. Pour déterminer que l’image a été générée par l’IA, l’entreprise s’est appuyée sur les éléments suivants : le visage semble avoir été placé sur un corps presque nu et les « couleurs, la texture et la clarté de l’image suggèrent que [l’image de] la vidéo a été générée par l’IA » ; certains médias ont évoqué dans des reportages externes la prolifération de telles images ; et le contenu a été publié dans un groupe dédié au partage d’images créées par l’intelligence artificielle.

Standard de la communauté sur la nudité et les activités sexuelles chez les adultes

Meta a affirmé au Conseil que l’image du second cas (personnalité publique américaine) enfreignait également la politique sur la nudité et les activités sexuelles chez les adultes. Le contenu du second cas montrant une personne « saisir » l’image générée par l’IA de la personnalité publique féminine, il a enfreint l’interdiction imposée aux images de palpation d’une poitrine féminine.

Selon l’entreprise, l’image du premier cas (personnalité publique indienne) ne porte pas atteinte à cette politique. En effet, bien que les gros plans de fesses entièrement dénudées soient interdits, l’image ne constitue pas un gros plan tel que l’entreprise le définit.

Cette dernière a expliqué que la décision de supprimer les deux publications maintenait un bon équilibre entre ses valeurs de sécurité, de vie privée, de dignité et de liberté d’expression, car « Meta a évalué que la valeur créative du contenu dans ces cas était minime ». En observant les hashtags et les légendes des deux publications, l’entreprise a conclu que l’« intention était sexuelle, et non artistique ». L’entreprise a également constaté que la « question de la sécurité liée à la suppression de ce contenu l’a emporté sur l’éventuelle valeur d’expression de ce discours ». En évoquant les contributions des parties prenantes dans un précédent forum politique consacré aux « attaques contre les personnalités publiques », Meta a insisté sur les préoccupations concernant les abus et le harcèlement que subissent les personnalités publiques en ligne, et a soutenu que cela conduit les témoins de tels agissements à s’autocensurer et à se taire.

En mai 2024, Meta a mis à jour son Standard de la communauté sur la nudité et les activités sexuelles chez les adultes, en précisant que la politique s’applique à toutes les « images photoréalistes » et qu’en cas d’« [i]ncertitude quant à la nature photoréaliste d’une image ou d’une vidéo », « on présume qu’elle l’est ». Le Conseil comprend que cela implique que les images réalistes générées par l’IA de personnes ou de célébrités réelles seront supprimées conformément au Standard de la communauté sur la nudité et les activités sexuelles chez les adultes lorsqu’elles montrent de la nudité ou des activités sexuelles et qu’elles ne relèvent pas de certaines exceptions. L’entreprise mentionne la prévention du « partage du contenu non consensuel ou sous l’âge autorisé » comme justifiant la suppression d’images photoréalistes à caractère sexuel. Le Conseil se réjouit de la précision apportée par Meta dans le Standard de la communauté sur la nudité et les activités sexuelles chez les adultes, et soutient ses efforts pour interdire les images et vidéos fictives d’apparence réaliste, en les traitant de la même manière que les images réelles.

Les deux contenus du présent cas connaîtraient la même issue en vertu des politiques mises à jour : tous les deux seraient supprimés conformément à l’interdiction sur les images truquées et sexualisées désobligeantes en vertu du Standard de la communauté sur l’intimidation et le harcèlement. La publication concernant la personnalité publique américaine, quant à elle, enfreindrait le Standard de la communauté sur la nudité et les activités sexuelles chez les adultes pour avoir montré la palpation d’une poitrine dans un contexte non autorisé.

Bien que ces modifications représentent une clarification bienvenue, elles ne suffisent pas à contrer la prolifération d’images intimes non consensuelles générées par l’IA. Le Conseil réaffirme l’importance d’une ligne politique dédiée contre le contenu sexualisé non consensuel généré ou manipulé par l’IA qui existe dans le cadre du Standard de la communauté de Meta sur l’exploitation sexuelle des adultes.

Banques des Services de mise en correspondance du contenu multimédia

Selon Meta, ses banques des Services de mise en correspondance du contenu multimédia (MMS) repèrent et agissent sur du contenu multimédia publié sur ses plateformes, dans ce cas des images. Une fois que le contenu est identifié pour être mis en banque, il est converti en une chaîne de données, ou « hash ». Le hachage est ensuite associé à une banque de données particulière. Les banques MMS de Meta sont créées en vue d’observer les politiques d’un Standard de la communauté spécifique, et ne sont pas conçues en fonction de comportements ou de types de contenu en particulier tels que le contenu truqué et sexualisé désobligeant. Ces banques peuvent identifier et supprimer automatiquement les images qui ont déjà été identifiées par un examen manuel comme enfreignant les règles de l’entreprise.

La suppression de l’image du second cas (personnalité publique américaine) a été décidée en raison du fait qu’une image identique avait déjà fait l’objet d’un examen manuel et été ajoutée à une banque MMS. L’image du premier cas (personnalité publique indienne) n’a d’abord pas été ajoutée à une banque MMS. Meta a déclaré ce qui suit : « Tous les contenus considérés comme étant en infraction, car montrant des images truquées et sexualisées désobligeantes, ne sont pas nécessairement ajoutés à une banque MMS. Nos équipes internes doivent d’abord généralement approuver l’intégration du contenu dans la banque, au moment de l’escalation. Les banques MMS sont en effet un puissant outil de mise en application pouvant entraîner des risques d’application excessive ». Meta a finalement pris la décision d’intégrer l’image du premier cas à la banque après que le Conseil lui a demandé d’expliquer pourquoi ce n’était pas déjà fait.

Le Conseil a posé 13 questions concernant les banques MMS, la fermeture automatique des appels, l’interdiction des contenus truqués et sexualisés désobligeants dans la politique sur l’intimidation et le harcèlement, ainsi que les autres politiques pouvant s’appliquer au présent cas. Meta a répondu à toutes ces questions.

4. Commentaires publics

Le Conseil de surveillance a reçu 88 commentaires publics répondant aux critères de soumission. 14 de ces commentaires provenaient d’Asie-Pacifique et d’Océanie, 24 d’Asie centrale et du Sud, 15 d’Europe, 5 d’Amérique latine et des Caraïbes et 30 des États-Unis et du Canada. Pour consulter les commentaires publics soumis accompagnés d’un consentement à la publication, cliquez ici.

Ces commentaires abordaient les sujets suivants : la prévalence et les implications culturelles des deepfakes en Inde, l’impact des deepfakes d’images intimes sur les femmes en général et les personnalités publiques féminines, le problème que pose la fermeture automatique des appels relatifs aux abus sexuels basés sur des images, et la nécessité d’associer des systèmes d’examens manuels et automatisés afin de détecter et de supprimer les deepfakes d’images intimes.

5. Analyse du Conseil de surveillance

Le Conseil a analysé la décision de Meta dans le cas présent, en la comparant à ses politiques relatives au contenu, ses valeurs et ses responsabilités en matière de droits humains. Le Conseil a également évalué les implications de ce cas-ci sur l’approche plus globale de la gouvernance du contenu par Meta.

5.1 Respect des politiques de Meta relatives au contenu

I. Règles relatives au contenu

Le Conseil considère que ces deux images enfreignent l’interdiction de Meta sur les « images truquées et sexualisées désobligeantes » en vertu de sa politique sur l’intimidation et le harcèlement. Les deux contenus concernés ont été modifiés afin de montrer la tête ou le visage d’une personne réelle sur un corps nu ou presque nu réel ou fictif. On peut également y trouver des indices contextuels indiquant qu’ils ont été générés par l’IA. La publication du premier cas (personnalité publique indienne) comporte une liste de hashtags démontrant qu’elle a été créée par l’IA et publiée par un compte dédié à la diffusion de ce type d’images. Dans le second cas (personnalité publique américaine), le contenu a été publié sur un groupe Facebook consacré aux images d’IA.

Le Conseil partage le même avis que Meta selon lequel seule la publication du second cas a cependant enfreint la politique relative à la nudité et aux activités sexuelles chez les adultes, car elle montre la palpation d’une poitrine féminine. L’autre image, quant à elle, n’enfreint pas ladite politique dans sa forme actuelle, compte tenu du fait qu’il ne s’agit pas d’un gros plan sur des fesses dénudées, tel que le définit l’entreprise. Le Conseil fait observer que d’après la politique actuelle, cela signifie que des images similaires ne contenant pas d’indices contextuels évidents indiquant qu’elles ont été générées par l’IA ne sauraient être supprimées. L’impact de telles images sur les victimes est abordé à la section 5.2 ci-dessous.

5.2 Respect des responsabilités de Meta en matière de droits humains

Qu’il s’agisse du premier cas (personnalité publique indienne) ou du second cas (personnalité publique américaine), le Conseil estime que la suppression du contenu des plateformes de Meta est conforme à ses responsabilités en matière de droits humains.

Liberté d’expression (article 19 du PIDCP)

L’article 19 du PIDCP prévoit une protection étendue de la liberté d’expression, notamment celle susceptible d’être considérée comme « profondément offensante » (observation générale 34, paragraphe 11, voir également le paragraphe 17 du rapport de 2019 du Rapporteur spécial des Nations Unies sur la liberté d’expression, A/74/486). Lorsque des limitations de la liberté d’expression sont imposées par un État, elles doivent remplir des critères de légalité, d’objectif légitime, et de nécessité et de proportionnalité (article 19, paragraphe 3 du PIDCP, observation générale 34, paragraphe 34). Ces exigences sont souvent reprises sous l’intitulé « test tripartite ». Le Conseil s’appuie sur ce cadre afin d’interpréter les responsabilités de Meta en matière de droits humains conformément aux Principes directeurs relatifs aux entreprises et aux droits de l’homme de l’ONU, que Meta elle-même s’est engagée à respecter dans sa Politique relative aux droits humains. Le Conseil utilise ce cadre à la fois pour la décision relative au contenu individuel en cours d’examen et pour ce que cela dit de l’approche plus large de Meta en matière de gouvernance du contenu. Comme l’a déclaré le Rapporteur spécial des Nations Unies sur la liberté d’expression, même si « les entreprises ne sont pas soumises aux mêmes devoirs que les gouvernements, leur influence est néanmoins telle qu’elle doit les inciter à se poser les mêmes questions qu’eux quant à la protection de la liberté d’expression de leurs utilisateurs » (A/74/486, paragraphe 41).

I. Légalité (clarté et accessibilité des règles)

Le principe de légalité prévoit que les règles qui limitent la liberté d’expression soient accessibles, claires et suffisamment précises pour permettre à un individu d’adapter son comportement en conséquence (observation générale 34, paragraphe 25). En outre, ces règles « ne peu[ven]t pas conférer aux personnes chargées de [leur] application un pouvoir illimité de décider de la restriction de la liberté d’expression » et doivent « énoncer des règles suffisamment précises pour permettre aux personnes chargées de leur application d’établir quelles formes d’expression sont légitimement restreintes et quelles formes d’expression le sont indûment » (Ibid). Le Rapporteur spécial des Nations Unies sur la liberté d’expression a déclaré que lorsqu’elles s’appliquent aux acteurs privés, les règles régissant le discours en ligne devaient être claires et précises (A/HRC/38/35, paragraphe 46). Les personnes utilisant les plateformes de Meta doivent pouvoir accéder aux règles et les comprendre, et les équipes d’examen de contenu doivent disposer de conseils clairs sur leur application.

Selon le Conseil, bien que dans ce contexte l’expression « images truquées et sexualisées désobligeantes » aurait dû être claire pour les utilisateurs à l’origine de ces contenus, elle ne l’est généralement pas suffisamment pour les autres utilisateurs. Afin de répondre à la question du Conseil concernant la signification de cette expression, Meta a déclaré que : « “les images truquées ou dessins sexualisés désobligeants” désignent des images manipulées sexualisant des personnes de façon probablement non sollicitée par elles-mêmeset donc perçues comme désobligeantes (par exemple, intégrer la tête d’une personne réelle sur un corps nu ou presque nu) ». Le Conseil remarque qu’un terme tel que « non consensuelles » constituerait une expression plus claire que « désobligeantes » afin de transmettre l’idée de manipulations sexualisées non sollicitées d’images.

Néanmoins, le Conseil estime que le terme « truquées » énoncé dans l’interdiction sur les « images truquées et sexualisées désobligeantes » est obsolète et trop restreint pour couvrir l’ensemble des techniques de manipulation du contenu multimédia mises à la disposition des utilisateurs, notamment celles qui sont alimentées par l’IA générative. Bien que le terme « truquées » n’implique plus nécessairement l’utilisation d’un logiciel d’édition en particulier, il continue de désigner communément la modification manuelle d’images à l’aide d’outils numériques. En revanche, la plupart des images sexualisées non consensuelles actuellement diffusées en ligne sont créées à partir de modèles d’IA générative qui modifient automatiquement des images existantes ou en créent de toutes nouvelles. Meta doit s’assurer que l’interdiction qu’elle impose au contenu sexualisé désobligeant s’applique à ce vaste ensemble de techniques d’édition, d’une façon claire aussi bien pour ses utilisateurs que ses équipes de modération.

Le Conseil considère par ailleurs que les lignes politiques interdisant ces images gagneraient en pertinence si elles étaient intégrées au Standard de la communauté sur l’exploitation sexuelle des adultes plutôt que dans celui relatif à l’intimidation et au harcèlement. Les règles doivent être intuitives pour que les utilisateurs comprennent facilement ce qui est interdit et pourquoi. Cela est d’autant plus important lorsque le contenu aurait été conforme aux règles si l’image avait été créée et partagée de façon consensuelle, comme dans le premier cas (personnalité publique indienne). Si un utilisateur observe les images des deux cas présents, il est peu probable qu’il les considère comme une tentative d’intimidation ou de harcèlement.

Un commentaire public de la RATI Foundation for Social Change (une ONG Indienne qui aide les victimes de violence sexuelle en ligne et hors ligne) a déclaré que, bien que l’une des solutions dont elle dispose pour aider les victimes est de favoriser la suppression des images à caractère sexuel générées par l’IA des plateformes de Meta, elle n’a jamais eu vent de l’interdiction des « images truquées et sexualisées désobligeantes » et n’a jamais signalé une image explicite d’IA en vertu de la politique sur l’intimidation et le harcèlement. Au lieu de cela, elle a signalé ces images conformément à d’autres politiques comme celles relatives à la nudité et aux activités sexuelles chez les adultes, à l’exploitation infantile et à l’exploitation sexuelle des adultes (voir commentaire PC-27032).

En intégrant cette interdiction au Standard de la communauté sur l’intimidation et le harcèlement, Meta suppose que les utilisateurs publient ces images afin de harceler certaines personnes. Il est toutefois possible que cela ne reflète pas précisément la raison pour laquelle un utilisateur a publié une image explicite générée par l’IA. Cela crée de la confusion pour tous les utilisateurs, qu’il s’agisse des personnes à l’origine du contenu ou de celles qui le signalent. Une recherche externe commandée par le Conseil a démontré que certains utilisateurs diffusent des deepfakes d’images intimes pour différentes raisons qui ne relèvent pas nécessairement d’une intention expresse d’intimider ou de harceler. Bien que le harcèlement et le trolling fassent partie des raisons qui sous-tendent ces publications, les auteurs sont également souvent motivés par la volonté de créer une audience sur la plateforme, de monétiser leur page ou de rediriger les utilisateurs vers d’autres sites, tels que les sites et services pornographiques ou les sites Web de type piège à clic. Une étude de 2020 réalisée par Powell et. al a également mis en évidence que les auteurs d’abus sexuels basés sur des images justifient souvent leurs agissements en expliquant qu’ils veulent être « drôles », « flirter » ou même « vendre les images ». Les lignes politiques interdisant ces images seraient plus claires si on portait l’attention sur l’absence de consentement et les préjudices perpétrés par la prolifération de ces contenus, plutôt que les conséquences des attaques directes, ce que l’application de la politique sur l’intimidation et le harcèlement implique.

La politique relative à l’exploitation sexuelle des adultes constituerait donc un espace plus évident et logique pour intégrer ces interdictions. Cette politique se concentre sur les images partagées sans consentement et contient l’interdiction du partage des images intimes non consensuelles, qui représente clairement une problématique très similaire. Par ailleurs, Meta doit envisager de renommer cette politique afin qu’elle apporte plus de détails et de clarté aux utilisateurs, par exemple « Contenu sexuel non consensuel ».

II. Objectif légitime

Par ailleurs, toute restriction de la liberté d’expression doit au minimum répondre à l’un des objectifs légitimes énumérés dans le PIDCP, qui incluent la protection des droits d’autrui.

Le Conseil des droits de l’homme a interprété le terme « droits » comme incluant les droits de l’homme tels qu’ils sont reconnus dans le PIDCP et plus généralement dans le droit international lié aux droits de l’homme (observation générale 34, paragraphe 28).

La décision de Meta d’interdire les deepfakes d’images intimes sur la plateforme tend à protéger les droits à la santé physique et mentale, compte tenu de la nature extrêmement préjudiciable de ce contenu pour les victimes (article 12 du PIDESC) ; la protection contre la discrimination, car il est clairement démontré que ce contenu affecte les femmes et les filles de façon disproportionnée (article 2 du PIDCP et PIDESC) ; et le droit à la vie privée, car il affecte la capacité des personnes à maintenir une vie privée et à autoriser la façon dont les images les représentant sont créées et diffusées (article 17 du PIDCP).

Le Conseil conclut que les restrictions appliquées à la plateforme concernant les deepfakes d’images intimes ont été adoptées afin de protéger les personnes contre la création et la diffusion d’images sexuelles prises sans leur consentement, et contre les préjudices en découlant qui affectent les victimes et leurs droits. Cela représente un objectif légitime pour la restriction de ce contenu.

III. Nécessité et proportionnalité

Conformément à l’article 19(3) du PIDCP, le principe de nécessité et de proportionnalité requiert que les restrictions de la liberté d’expression soient « appropriées pour remplir leur fonction de protection, elles doivent constituer le moyen le moins perturbateur parmi ceux qui pourraient permettre d’obtenir le résultat recherché et elles doivent être proportionnées à l’intérêt à protéger » (observation générale 34, paragraphe 34).

Gravité des préjudices dans ce contenu :

Selon le Conseil, l’interdiction et la suppression constituent des mesures nécessaires et proportionnées en vue de protéger les droits des personnes affectées par ce contenu. Les personnes représentées dans ce contenu subissent de graves préjudices. L’utilisation non consensuelle de leur image en vue de créer des images sexualisées porte atteinte à leurs droits à la vie privée et à la protection contre les préjudices mentaux et physiques.

Contenu de la gravité des préjudices causés, la suppression du contenu s’avère être la seule solution efficace qui existe pour protéger les victimes, sachant qu’aucune mesure moins intrusive ne suffirait. Dans la vidéo retouchée de la décision du président Biden, le Conseil a recommandé d’ajouter une mention au contenu manipulé afin de ne pas induire en erreur les utilisateurs quant à l’authenticité du contenu. Cette mesure ne suffirait cependant pas à résoudre le préjudice connexe, car il découle du partage et de la visualisation de l’image elle-même, et pas seulement de l’erreur d’appréciation des personnes.

Compte tenu du fait que l’écrasante majorité des personnes représentées dans ces images sont des femmes ou des filles, ce type de contenu constitue également une discrimination et un préjudice sexiste très marqué (voir commentaire PC-27045).

Application des banques MMS à ce contenu :

Le Conseil a également étudié l’utilisation des banques MMS de Meta. L’image présentée dans le second cas (personnalité publique américaine) avait déjà été intégrée à la banque MMS, tandis que celle du premier cas (personnalité publique indienne) ne l’a été que lorsque le Conseil a demandé à Meta pourquoi elle ne l’était pas. Meta a répondu qu’elle s’appuyait sur des rapports médiatiques pour indiquer que l’image du second cas circulait sur les réseaux sociaux et qu’« il était nécessaire de l’intégrer à une banque afin de résoudre le problème plus global de la prolifération de ce contenu ». Elle a ensuite déclaré qu’aucun signal médiatique n’était présent dans le premier cas.

Le Conseil souligne l’éventualité qu’il y ait de nombreuses victimes de deepfakes d’images intimes non consensuelles dont les images sont partagées à de multiples reprises sur les plateformes. Néanmoins, elles ne disposent pas d’un profil public et doivent soit accepter la prolifération de ces représentations non consensuelles, soit chercher et signaler chaque contenu compromettant, ce qui s’avère particulièrement exigeant en matière de ressources et traumatisant. Un commentaire public de Witness exhorte Meta à « ne pas faire porter aux victimes la responsabilité du signalement, notamment du même contenu à plusieurs reprises » (voir commentaire PC-27095). Le Conseil fait une nouvelle fois part de cette inquiétude, compte tenu, notamment, des conséquences sur les victimes dans les régions ou les communautés ayant une faible éducation aux médias. Meta a déclaré que l’un de ses signaux indiquant l’absence de consentement dans le cadre de la politique sur l’exploitation sexuelle des adultes est visible dans les reportages d’information sur les fuites d’images intimes non consensuelles. Bien qu’il puisse s’agir de précieuses informations pour le contenu concernant les personnalités publiques, Meta ne doit pas s’appuyer outre mesure sur ce signal, car il est peu pertinent pour le contenu concernant les particuliers, qui ne feront probablement pas l’objet d’un reportage d’information. Meta doit également tenir compte des signaux qui favorisent l’identification des représentations non consensuelles de particuliers.

En examinant la proportionnalité des mesures appliquées par Meta, le Conseil a également évoqué l’application de sanctions contre les utilisateurs, en particulier la possibilité de sanctionner toute personne (pas uniquement l’auteur de la publication) ayant partagé ces images. Un commentaire public de RATI Foundation for Social Change a déclaré que, d’après son expérience d’assistance aux victimes de deepfakes d’images intimes, « un grand nombre de ces vidéos sont publiées en collaboration avec un autre compte. Or, lorsque des mesures sont prises concernant la publication, seul l’un des comptes est pénalisé. L’autre compte, à savoir un compte alternatif appartenant à l’auteur, survit et continue à publier ». L’organisation a également affirmé avoir vu de nombreuses copies de la même vidéo, ce qui semble indiquer que les banques MMS pourraient s’avérer efficaces pour traiter ce contenu (voir commentaire PC-27032). Comme le fait remarquer la Digital Rights Foundation, les banques MMS sont bien évidemment « limitées par la base de données des images connues » et bénéficieront toujours d’une utilité plus limitée par rapport aux images générées par l’IA, sachant que les nouvelles sont très faciles à créer (voir commentaire PC-27072). Les banques MMS ne sont pour autant qu’un simple outil dans l’arsenal de Meta pour combattre les deepfakes d’images intimes. Bien que l’application de sanctions dans chaque cas puisse améliorer l’efficacité de la mise en application, elle peut également entraîner une pénalisation des utilisateurs dans des situations qui ne le justifient pas, comme lorsqu’ils partagent sans le savoir des images non consensuelles ou générées par l’IA. Le Conseil reconnaît cette tension. Meta a expliqué au Conseil que la banque MMS du cas présent n’a pas été configurée pour appliquer des sanctions en raison du risque de mise en application excessive. Dans certaines conditions, les choses ont pourtant évolué et les utilisateurs peuvent à présent faire appel de ces décisions. Contenu de ce changement, le Conseil exhorte Meta à réfléchir à la légitimité de l’application de sanctions.

Distinction artificielle entre le partage d’images intimes non consensuelleset les deepfakes d’images intimes :

Enfin, le Conseil a examiné la pertinence de traiter séparément le partage d’images intimes non consensuelles et le deepfake d’images intimes dans les politiques de Meta. Lorsque le Conseil a demandé à Meta s’il était possible de déplacer l’interdiction sur les images truquées et sexualisées désobligeantes (qui, comme nous l’avons vu dans la section « Légalité » ci-dessus, serait mieux décrite en la remplaçant par un terme plus précis) vers la politique sur l’exploitation sexuelle des adultes, l’entreprise lui a répondu que les deux catégories de contenus sont très différentes en raison du fait que les règles relatives à la mise en application de la politique sur les images intimes non consensuelles nécessitent un signal indiquant une absence de consentement (tel qu’une déclaration de vengeance ou des reportages d’information sur une fuite). Ce qui n’est pas le cas des règles sur les images truquées et sexualisées désobligeantes. Il s’agit cependant d’un choix de mise en application qu’il serait théoriquement possible de résoudre en considérant le contexte indiquant que les éléments de nudité ou de sexualisation du contenu ont été générés, truqués ou manipulés par l’IA comme un signal de non-consentement, et précisant que ce contenu n’est pas tenu d’être « non commercial ou réalisé dans un cadre privé » pour constituer une violation de la politique.

Il existe déjà un chevauchement significatif entre les politiques que les utilisateurs sont susceptibles de ne pas bien comprendre Meta a répondu aux questions du Conseil en expliquant que, au moment de prendre des mesures contre le contenu des cas présents, elle définissait en interne les images intimes relevant de la politique sur l’exploitation sexuelle des adultes comme ce qui suit : (i) des captures d’écran de conversations sexuelles privées et (ii) des images d’une ou de plusieurs personnes dans un cadre privé, notamment des images manipulées contenant des éléments de nudité, de quasi-nudité, ou des personnes engagées dans une activité sexuelle.

En supposant que des images sexuelles générées par l’IA ne sont pas consensuelles, il serait possible de supprimer une image alors que la personne représentée était consentante. Le Conseil s’inquiète particulièrement de la mise en application excessive de la politique dans les cas de nudité et quasi-nudité autorisés, tel que nous l’avons vu dans le récapitulatif des décisions dans les cas Symptômes du cancer du sein et nudité, Identité de genre et nudité, et Auto-examen de la poitrine et Infographie sur l’auto-examen du cancer des testicules. Toutefois, dans le cas des deepfakes sexualisés, cette supposition a déjà été à l’origine de l’application de la politique de Meta sur les images truquées et sexualisées désobligeantes, compte tenu du fait qu’elle estime que tous les contenus de sexualisation relevant de cette politique et générés par l’IA ou truqués sont indésirables. Tous les contenus générés par l’IA ne pourront bien évidemment pas être identifiés par cette nouvelle ligne politique (comme c’est le cas aujourd’hui), mais l’association des deux catégories de contenu non consensuel permettra à Meta d’améliorer sa stratégie de lutte contre les images intimes non consensuelles et d’utiliser certains aspects de son approche d’évaluation du contenu afin de réduire les deepfakes d’images intimes sur ses plateformes.

Le Conseil a également examiné le fait que, afin de mieux protéger les personnes dont les droits sont affectés par ce type de contenu, Meta doit modifier son approche quant aux interdictions imposées aux images intimes non consensuelles et aux images truquées et sexualisées désobligeantes. Il s’agirait ici de partir du principe que de telles images sont non consensuelles, au lieu de s’appuyer sur l’approche actuelle qui consiste à penser que ces images sont consensuelles et que des signaux de non-consentement doivent être présents pour les supprimer. Après avoir évalué la faisabilité et l’impact de l’approche proposée, le Conseil a cependant conclu qu’elle pouvait entraîner une mise en application particulièrement excessive contre le contenu ne constituant pas une infraction et ne serait actuellement pas faisable dans le contexte des outils automatisés sur lesquels Meta s’appuie pour appliquer ses politiques.

Accès au recours

Le Conseil est préoccupé par le fait que les appels ont fait l’objet d’une fermeture automatique dans le premier cas. Le signalement initialement émis et l’appel contre la décision de Meta de laisser le contenu sur la plateforme ont tous deux été fermés automatiquement. Meta a informé le Conseil que « le contenu signalé en raison d’une quelconque infraction (à l’exception du contenu relatif aux abus sexuels infligés aux enfants) peut être fermé automatiquement si notre technologie ne détecte aucune probabilité élevée d’infraction et n’est pas examiné dans les 48 heures ».

Les utilisateurs ne connaissent peut-être pas le processus de fermeture automatique et le fait que, s’ils déposent un appel au sujet d’un contenu, ce dernier puisse ne jamais faire l’objet d’un examen. En parallèle, comme dans le premier cas, les victimes et les autres utilisateurs souhaitant supprimer des deepfakes d’images intimes ont la possibilité de signaler le contenu, mais se voient refuser la conduite d’un véritable examen. Lorsqu’ils font appel de cette décision, cette situation peut se rejouer, le même processus de fermeture automatique se répétant une fois encore.

Nombre des commentaires publics reçus dans le cas présent critiquaient le recours à la fermeture automatique des appels pour les abus sexuels basés sur des images. Les préjudices causés par ces images sont si graves que le simple fait de devoir attendre 48 heures avant la conduite d’un examen peut nuire aux victimes. L’American Sunlight Project, illustrant les deepfakes d’images intimes ciblant des femmes politiques lors d’élections, déclare que « ces contenus peuvent être vus des centaines de milliers de fois, commentés dans la presse nationale, et provoquer la chute de popularité de la candidate dans l’opinion publique, la désavantageant par rapport à ses opposants. Dans certains pays, notamment l’Inde, où le cas présent a eu lieu, cela pourrait même constituer un risque pour sa vie » (voir commentaire PC-27058). Le Centre for Protecting Women Online a émis un commentaire similaire qui avertissait du fait que les préjudices causés par ces images pendant une élection peuvent s’avérer très graves « dans les contextes où l’alphabétisation numérique du grand public est faible et où les messages et images publiés sur les réseaux sociaux influencent particulièrement les électeurs, car ils constituent pour ainsi dire leur seule source d’informations » (voir commentaire PC-27088). Indépendamment du statut public ou privé des victimes, il est évident qu’une suppression tardive de ces images nuit gravement à leur vie privée et peut être catastrophique. Le Conseil a réfléchi à l’éventualité que le contenu à l’origine de ces graves préjudices envers les victimes (qu’il s’agisse de deepfakes ou d’images intimes non consensuelles) puisse ne pas faire l’objet d’une procédure de fermeture automatique. Le Conseil reconnaît les défis qu’une modération du contenu pose à grande échelle, et la nécessité de s’appuyer sur des processus automatisés afin de gérer le contenu signalé pour examen, mais il s’inquiète de la gravité des préjudices qui peuvent survenir à cause de son recours dans des domaines politiques tels que celui-ci. Le Conseil ne dispose pas de suffisamment d’informations concernant l’utilisation de la fermeture automatique dans l’ensemble des politiques de Meta pour émettre une recommandation sur l’application de cette procédure dans ses systèmes généraux de mise en application. Il s’agit toutefois selon lui d’un problème pouvant entraîner de graves conséquences sur les droits humains nécessitant d’évaluer soigneusement les risques et de les atténuer.

6. Décision du Conseil de surveillance

Le Conseil de surveillance annule la décision initiale de Meta de conserver le contenu du premier cas (personnalité publique indienne), et lui demande de supprimer cette publication. En ce qui concerne le second cas (personnalité publique américaine), il confirme la décision de Meta de supprimer le contenu.

7. Recommandations

Politique de contenu

1. Afin d’améliorer la confiance de ses utilisateurs et d’associer ses politiques relatives au contenu non consensuel, Meta doit déplacer l’interdiction sur les « images truquées et sexualisées désobligeantes » dans le Standard de la communauté sur l’exploitation sexuelle des adultes.

Le Conseil considérera que cette recommandation aura été mise en place lorsque cette section sera supprimée de la politique relative à l’intimidation et au harcèlement et sera incluse dans la politique sur l’exploitation sexuelle des adultes mise à la disposition du public.

2. Afin d’améliorer la confiance de ses utilisateurs, Meta doit remplacer le terme « désobligeantes » utilisé dans l’interdiction relative aux « images truquées et sexualisées désobligeantes » par « non consensuelles ».

Le Conseil considérera que cette recommandation aura été mise en place lorsque le terme « non consensuelles » aura remplacé « désobligeantes » dans l’interdiction relative au contenu sexualisé désobligeant dans les Standards de la communauté mis à la disposition du public.

3. Afin d’améliorer la confiance de ses utilisateurs et de s’assurer que ses politiques couvrent un grand nombre de techniques de modification et de génération de contenu multimédia, Meta doit remplacer le terme « truquées » énoncé dans interdiction relative aux « images truquées et sexualisées désobligeantes » par un mot plus générique pour désigner le contenu multimédia manipulé.

Le Conseil considérera que cette recommandation aura été mise en place lorsque le terme « truquées » sera supprimé de l’interdiction relative au contenu « sexualisé désobligeant » et remplacé par un terme plus générique, tel que « contenu multimédia manipulé ».

4. Afin d’harmoniser ses politiques sur le contenu non consensuel et de s’assurer que le contenu en infraction a été supprimé, Meta doit ajouter un nouveau signal pour l’absence de consentement dans la politique relative à l’exploitation sexuelle des adultes, à savoir un contexte montrant que le contenu a été généré ou manipulé par l’IA. Pour le contenu répondant à ce contexte spécifique, la politique doit également préciser qu’il ne doit pas nécessairement être « non commercial ou produit dans un cadre privé » pour constituer une infraction.

Le Conseil considérera que cette recommandation aura été mise en place lorsque les règles internes publiques et privées seront mises à jour afin de refléter ce changement.

Note de procédure :

Les décisions du Conseil de surveillance sont prises par des panels de 5 membres et approuvées par une majorité du Conseil dans son ensemble. Les décisions du Conseil ne représentent pas nécessairement les opinions de tous les membres.

En vertu de sa Charte, le Conseil de surveillance est habilité à examiner les appels déposés par les utilisateurs dont le contenu a été supprimé par Meta, les appels déposés par les utilisateurs ayant signalé un contenu que Meta n’a finalement pas supprimé, et les décisions que Meta lui transmet (article 2, section 1 de la Charte). Le Conseil dispose d’une autorité contraignante pour confirmer ou annuler les décisions de Meta relatives au contenu (article 3, section 5 de la Charte ; article 4 de la Charte). Le Conseil est habilité à émettre des recommandations non contraignantes auxquelles Meta doit répondre (article 3, section 4 de la Charte ; article 4 de la Charte). Lorsque Meta s’engage à donner suite aux recommandations, le Conseil surveille leur mise en œuvre.

Pour la décision sur ce cas, des recherches indépendantes ont été commandées au nom du Conseil. Le Conseil a bénéficié de l’aide de Duco Advisors, une société de conseil spécialisée dans la géopolitique, la confiance et la sécurité, ainsi que la technologie. Memetica, un groupe d’investigations numériques fournissant des services de conseil en matière de risques et de renseignements sur les menaces pour atténuer les préjudices en ligne, a également fourni des recherches.

Retour aux décisions de cas et aux avis consultatifs politiques