Lutter contre les deepfakes promotionnels trompeurs en modifiant l’approche de mise en application des politiques
5 juin 2025
Le Conseil a renversé la décision de Meta de laisser en ligne une publication Facebook montrant une vidéo manipulée par l’IA. Celle-ci mettait en scène une personne aux traits de la légende brésilienne du football Ronaldo Nazário, dans le but de promouvoir un jeu en ligne. Le retrait de la publication est conforme aux Standards de la communauté de Meta en matière de fraude et de contenus indésirables. Meta aurait également dû rejeter ce contenu à des fins publicitaires, conformément à ses règles interdisant l’utilisation de l’image d’une personne célèbre pour inciter les gens à interagir avec une publicité.
Sur la base des rapports publics, le Conseil note que Meta autorise probablement un grand nombre de contenus frauduleux sur ses plateformes afin d’éviter d’appliquer sa politique de manière excessive à un petit sous-ensemble de situations promotionnelles authentiques de célébrités. Les examinateurs classiques ne sont pas habilités à appliquer cette interdiction aux contenus qui établissent un faux profil ou prétendent être une personne célèbre dans le but d’escroquer ou de frauder. Meta devrait faire respecter cette interdiction à grande échelle en fournissant aux examinateurs des indicateurs souvent facilement identifiables qui permettent de distinguer les contenus par IA.
À propos du cas
En septembre 2024, un utilisateur a partagé une publication impliquant une vidéo manipulée par l’IA et mettant en scène une personne aux traits du joueur de football brésilien à la retraite Ronaldo Nazário. Dans la vidéo, il encourage les gens à télécharger une application pour jouer au jeu en ligne populaire Plinko (ou Plinco).
Dans la vidéo, le flux audio simulant les propos de Ronaldo Nazário n’est pas synchronisé avec le mouvement de ses lèvres. La vidéo présente également des images irréalistes générées par l’IA montrant un enseignant, un conducteur de bus et un employé de supermarché, avec leurs salaires moyens au Brésil. La bande-son rappelle que les joueurs sur Plinko peuvent gagner plus d’argent que les emplois mentionnés. La vidéo invite les utilisateurs à cliquer sur un lien de téléchargement de l’application, bien que celui-ci renvoie vers un autre jeu appelé Bubble Shooter. Cette publication a été vue plus de 600 000 fois.
Un utilisateur a signalé ce contenu à Meta, invoquant une situation de fraude ou d’arnaque, mais le rapport n’a pas été considéré comme prioritaire. La société n’a pas supprimé le contenu. L’utilisateur a fait appel de cette décision auprès de Meta, mais cet appel n’a pas non plus été considéré comme prioritaire pour un examen manuel, ce qui a conduit au maintien du contenu sur Facebook. L’utilisateur a fini par faire appel de la décision de Meta auprès du Conseil, affirmant que la publication semblait avoir été sponsorisée. Lorsqu’une publication est boostée, une publicité est créée sur la publication.
La publicité a été désactivée pour violation du Standard publicitaire de la société relatif aux pratiques commerciales inacceptables, bien que la publication organique d’origine soit restée sur la plateforme. À la suite de l’identification du Conseil de ce cas pour révision, Meta a supprimé la publication d’origine pour violation de la politique relative à la fraude, aux arnaques et aux pratiques trompeuses. Meta a confirmé par la suite que la publication enfreignait également sa politique en matière de contenus indésirables.
Les deepfakes et les deepfakes promotionnels sont en augmentation à l’échelle mondiale, notamment ceux impliquant des personnalités publiques faisant la promotion de campagnes politiques frauduleuses et d’escroqueries financières. Des rapports soulignent que de nombreuses escroqueries financières au Brésil qui proviennent de Facebook, Instagram et WhatsApp impliquent des contenus manipulés par l’IA.
Principaux constats
La suppression du contenu est conforme aux responsabilités de Meta en matière de droits de l’homme. Les situations promotionnelles manipulées et trompeuses présentent des risques importants pour les droits à la vie privée et à la réputation de la personne représentée. Elles ont également un impact sur le public, en facilitant potentiellement la fraude.
Le Conseil est préoccupé par le fait que les examinateurs de contenu classiques ne sont pas en mesure de supprimer les publications qui établissent un faux profil ou qui prétendent être une personne célèbre « dans le but d’escroquer ou de frauder », même si le contenu contient des indicateurs clairs qu’il enfreint les politiques de Meta. Ce type de contenu ne peut être supprimé que par les équipes spécialisées de Meta, ce qui rend plus probable une application insuffisante de sa politique relative à la fraude, aux arnaques et aux pratiques trompeuses.
Meta autorise probablement un grand nombre de contenus frauduleux sur ses plateformes afin d’éviter d’appliquer sa politique de manière excessive à un petit sous-ensemble de situations promotionnelles authentiques de célébrités. Cette situation est particulièrement préoccupante dans la mesure où les promotions authentiques de célébrités bénéficieront probablement d’autres protections contre une application excessive de la politique, que ce soit par le biais de systèmes formels tels que la vérification croisée ou de points de contact au sein de Meta. Le Conseil recommande donc à Meta de modifier son approche et d’appliquer cette ligne politique à grande échelle.
La nature manipulée ou fausse de la vidéo est évidente. Le Conseil estime que la publication enfreint l’interdiction de Meta concernant les faux profils ou le fait de prétendre être une personne célèbre dans le but d’escroquer ou de frauder, conformément au Standard de la communauté relatif à la fraude, aux arnaques et aux pratiques trompeuses. Elle enfreint également l’interdiction de Meta concernant le partage de liens trompeurs ou mensongers, conformément au Standard de la communauté relatif aux contenus indésirables, puisqu’elle fait la promotion de Plinko mais renvoie à un jeu différent. Par conséquent, le Conseil estime que la publication aurait dû être supprimée lorsqu’elle a été signalée. Même avant la suppression de la publication, Meta aurait dû apposer une étiquette « Infos IA », conformément à sa politique en matière de manipulation de contenus. Meta aurait également dû rejeter ce contenu à des fins publicitaires, car son Standard publicitaire relatif aux pratiques commerciales inacceptables interdit l’utilisation de l’image d’une personne célèbre et de tactiques trompeuses pour inciter les gens à interagir avec une publicité.
Meta a la responsabilité d’« atténuer les effets négatifs sur les droits de l’homme » des contenus monétisés susceptibles de constituer une escroquerie ou une fraude, conformément aux Principes directeurs des Nations unies relatifs aux entreprises et aux droits de l’homme. Lorsqu’il est payé pour booster du contenu, Meta devrait s’assurer que ces publications n’enfreignent pas ses politiques.
Décision du Conseil de surveillance
Le Conseil de surveillance renverse la décision de Meta de laisser la publication sur Facebook.
Le Conseil recommande également à Meta de :
- Appliquer à grande échelle sa politique relative à la fraude, aux arnaques et aux pratiques trompeuses interdisant les contenus qui « tentent d’établir un faux profil ou de prétendre être une personne célèbre dans le but d’escroquer ou de frauder », en fournissant des indicateurs permettant d’identifier ce type de contenu. Il peut s’agir, par exemple, de la présence de filigranes et de métadonnées de manipulation des médias, ou de facteurs clairs tels que la non-concordance vidéo/audio.
Pour plus d’informations
Pour lire les commentaires publics sur ce cas, cliquez ici.
