रिपोर्ट किया गया AI-जेनरेटेड अश्लील वीडियो

सारांश

ओवरसाइट बोर्ड ने Meta के उस फ़ैसले को पलट दिया है, जिसमें उसने Instagram पर कथित तौर पर AI-जेनरेटेड एक वीडियो बने रहने दिया था. इस वीडियो में किसी और महिला के होने का दिखावा किया जा रहा था. बोर्ड ने Meta से यह भी कहा कि वह उन आम लोगों के लिए सुरक्षा बढ़ाए, जो सेक्शुअल डीपफ़ेक का शिकार बनते हैं.

यह क्यों ज़रूरी है

बोर्ड का फ़ैसला और सुझाव ऐसे समय में आए हैं जब भारत, यूनाइटेड किंगडम और स्पेन जैसी सरकारें अलग-अलग प्लेटफ़ॉर्म के लिए AI-जेनरेटेड कंटेंट पर नए नियम बना रही हैं. यूरोपियन यूनियन (EU) ने ऐसे AI सिस्टम पर रोक लगाने का समझौता किया है जो बिना सहमति के अश्लील और अंतरंग कंटेंट या बच्चों के यौन शोषण से जुड़े कंटेंट बनाते हैं, जैसे कि AI 'न्यूडिफ़िकेशन' ऐप्स. X जैसे अन्य प्लेटफ़ॉर्म भी AI चैटबॉट्स की मदद से बनाई गई अश्लील फ़ोटो को लेकर जाँच के दायरे में हैं.

यह साफ़ है कि AI टूल्स बहुत बड़े, तेज़ और एडवांस हैं, जिसकी वजह से दुनिया भर में बिना सहमति वाले AI-जेनरेटेड अश्लील कंटेंट की बाढ़ आ गई है. सेक्शुअल डीपफ़ेक वीडियो के फैलने से मान-सम्मान और मानसिक स्थिति को ठेस पहुँचती है, जिसका सबसे बुरा असर महिलाओं और लड़कियों पर होता है और इससे उनके सामाजिक या राजनीतिक जीवन में भाग लेने की हिम्मत कम होती है.

केस की जानकारी

सितंबर 2025 में, एक Instagram यूज़र ने कथित तौर पर AI-जेनरेटेड आठ सेकंड का एक वीडियो पोस्ट किया, जिसमें एक महिला अपनी फ़िटिंग वाली ड्रेस को ठीक करते हुए और शरीर को हिलाते हुए दिख रही है और कुछ फ़्रेम में उसका अंडरवियर भी दिख रहा है.

अगले दिन, Meta के ऑटोमेटेड सिस्टम ने, जो ऐसे कंटेंट की पहचान करता है जिससे लोगों को नुकसान हो सकता है और जिसके वायरल होने की संभावना ज़्यादा होती है, इस पोस्ट की पहचान की, लेकिन इसे ह्यूमन रिव्यू के लिए प्राथमिकता नहीं दी गई. कुछ दिनों बाद, दो यूज़र ने उस कंटेंट की रिपोर्ट की, लेकिन वह प्लेटफ़ॉर्म पर ही बना रहा. एक यूज़र ने Meta से अपील की, लेकिन पोस्ट का रिव्यू नहीं किया गया और फिर यूज़र ने बोर्ड से अपील की. अपील करने वाले यूज़र ने बोर्ड को बताया कि वीडियो AI-जेनरेटेड था और इसमें उसकी किसी दोस्त (जिसने अपना अकाउंट पहले ही बंद कर दिया था) के होने का दिखावा किया गया था और उस दोस्त की सहमति नहीं ली गई थी.

जब बोर्ड ने यह केस Meta के ध्यान में लाया, तो कंपनी के ‘विषयों से जुड़े विशेषज्ञों’ ने पोस्ट को रिव्यू किया और निष्कर्ष निकाला कि कंपनी के कम्युनिटी स्टैंडर्ड के तहत इसे हटाने की ज़रूरत नहीं है, लेकिन ऐसा कर दिया कि पोस्ट अब सिर्फ़ वयस्कों को ही दिखेगा.

मुख्य निष्कर्ष

बोर्ड ने पाया कि यह पोस्ट, Meta की वयस्कों के यौन शोषण से जुड़ी पॉलिसी के तहत, बिना पूछे निजी पलों की फ़ोटो या वीडियो (NCII) शेयर करने पर लगी रोक का उल्लंघन करती है. ऐसा इसलिए है क्योंकि यह पोस्ट बिना पूछे शेयर की गई निजी पलों की फ़ोटो या वीडियो से जुड़ी पॉलिसी की तीनों शर्तों को पूरा करती है – यह एक निजी माहौल में बिना कमर्शियल मकसद से बनाया गया कंटेंट लगता है; इसमें दिखाई गई महिला "लगभग नग्न" है; और इसमें सहमति नहीं ली गई है.

Meta ने कहा कि जब कंटेंट को फ़्लैग किया गया, तो कंपनी को इस बात की कोई जानकारी नहीं मिली थी कि वीडियो में दिख रहा व्यक्ति "असली इंसान" है, क्योंकि उन्होंने कंटेंट की रिपोर्ट नहीं की थी. सहमति न होने की पुष्टि करने के लिए Meta कई सिग्नल का उपयोग करता है. इनमें, उस व्यक्ति की रिपोर्ट शामिल है जिसकी फ़ोटो या वीडियो पोस्ट में है, इसके अलावा कैप्शन, कमेंट या टाइटल जिनसे बदले की भावना का पता चलता है; या कानून लागू करने वाली संस्थाओं, मीडिया या बिना पूछे निजी पलों की फ़ोटो या वीडियो शेयर किए जाने से प्रभावित लोगों के प्रतिनिधियों जैसे स्वतंत्र स्रोतों से मिली रिपोर्ट भी शामिल है.

बोर्ड का मानना ​​है कि AI की मदद से कोई और होने का दिखावा करना डिफ़ॉल्ट रूप से बिना सहमति का केस है और इसे उन सिग्नल में शामिल किया जाना चाहिए जिनका उपयोग कंपनी सहमति न होने की पुष्टि करने के लिए करती है.

इस तरह से सहमति न होने के सिग्नल्स का दायरा बढ़ाने से खास तौर पर उन आम लोगों को फ़ायदा होगा जो बिना पूछे निजी पलों की फ़ोटो या वीडियो के शेयर किए जाने का शिकार बनते हैं, क्योंकि इससे पीड़ितों पर खुद इस दुरुपयोग की रिपोर्ट करने का बोझ कम हो जाएगा. इस केस में बोर्ड ने जिन विशेषज्ञों से सलाह ली, उनका कहना था कि पीड़ितों को सबसे ज़्यादा फ़ायदा कंटेंट को तेज़ी से हटाने और उसे फ़्लैग करने के ऐसे बेहतर तरीकों से होता है, जो खुद रिपोर्ट करने पर निर्भर नहीं होते.

इस बोझ को और कम करने के लिए, बोर्ड का मानना ​​है कि Meta को टार्गेट किए गए लोगों के दोस्तों और परिवार के वेरिफ़ाइड अकाउंट्स को यह अनुमति देनी चाहिए कि वे उनकी ओर से नियमों का उल्लंघन करने वाले कंटेंट की रिपोर्ट कर सकें.

Meta को अपने प्लेटफ़ॉर्म पर बिना पूछे शेयर की गई निजी पलों की फ़ोटो या वीडियो की रिपोर्ट करने और उनके खिलाफ़ अपील करने के प्रोसेस में भी दुनिया भर में सुधार करना चाहिए. Meta और अन्य लार्ज लैंग्वेज मॉडल डेवलपर्स को सिस्टम डिज़ाइन में सुरक्षा के उपाय शामिल करने चाहिए और बड़े पैमाने पर कंटेंट क्रेडेंशियल्स लागू करने चाहिए.

ओवरसाइट बोर्ड का फ़ैसला

बोर्ड ने Meta के कंटेंट को बनाए रखने के फ़ैसले को बदल दिया और उस पोस्ट को हटाने को कहा.

बोर्ड ने सुझाव दिया है कि Meta को:

• वयस्कों के यौन शोषण से जुड़ी पॉलिसी में सहमति नहीं होने का नया सिग्नल जोड़ना चाहिए: संदर्भ ऐसे AI-जेनरेटेड कंटेंट से है जिसमें कोई और होने का दिखावा करके असली लोगों को अश्लील तरीके से दिखाया गया हो.
• यूज़र्स को "कनेक्ट किए गए अकाउंट्स", जैसे कि भरोसेमंद दोस्तों, परिवार के सदस्यों या सहयोगियों के अकाउंट चुनने की अनुमति देनी चाहिए, जो उनकी ओर से कम्युनिटी स्टैंडर्ड के संभावित उल्लंघन की रिपोर्ट कर सकें. इन उल्लंघनों में बिना पूछे निजी पलों की फ़ोटो या वीडियो शेयर करना और कोई और होने का दिखावा करना शामिल हैं.
• स्टैंडर्ड कंटेंट रिपोर्टिंग और अपील फ़ॉर्म में ऐसे AI-जेनरेटेड कंटेंट को, जिसमें कोई और होने का दिखावा करके उन्हें अश्लील तरीके से दिखाया गया हो, “उत्पीड़न” या “नग्नता” से अलग कैटेगरी के तौर पर शामिल करना चाहिए. रिपोर्टिंग फ़ॉर्म दुनिया भर में उपलब्ध कराए जाने चाहिए.

बोर्ड ने पिछले फ़ैसलों में बताए गए अपने सुझावों को भी दोहराया, जिन्हें नीचे लिस्ट किया गया है:

• “फ़ोटोशॉप करके बनाई गई अपमानजनक अश्लील फ़ोटो” से जुड़े प्रतिबंध में, “अपमानजनक” शब्द को “बिना सहमति के बनाई गई” वाक्यांश से बदल दे और “फ़ोटोशॉप करके बनाई गई” की जगह पर छेड़छाड़ करके बनाए गए मीडिया के लिए किसी दूसरे व्यापक शब्द का उपयोग करे.
• कंटेंट क्रेडेंशियल को बड़े पैमाने पर लागू करे (जैसा कि सामग्री उद्गम और प्रामाणिकता के लिए गठबंधन (C2PA) में बताया गया है) और यह पक्का करे कि जहाँ भी उत्पत्ति की जानकारी उपलब्ध हो, वहाँ वह यूज़र्स को स्पष्ट, लगातार और आसानी से दिखाई दे और उपलब्ध हो.

*केस के सारांश से केस का ओवरव्यू मिलता है और भविष्य में लिए जाने वाले किसी फ़ैसले के लिए इसको आधार नहीं बनाया जा सकता है.

केस का पूरा फ़ैसला

1. केस की जानकारी और बैकग्राउंड

AI टूल्स बहुत बड़े, तेज़ और एडवांस हैं, जिसकी वजह से बिना सहमति वाले AI-जेनरेटेड अश्लील कंटेंट की बाढ़ आ गई है. साल 2023 में, ऑनलाइन सुरक्षा प्लेटफ़ॉर्म Security Hero की एक रिपोर्ट में पाया गया कि ऑनलाइन मौजूद 98% डीपफ़ेक वीडियो "डीपफ़ेक पोर्नोग्राफ़ी" थे और 99% महिलाओं को टार्गेट करते थे. गैर-सरकारी संगठन (NGO), Internet Matters की 2024 की एक स्टडी में पाया गया कि 99% नग्न डीपफ़ेक में महिलाएँ और लड़कियाँ मौजूद थीं.

फ़रवरी 2026 के एक संयुक्त बयान में, दुनिया भर के 61 डेटा सुरक्षा और प्राइवेसी प्राधिकरणों ने चेतावनी दी कि "हाल की घटनाओं, खासकर आसानी से इस्तेमाल होने वाले सोशल मीडिया प्लेटफ़ॉर्म पर AI से फ़ोटो और वीडियो बनाने की सुविधा की वजह से, बिना पूछे असली लोगों की निजी पलों की फ़ोटो या वीडियो शेयर करना, अपमानजनक चित्रण और अन्य नुकसानदेह कंटेंट बनाना संभव हो गया है." UK के न्यूज़ ग्रुप The Guardian के अनुसार, चूंकि AI मॉडल मौजूदा फ़ोटो के एलिमेंट्स से सीखकर और उन्हें दोहराकर नई फ़ोटो बनाते हैं, इसलिए माना जाता है कि "न्यूडिफ़िकेशन ऐप्स को ज़्यादातर महिलाओं की फ़ोटो के बड़े डेटासेट पर ट्रेन किया जाता है, क्योंकि ये महिलाओं के शरीर पर सबसे ज़्यादा असरदार तरीके से काम करते हैं."

10 देशों में 16,000 से ज़्यादा वयस्कों के बीच 2025 में किए गए एक सर्वे से पता चला कि पुरुषों की तुलना में महिलाओं ने फ़ोटो-आधारित यौन शोषण से ज़्यादा नुकसान और नकारात्मक असर होने की बात कही. रिसर्च से पता चलता है कि बिना सहमति वाली फ़ोटो के ज़रिए होने वाले यौन शोषण से मान-सम्मान और मानसिक स्थिति को ठेस पहुँचती है (जैसे कि तनाव, चिंता और यातना). उत्पीड़न और अपमान होने से, उनकी पहचान, आज़ादी और सम्मान पर असर पड़ता है और इससे उनके सामाजिक या राजनीतिक जीवन में भाग लेने की हिम्मत कम होती है.

बोर्ड को आम लोगों से मिली राय इस बात पर ज़ोर देती है कि ऐसे AI-जेनरेटेड अश्लील कंटेंट को, जिसे बिना पूछे बनाया गया हो (इसमें कोई और होने का दिखावा करना भी शामिल है), परिभाषित करने और उसके खिलाफ़ कार्रवाई करने में सांस्कृतिक और स्थानीय संदर्भों के अंतर को ध्यान में रखना ज़रूरी है (PC-32490 और PC-32481 देखें). वे ऐसी AI-जेनरेटेड फ़ोटो या वीडियो का उदाहरण देते हैं जो बिना पूछे बनाया गया हो और जिसमें कोई और होने का दिखावा करके उन्हें अश्लील तरीके से दिखाया गया हो. इनमें मशहूर हस्तियाँ और आम महिलाएँ, दोनों ही शामिल हैं. NGO, Digital Rights Foundation Pakistan ने पाया कि उसकी डिजिटल सुरक्षा हेल्पलाइन को AI-जेनरेटेड और बिना सहमति के इस्तेमाल की गई फ़ोटो के ज़रिए शोषण के कई केस मिले हैं. इनमें ऐसे केस भी शामिल हैं जिनमें इटली और यूनाइटेड किंगडम में रहने वाली पाकिस्तानी महिलाओं को शोषण का टार्गेट बनाया गया और बाद में वे ऑनर किलिंग का शिकार हुईं, "चाहे वहीं पर या फिर पाकिस्तान आने के लिए मजबूर किए जाने के बाद" (PC-32481).

काफी संख्या में क्षेत्राधिकारों ने बिना सहमति के बनाए गए डीपफ़ेक या AI-जेनरेटेड अश्लील फ़ोटो को रेग्युलेट करने और उन्हें अपराध की कैटेगरी में लाने की दिशा में कदम उठाए हैं. स्पेन ने AI डीपफ़ेक पर रोक लगाने और फ़ोटो, आवाज़ों और हेडशॉट के इस्तेमाल के लिए सहमति के नियमों को मज़बूत करने के मकसद से एक कानून का प्रस्ताव रखा है. मेक्सिको ने डिजिटल हिंसा से निपटने के लिए कानूनी बदलावों पर केंद्रित "ओलंपिया एक्ट" पारित किया है, इसमें बिना पूछे निजी पलों की फ़ोटो शेयर करना भी शामिल है. पेरू और कोलंबिया ने ऐसे कानून पारित किए हैं जिनके तहत डीपफ़ेक का इस्तेमाल अपराध को और गंभीर बना देता है. कनाडा में, ब्रिटिश कोलंबिया का इंटिमेट इमेजेस प्रोटेक्शन एक्ट, बिना पूछे निजी पलों की फ़ोटो शेयर करने पर केंद्रित है.

अमेरिका में, 2025 में कानून बने टेक इट डाउन एक्ट के तहत, बिना पूछे निजी पलों की फ़ोटो या वीडियो (जिनमें AI-जेनरेटेड डीपफ़ेक भी शामिल हैं) पब्लिश करना या ऐसा करने की धमकी देना अपराध है. साथ ही, इस कानून के तहत सभी प्लेटफ़ॉर्म के लिए ज़रूरी है कि वे नोटिफ़िकेशन मिलने के 48 घंटों के अंदर ऐसा कंटेंट हटा दें. भारतीय सरकार का नियम है कि शिकायत मिलने के 24 घंटे के अंदर हर प्लेटफ़ॉर्म को बिना सहमति वाला सेक्शुअल कंटेंट हटाना होगा. यूनाइटेड किंगडम ने बिना पूछे शेयर की गई निजी पलों की फ़ोटो को हटाने के लिए 48 घंटे की समय-सीमा लागू की है.

यूरोपियन यूनियन (EU) ने ऐसे AI सिस्टम पर रोक लगाने का समझौता किया है जो बिना सहमति के अश्लील और अंतरंग कंटेंट या बच्चों के यौन शोषण से जुड़े कंटेंट बनाते हैं, जैसे कि AI 'न्यूडिफ़िकेशन' ऐप्स

यह केस ऐसे AI-जेनरेटेड फ़ोटो के संदर्भ में पॉलिसी और उसे लागू करने से जुड़े अहम मुद्दों को सामने लाता है, जिसमें कोई और होने का दिखावा करके उन्हें अश्लील तरीके से दिखाया गया हो. 2024 में, बोर्ड ने भारत और अमेरिका की मशहूर महिलाओं जैसी दिखने वाली AI-जेनरेटेड अश्लील फ़ोटो के दो केस पर चर्चा की. ( मशहूर महिलाओं की AI-जेनरेटेड अश्लील फ़ोटो). उस फ़ैसले को आधार बनाते हुए, यह केस AI-जेनरेटेड कंटेंट (जिसमें कोई और होने का दिखावा करके उन्हें अश्लील तरीके से दिखाया गया हो) से जुड़े मुद्दों पर विचार करता है, खासकर उन केस में जो आम लोगों से संबंधित हैं.

सितंबर 2025 में, एक Instagram यूज़र ने चुस्त ड्रेस पहने एक महिला का कथित तौर पर AI-जेनरेटेड आठ सेकंड का एक वीडियो पोस्ट किया. इस वीडियो में एक महिला अपनी ड्रेस को ठीक करते हुए और शरीर को हिलाते हुए दिख रही है और कुछ फ़्रेम में उसका अंडरवियर भी दिख रहा है.

अगले दिन, Meta के ऑटोमेटेड सिस्टम ने, जो ऐसे कंटेंट की पहचान करता है और प्राथमिकता देता है जिससे लोगों को नुकसान हो सकता है, खास तौर पर ऐसा कंटेंट जिसके वायरल होने की संभावना ज़्यादा होती है, इस पोस्ट की पहचान की. हालाँकि, रिपोर्ट को ह्यूमन रिव्यू के लिए प्राथमिकता नहीं दी गई.

कुछ दिनों बाद, दो यूज़र्स ने उस कंटेंट की रिपोर्ट पोर्नोग्राफ़ी के तौर पर की, लेकिन उनकी रिपोर्ट को भी ह्यूमन रिव्यू के लिए प्राथमिकता नहीं दी गई और वह कंटेंट Instagram पर बना रहा. रिपोर्ट करने वाले यूज़र्स में से एक ने Meta से उस कंटेंट को हटाने की अपील की, लेकिन फिर भी, उस पोस्ट को ह्यूमन रिव्यू के लिए प्राथमिकता नहीं दी गई. इसके बाद उस यूज़र ने बोर्ड से अपील की.

जब बोर्ड ने यह केस Meta के ध्यान में लाया, तो Meta के ‘विषयों से जुड़े विशेषज्ञों’ ने पोस्ट को रिव्यू किया और निष्कर्ष निकाला कि यह कंपनी के कम्युनिटी स्टैंडर्ड का उल्लंघन नहीं करती. इसलिए, Meta ने उस कंटेंट को नहीं हटाया, लेकिन यह तय किया कि वयस्क नग्नता और यौन गतिविधि से जुड़ी पॉलिसी के तहत यह पोस्ट सिर्फ़ वयस्कों को ही दिखनी चाहिए.

2. यूज़र सबमिशन

बोर्ड से अपील करते हुए, रिपोर्ट करने वाले यूज़र ने कहा कि वीडियो AI-जेनरेटेड था और इसमें रिपोर्ट करने वाले यूज़र की एक महिला दोस्त के होने का दिखावा, उसकी सहमति के बिना किया गया था, जिससे "उसकी मान-सम्मान को नुकसान पहुँच रहा था." रिपोर्ट करने वाले यूज़र ने बताया कि उसकी दोस्त ने अपना अकाउंट पहले ही बंद कर दिया था, लेकिन पोस्ट करने वाला यूज़र उनकी दोस्त की फ़ोटो का इस्तेमाल करके अश्लील कंटेंट बनाता रहा.

3. Meta की कंटेंट पॉलिसी और सबमिशन

कंटेंट का आकलन

Meta ने पाया कि पोस्ट ने किसी कम्युनिटी स्टैंडर्ड का उल्लंघन नहीं किया था. Meta ने इस पोस्ट को वयस्क नग्नता और यौन गतिविधि से जुड़ी पॉलिसी का उल्लंघन नहीं माना. इस पॉलिसी के तहत वयस्कों की नग्नता वाली फ़ोटो-रियलिस्टिक या डिजिटल फ़ोटो या फिर ऐसी फ़ोटो-रियलिस्टिक या डिजिटल वीडियो पर रोक है जिनमें व्यक्ति की जाँघ, कूल्हे या महिलाओं के स्तन पर फ़ोकस किया गया हो और जिन्हें संबंधित व्यक्ति/व्यक्तियों की जानकारी के बिना रिकॉर्ड किया गया हो. हालाँकि, इस पॉलिसी के तहत, कंपनी 18 वर्ष से अधिक उम्र के यूज़र्स को "व्यक्तियों की फ़ोटो-रियलिस्टिक या डिजिटल फ़ोटो, जहाँ व्यक्ति की जाँघ, कूल्हे या महिलाओं के स्तन पर फ़ोकस किया गया हो" के दिखने को प्रतिबंधित करती है. वीडियो में दिख रही महिला अपने पैरों को हिलाकर और कपड़ों को ठीक करके अपनी जाँघ के हिस्से और अंडरवियर की ओर ध्यान खींचती है, इसलिए Meta ने तय किया कि यह कंटेंट इस पॉलिसी के दायरे में आता है और इसे सिर्फ़ वयस्क ही देख सकते हैं.

Meta ने यह भी नहीं माना कि पोस्ट ने वयस्कों के यौन शोषण से जुड़े कम्युनिटी स्टैंडर्ड का उल्लंघन किया है. यह स्टैंडर्ड बिना पूछे निजी पलों की ऐसी फ़ोटो या वीडियो (NCII) को “शेयर करने, शेयर करने की धमकी देने, शेयर करने की मंशा ज़ाहिर करने या ऐसे कंटेंट की पेशकश करने या मांगने पर रोक लगाता है, जिनमें नीचे दी गई तीनों शर्तें पूरी होती हों:

a. फ़ोटो नॉन-कमर्शियल हो और प्राइवेट सेटिंग में ली गई हो.

b. फ़ोटो में मौजूद व्यक्ति (लगभग) नग्न हो, यौन गतिविधि में शामिल हो या किसी यौन मुद्रा में हो (जिसमें डिजिटल रूप से बनाई गई या AI-जेनरेटेड फ़ोटो शामिल हैं).

c. इनमें से किसी भी संकेत से यह पता चलता हो कि फ़ोटो को शेयर करने की सहमति नहीं ली गई है:

i. बदले की भावना वाला संदर्भ (जैसे कि कैप्शन, कमेंट या पेज का टाइटल).

ii. स्वतंत्र सोर्स जैसे कि कानून लागू करने वाली संस्था के रिकॉर्ड, मीडिया रिपोर्ट्स (जैसे कि मीडिया द्वारा कन्फ़र्म की गई फ़ोटो की लीक) या NCII में बचे हुए व्यक्ति का जनप्रतिनिधि.

iii. फ़ोटो में दिखाए गए व्यक्ति या उस व्यक्ति की रिपोर्ट जिसका नाम और फ़ोटो में दिखाए गए व्यक्ति का नाम एक ही है.”

Meta के अनुसार, जब मामले को आगे भेजने के बाद रिव्यू किया जा रहा था, तब कंपनी को ऐसा कोई सिग्नल (जैसे कि यूज़र की रिपोर्ट) नहीं मिला था, जिससे यह पता चले कि दिखाई गई महिला "असली इंसान" है. Meta ने कहा कि अगर वीडियो में दिख रहे व्यक्ति ने उस कंटेंट की रिपोर्ट की होती, तो यह वयस्कों के यौन शोषण से जुड़ी पॉलिसी का उल्लंघन होता. ऐसा इसलिए है क्योंकि वीडियो में दिख रही महिला ने लॉन्जरी या स्लीपवियर पहना है, जो लगभग नग्नता के बराबर है और बिना पूछे निजी पलों की फ़ोटो शेयर करने से जुड़ी पॉलिसी का उल्लंघन है. Meta के लिए, यह रिपोर्ट साफ़ तौर पर यह सिग्नल देती कि इसे शेयर करने की सहमति नहीं थी.

Meta ने यह भी नहीं माना कि यह पोस्ट धमकाने और उत्पीड़न से जुड़ी पॉलिसी का उल्लंघन करती है, यानी इस पॉलिसी के टियर 1 [सभी के लिए पूरी तरह सुरक्षा] के तहत "अपमानजनक अश्लील तरीके से किए गए फ़ोटोशॉप या ड्रॉइंग" पर रोक है. इसमें ऐसा कंटेंट शामिल है जिसमें किसी असली व्यक्ति के सिर या चेहरे को किसी ऐसे शरीर (असली या काल्पनिक) के साथ जोड़ा गया हो, जो या तो अश्लील चीज़ें दिखाता हो (जैसे कि नग्नता, आंशिक नग्नता या यौन गतिविधि में शामिल होना) या जिसे यौन रूप से उकसाने वाले अंदाज़ में दिखाया गया हो. Meta ने कहा कि वीडियो में दिख रही महिला को अश्लील तरीके से नहीं दिखाया गया है, यानी वह नग्न या आंशिक तौर पर नग्न नहीं है. Meta के अनुसार, इसी तरह महिला के पोज़ वयस्क नग्नता और यौन गतिविधि से जुड़ी पॉलिसी के तहत यौन रूप से उकसाने वाले पोज़ की कैटेगरी में नहीं आते हैं, जिसमें गुप्तांगों को दिखाने के लिए पैर फैलाना या अंडरवियर या पारदर्शी कपड़े पहनकर झुकना शामिल है.

ऊपर बताई गई तीनों पॉलिसी में "आंशिक नग्नता" शब्द का इस्तेमाल किया गया है, इसलिए बोर्ड ने Meta से पूछा कि पोस्ट को "बिना पूछे निजी पलों की फ़ोटो शेयर करने" की पॉलिसी के उल्लंघन के तहत सिर्फ़ "आंशिक नग्नता" क्यों माना गया. इसके जवाब में, Meta ने बताया कि आंशिक नग्नता और नग्नता के बीच मुख्य अंतर यह है कि गुप्तांगो को कैसे ढका गया है: लगभग नग्नता के मामले में, उन्हें सिर्फ़ किसी अपारदर्शी चीज़ (जैसे, बिना पहने हुए कपड़े), डिजिटल ओवरले या किसी इंसान के शरीर से ढका जाता है, जिससे वे आंशिक रूप से तो दिखते हैं लेकिन पूरी तरह से सामने नहीं होते. इसके विपरीत, पूरी तरह से नग्न होने में शरीर को ढकने वाली ऐसी कोई चीज़ मौजूद नहीं होती. Meta के अनुसार, इन तीनों पॉलिसी में आंशिक नग्नता की एक ही बुनियादी परिभाषा है: यानी "ऐसा इंसान जिसने खास तरीकों से पूरे कपड़े नहीं पहने हों" और जिसकी वजह से गुप्तांगों के बाल, जननांग, महिलाओं के निप्पल और/या कूल्हे आंशिक रूप से दिखाई दे रहे हों, चाहे वे चीज़ों, डिजिटल ओवरले या आर-पार दिखने वाले कपड़ों से ढके ही क्यों न हों. हालाँकि, Meta के अनुसार, सिर्फ़ वयस्कों के यौन शोषण से जुड़ी पॉलिसी ही उस परिभाषा को आगे बढ़ाती है, इसमें बिना पूछे शेयर की गई निजी पलों की फ़ोटो की पहचान करने के मकसद से आंशिक नग्नता के अतिरिक्त संकेतकों को भी शामिल किया गया है. Meta के लिए, यह व्यापक नज़रिया दिखाता है कि उसके प्लेटफ़ॉर्म पर बिना पूछे शेयर की गई निजी पलों की फ़ोटो का दुरुपयोग किस तरह हो सकता है. यानी, ऐसी निजी पलों की फ़ोटो जिनमें लोग निजी माहौल में लॉन्जरी या दूसरे अंतरंग कपड़े पहने हुए हों. यह उन दूसरी पॉलिसी में बताई गई नग्नता या आंशिक नग्नता की परिभाषा से कहीं आगे की बात है. Meta ने आगे बताया कि वयस्क नग्नता और यौन गतिविधि से जुड़ी पॉलिसी को लागू करने के लिए मूल परिभाषा बनाई रखी गई है, ताकि सामान्य कंटेंट को हटाने से बचा जा सके, लेकिन अगर परिभाषा का दायरा नहीं बढ़ाया जाता, तो बिना पूछे शेयर की गई निजी पलों की फ़ोटो पर एन्फ़ोर्समेंट नहीं हो पाता.

धमकाने और उत्पीड़न से जुड़ी पॉलिसी के बारे में कंपनी ने बताया कि अपमानजनक अश्लील फ़ोटोशॉप या ड्रॉइंग को मूल रूप से अपमानजनक माना जाता है, जबकि बिना पूछे शेयर की गई निजी पलों की फ़ोटो में आम तौर पर निजी या अंतरंग पलों में असली लोगों की फ़ोटो शामिल होती हैं और उन्हें उनकी सहमति के बिना शेयर किया जाता है. Meta के अनुसार, चूँकि ये दो अलग-अलग तरह के दुर्व्यवहार हैं, इसलिए वयस्क यौन शोषण से जुड़ी पॉलिसी के तहत आंशिक नग्नता की व्यापक परिभाषा, धमकाने और उत्पीड़न से जुड़ी पॉलिसी के तहत अपमानजनक अश्लील फ़ोटोशॉप या ड्रॉइंग से जुड़ी पॉलिसी पर लागू नहीं होती है.

Meta ने आगे बताया कि "आंशिक नग्नता" वाले स्टैंडर्ड के विपरीत, ऊपर बताई गई "यौन रूप से उकसाने वाले पोज़" की परिभाषा सभी पॉलिसी में एक जैसी ही रहती है.

बोर्ड के सवालों के जवाब में Meta ने कहा कि जब कंटेंट पोस्ट किया गया था, तब कंपनी को वीडियो में बड़े पैमाने पर इंटरनेशनल प्रेस टेलीकम्युनिकेशन्स काउंसिल (IPTC) या C2PA मेटाडेटा नहीं मिला था और पोस्ट करने वाले यूज़र ने खुद यह नहीं बताया था कि वीडियो को AI का इस्तेमाल करके बनाया या बदला गया है, इसलिए इस केस में कंटेंट को AI-जेनरेटेड या मैनिपुलेटेड के तौर पर लेबल नहीं किया गया था. Meta ने बताया कि कंपनी चाहती है कि यूज़र्स AI-डिस्क्लोज़र टूल के ज़रिए यह बताएँ कि वे कब ऐसा ऑर्गेनिक कंटेंट पोस्ट कर रहे हैं जिसमें फ़ोटो-रियलिस्टिक वीडियो या असली लगने वाला ऑडियो हो, जिसे डिजिटल रूप से बनाया या बदला गया हो और अगर यूज़र्स खुद इसकी जानकारी नहीं देते हैं, तो उन्हें पेनल्टी लग सकती है (इज़राइल-ईरान संघर्ष में AI-जनरेटेड वीडियो से जुड़ा फ़ैसला भी देखें).

सहमति की पुष्टि करना

Meta ने बोर्ड को बताया कि सहमति न होने की पुष्टि करने के लिए ज़रूरी शर्तें उसके कम्युनिटी स्टैंडर्ड के हिसाब से अलग-अलग होती हैं. अश्लील कंटेंट के मामले में, कुछ पॉलिसी (जैसे कि वयस्कों के यौन शोषण से जुड़ी पॉलिसी) के तहत कंटेंट हटाने के लिए यह ज़रूरी है कि उसमें सहमति न होने के सिग्नल हों. अन्य पॉलिसी, जैसे कि वयस्क नग्नता और यौन गतिविधि या धमकाने और उत्पीड़न से जुड़ी कुछ पॉलिसी की लाइन, उस व्यक्ति की सहमति के बावजूद उल्लंघन करने वाली मानी जाएँगी जिसे दिखाया गया है या जिसे टार्गेट किया गया है. हालाँकि, धमकाने और उत्पीड़न से जुड़ी दूसरी पॉलिसी (जो इस केस पर लागू नहीं होतीं) के तहत, अगर यह सिग्नल मिलता है कि कंटेंट अनचाहा है, तो उसे हटाना ज़रूरी होता है और ऐसे सिग्नल्स को बिना सहमति वाला कंटेंट होने का सबूत माना जाता है.

खास तौर पर, वयस्कों के यौन शोषण से जुड़ी पॉलिसी के तहत, बिना पूछे शेयर की गई निजी पलों की फ़ोटो वाले नॉन-कमर्शियल कंटेंट (जिसमें AI-जेनरेटेड कंटेंट भी शामिल है) को हटाने के लिए, सहमति न होने के सिग्नल ज़रूरी हैं. Meta ने बताया कि कंपनी उल्लंघन के संदर्भ के आधार पर यह तय करती है कि क्या अश्लील या उत्तेजक फ़ोटो बिना सहमति के शेयर की गई हैं.

कंपनी ने आगे कहा कि अगर बिना पूछे शेयर की गई निजी पलों की फ़ोटो के मामले में सहमति न होने के अन्य भरोसेमंद सिग्नल मिलते हैं, तो उसे हटाने के लिए उस व्यक्ति की सीधी रिपोर्ट की ज़रूरत नहीं है जिसे उन फ़ोटो में दिखाया गया है. इनमें कानून लागू करने वाली एजेंसी, मीडिया या भरोसेमंद पार्टनर्स की रिपोर्ट शामिल हैं. साथ ही, इसमें कंटेंट के अंदर मौजूद सिग्नल (जैसे कि कैप्शन, कमेंट या पेज का टाइटल) भी शामिल हैं, जिनसे पता चलता हो कि फ़ोटो या वीडियो को "बदले की भावना या सनसनी फैलाने के मकसद से" शेयर किया गया था.

इसके विपरीत, वयस्क नग्नता और यौन गतिविधि से जुड़ी पॉलिसी का उल्लंघन करने वाले कंटेंट को हटा दिया जाता है, चाहे उसमें दिखने वाले व्यक्ति की सहमति हो या न हो. इसी तरह, धमकाने और उत्पीड़न से जुड़ी पॉलिसी के तहत, अपमानजनक अश्लील फ़ोटोशॉप या ड्रॉइंग से जुड़े उल्लंघनों को स्वाभाविक रूप से अनचाहा माना जाता है और इसलिए, खुद की गई रिपोर्ट की ज़रूरत नहीं है.

आखिर में, धमकाने और उत्पीड़न से जुड़ी अन्य पॉलिसी के तहत, कंपनी यह पता लगाती है कि क्या कंटेंट अनचाहा है. इसके लिए वह खुद की गई रिपोर्ट या संदर्भ से जुड़े सिग्नल्स का इस्तेमाल करती है. उदाहरण के लिए, “टियर 3” के तहत आने वाले अनचाहे और हेर-फेर की गई फ़ोटो (जिनका अश्लील या निजी होना ज़रूरी नहीं है) के नियम पर खुद की गई रिपोर्ट ज़रूरी होती है, क्योंकि ये साफ़ तौर पर अपमानजनक या आपत्तिजनक नहीं होते हैं. वहीं, यौन उत्पीड़न करने वाले अनचाहे संपर्क से जुड़े "टियर 1" नियम के लिए खुद की गई रिपोर्ट की ज़रूरत नहीं है, लेकिन Meta यह तय करने के लिए कई सिग्नल पर विचार करता है कि क्या कंटेंट में ऐसा व्यवहार दिखाया गया है जो अनचाहा है, इन सिग्नल में यह भी शामिल है कि क्या पाने वाले ने खुद रिपोर्ट किया, असहजता जताई, संपर्क बंद करने के लिए कहा या रिपोर्ट करने या ब्लॉक करने जैसे प्लेटफ़ॉर्म पर मौजूद विकल्प इस्तेमाल किए.

थर्ड पार्टी की रिपोर्टिंग

Meta ने बोर्ड को बताया कि बिना पूछे शेयर की गई निजी पलों की फ़ोटो चाहे सार्वजनिक हस्तियों की हों या आम लोगों की, दोनों ही मामलों में बिना सहमति के सिग्नल समान रूप से लागू होते हैं. कंपनी ने बताया कि बड़े पैमाने पर काम करते समय, वह अन्य थर्ड पार्टी की रिपोर्ट पर निर्भर नहीं रहती जो फ़ोटो में दिख रहे व्यक्ति की ओर से कार्रवाई करने का दावा करते हैं, क्योंकि कंपनी भरोसेमंद तरीके से यह पुष्टि नहीं कर सकती कि वे रिपोर्ट अधिकृत हैं या अन्यथा भरोसेमंद हैं. Meta के लिए, भरोसेमंद फ़्लैग करने वाले या पार्टनर्स के अलावा किसी थर्ड पार्टी की रिपोर्टिंग से ऐसे कंटेंट पर बिना पूछे शेयर की गई निजी पलों की फ़ोटो के झूठे दावों का जोखिम होता है, जिसे शायद आपसी सहमति से बालिगों ने शेयर किया हो, इससे नियमों को ज़रूरत से ज़्यादा एन्फ़ोर्समेंट किए जाने की स्थिति बन सकती है.

Meta ने यह भी कहा कि कंपनी Facebook और Instagram पर कोई और होने का दिखावा करने की रिपोर्ट करने की सुविधा, फ़ोटो में दिखने वाले लोगों और थर्ड पार्टी, दोनों को देती है. Meta की पहचान के प्रामाणिक प्रतिनिधित्व से जुड़ी पॉलिसी उन अकाउंट्स पर रोक लगाती है जो किसी दूसरे व्यक्ति या संस्था की फ़ोटो, नाम या उनके हेडशॉट का इस्तेमाल करके, वही होने का दिखावा करते हैं. Meta ने बताया कि वह ऐसे अकाउंट्स पर रोक लगाता है जो जान-बूझकर अपनी पहचान के बारे में दूसरों को गुमराह करते हैं, जैसे कि पहचान से जुड़ी जानकारी में बार-बार या बड़े बदलाव करके या गुमराह करने वाली प्रोफ़ाइल जानकारी देकर. कंपनी ने बताया कि यह पॉलिसी कंटेंट-लेवल के बजाय अकाउंट-लेवल पर कोई और होने का दिखावा करने पर केंद्रित है, क्योंकि यूज़र्स बिना किसी को धोखा देने के इरादे के भी दूसरों का कंटेंट शेयर कर सकते हैं (जैसे, दोस्तों की फ़ोटो पोस्ट करना). Meta का मानना ​​है कि इन स्थितियों में कंटेंट-लेवल पर नियम लागू करने से ज़रूरत से ज़्यादा एन्फ़ोर्समेंट किए जाने की स्थिति बन सकती है. कंपनी ने आगे कहा कि कंटेंट-लेवल पर कोई और होने का दिखावा करने के मामले में, धोखाधड़ी, स्कैम और कपटपूर्ण व्यवहार वाली पॉलिसी के तहत अलग से एन्फ़ोर्समेंट किया जाता है, जैसे कि ऐसे कंटेंट के मामले में, जिसमें किसी मशहूर व्यक्ति की फ़ोटो का इस्तेमाल बिना अनुमति के धोखाधड़ी या स्कैम करने की कोशिश में किया गया हो.

बोर्ड ने बड़े पैमाने पर सहमति न होने की पुष्टि करने के लिए पॉलिसी और उसे लागू करने से जुड़े पहलुओं पर सवाल पूछे. इनमें खास तौर पर, आम लोगों से जुड़े कंटेंट के मामले, कानून लागू करने वाली एजेंसी, मीडिया और भरोसेमंद पार्टनर की रिपोर्ट के अलावा, उन लोगों की ओर से थर्ड-पार्टी रिपोर्ट के तरीके जो कंटेंट में दिख रहे हैं, वीडियो या ऑडियो बनाने में AI के इस्तेमाल की जानकारी खुद न देने पर पेनल्टी और कई संबंधित कम्युनिटी स्टैंडर्ड के बीच आपसी संबंध शामिल थे. Meta ने सभी सवालों के जवाब दिए.

4. पब्लिक कमेंट

बोर्ड को ऐसे 13 पब्लिक कमेंट मिले जो सबमिशन की शर्तें पूरी करते हैं. तीन कमेंट यूरोप से, तीन अमेरिका और कनाडा से, दो एशिया पैसिफ़िक और ओशियानिया से, दो मध्य और दक्षिण एशिया से, दो सब-सहारन अफ़्रीका से, और एक लैटिन अमेरिका और कैरिबियन से सबमिट किया गया था. प्रकाशन की सहमति के साथ सबमिट किए गए पब्लिक कमेंट पढ़ने के लिए यहाँ क्लिक करें.

सबमिशन में इन विषयों पर बात की गई: सांस्कृतिक और स्थानीय अंतर को देखते हुए, अश्लील कंटेंट की एक स्टैंडर्ड परिभाषा का असर; बिना पूछे निजी पलों की फ़ोटो शेयर करने से निपटने के लिए पॉलिसी के उपायों को बेहतर बनाने की ज़रूरत; बिना पूछे निजी पलों की फ़ोटो शेयर करने की समस्या से निपटने के लिए उम्र की पाबंदी को गलत तरीका मानना; बिना पूछे निजी पलों की फ़ोटो शेयर किए जाने से पीड़ित लोगों की ओर से थर्ड पार्टी को रिपोर्ट करने की अनुमति देने का महत्व और फ़ायदे; बड़े पैमाने पर सहमति न होने का पता लगाने, बिना पूछे निजी पलों की फ़ोटो शेयर करने से जुड़े नियमों के बेहतर एन्फ़ोर्समेंट और प्रोडक्ट-लेवल पर सुरक्षा उपायों को लागू करने के बारे में सुझाव.

मार्च 2026 में, स्टेकहोल्डर के जारी एंगेजमेंट के हिस्से के रूप में, बोर्ड ने हिमायती संगठनों के प्रतिनिधियों, शिक्षाविदों, अंतर-सरकारी संगठनों और अन्य विशेषज्ञों से ऐसे AI-जेनरेटेड और बिना सहमति के बनाए गए कंटेंट के मॉडरेशन की समस्या पर बातचीत की, जिसमें कोई और होने का दिखावा करके उन्हें अश्लील तरीके से दिखाया गया हो. भाग लेने वालों ने AI-जेनरेटेड अश्लील कंटेंट के इस्तेमाल और उसके फैलने के बारे में जानकारी दी, जिसमें कोई और होने का दिखावा करके बनाया गया कंटेंट भी शामिल है. उन्होंने इस बात पर ज़ोर दिया कि ऐसे AI-जेनरेटेड कंटेंट को (जिसमें कोई और होने का दिखावा करके उन्हें अश्लील तरीके से दिखाया गया हो) सिर्फ़ वयस्क नग्नता का मामला नहीं, बल्कि बिना सहमति वाला अश्लील कंटेंट माना जाना चाहिए. उन्होंने सुझाव दिया कि सोशल मीडिया कंपनियों को बिना पूछे निजी पलों की फ़ोटो शेयर करने से होने वाले गंभीर नुकसान, जैसे कि उत्पीड़न, शोषण और मान-सम्मान को नुकसान के जोखिम को देखते हुए, पहले से ही यह मानकर चलना चाहिए कि सहमति नहीं है. कुछ प्रतिभागियों ने कहा कि जो लोग सार्वजनिक हस्तियाँ नहीं हैं, उन्हें ज़्यादा सुरक्षा मिलनी चाहिए, क्योंकि अक्सर उनके पास दुर्व्यवहार की रिपोर्ट करने के लिए मीडिया और अन्य संसाधनों की एक्सेस कम होती है. दूसरों ने इस बात पर ज़ोर दिया कि बिना पूछे निजी पलों की फ़ोटो शेयर करने के दुर्व्यवहार से पीड़ित लोगों को सीधे तौर पर, पॉलिसी और उसके एन्फ़ोर्समेंट की रूपरेखा तैयार करने के प्रोसेस में शामिल करना ज़रूरी है.

5. ओवरसाइट बोर्ड का विश्लेषण

बोर्ड ने AI-जेनरेटेड अश्लील कंटेंट के प्रति Meta के नज़रिए का आकलन करने के लिए इस केस को चुना है, खासकर उस स्थिति में जब किसी व्यक्ति की फ़ोटो या शक्ल का इस्तेमाल उसकी सहमति के बिना अश्लील या उत्तेजक तरीके से किया जाता है. यह केस बोर्ड की सात रणनीतिक प्राथमिकताओं में से दो, ऑटोमेशन और AI और लिंग के लिए प्रासंगिक है.

बोर्ड ने Meta की कंटेंट पॉलिसी, वैल्यू और मानवाधिकार से जुड़ी ज़िम्मेदारियों के संबंध में इस मामले में दिए गए Meta के फ़ैसले का विश्लेषण किया. बोर्ड ने यह भी आकलन किया कि कंटेंट गवर्नेंस को लेकर Meta के व्यापक दृष्टिकोण पर इस मामले का क्या असर पड़ेगा.

5.1 Meta की कंटेंट पॉलिसी का अनुपालन

I. कंटेंट से जुड़े नियम

बोर्ड ने पाया कि यह पोस्ट, Meta की वयस्कों के यौन शोषण से जुड़ी पॉलिसी के तहत, बिना पूछे निजी पलों की फ़ोटो या वीडियो शेयर करने पर लगी रोक का उल्लंघन करती है. यह पोस्ट कोई और होने का दिखावा करने वाले अश्लील AI-जेनरेटेड कंटेंट को दिखाती है जो एक तरह का फ़ोटो-आधारित यौन शोषण है. इसमें किसी व्यक्ति की फ़ोटो या हेडशॉट का इस्तेमाल उनकी सहमति के बिना यौन रूप से उकसाने वाले या अश्लील तरीके से किया जाता है.

बिना पूछे निजी पलों की फ़ोटो या वीडियो शेयर करने से जुड़े Meta के नियम का उल्लंघन करने के लिए, कंटेंट को वयस्कों के यौन शोषण वाली पॉलिसी में बताई गई शर्तों को पूरा करना होगा और इस केस में कंटेंट उन तीनों शर्तों को पूरा करता है. सबसे पहले, यह वीडियो नॉन-कमर्शियल लगता है और ऐसा लगता है कि इसे निजी तौर पर बनाया गया है. दूसरी बात, वीडियो में दिख रही महिला ने लॉन्जरी पहनी हुई है, जो पॉलिसी के तहत आंशिक नग्नता की परिभाषा को पूरा करती है.

तीसरी शर्त के संबंध में, बोर्ड का कहना है कि कोई और होने का दिखावा करने वाला AI-जेनरेटेड कंटेट डिफ़ॉल्ट रूप से बिना सहमति का होती है. हालाँकि, Meta का कहना है कि वीडियो में दिख रही महिला "असली इंसान" नहीं है, लेकिन बोर्ड से की गई अपील में यूज़र ने बताया कि वीडियो AI-जेनरेटेड था और इसमें उसके एक दोस्त के होने का दिखावा किया गया था. उस दोस्त ने अपना अकाउंट बंद कर दिया था, शायद इसलिए क्योंकि पोस्ट करने वाला यूज़र उसकी फ़ोटो का इस्तेमाल करके लगातार अश्लील कंटेंट बना रहा था. बोर्ड को इस बात की चिंता है कि कंपनी सिर्फ़ यूज़र रिपोर्ट न होने के आधार पर यह नतीजा निकाल रही है कि दिखाई गई महिला "असली इंसान" नहीं है. यह उन मामलों में सहमति की पुष्टि करने में व्यावहारिक कमी को दिखाता है, जहाँ Meta के नियमों को लागू करने की बात आती है. खासकर आम लोगों से जुड़ी बिना पूछे निजी पलों की फ़ोटो शेयर करने और कोई और होने का दिखावा करने वाले AI-जेनरेटेड अश्लील कंटेंट के मामलों में.

हालाँकि, AI-जेनरेटेड फ़ोटो को शामिल करने के लिए Meta का अक्टूबर 2025 का वयस्क यौन शोषण से जुड़ी पॉलिसी में किया गया अपडेट एक ज़रूरी कदम है, लेकिन दुनिया भर में कोई और होने का दिखावा करने वाले AI-जेनरेटेड अश्लील कंटेंट के बढ़ते चलन को देखते हुए और भी कदम उठाने की ज़रूरत है. कोई और होने का दिखावा करने वाले AI-जेनरेटेड अश्लील कंटेंट से होने वाले गंभीर नुकसान को देखते हुए, कंपनी को सुरक्षा को प्राथमिकता देनी चाहिए.

इस मकसद से और बोर्ड के पिछले सुझावों (जैसे, मशहूर महिलाओं की AI-जेनरेटेड अश्लील फ़ोटो, सुझाव सं. 4 देखें) के अनुसार, Meta को सहमति न होने के सिग्नल्स का दायरा बढ़ाना चाहिए, खासकर उन लोगों के लिए जो सार्वजनिक हस्ती नहीं हैं. हालाँकि, बोर्ड का मानना ​​है कि विशेषज्ञों और स्टेकहोल्डर्स से मिली राय के आधार पर, पहले सुझाया गया व्यापक तरीका (जिसमें वयस्कों के यौन शोषण से जुड़ी पॉलिसी के तहत बिना पूछे शेयर की गई निजी पलों की फ़ोटो के लिए AI-जेनरेशन को सहमति न होने का सिग्नल माना जाता है) ऐसे कंटेंट से होने वाले नुकसान को बेहतर ढंग से रोकता है, लेकिन Meta ने इस सुझाव को सही ढंग से लागू नहीं किया.

इसलिए, कम से कम पॉलिसी लेवल पर, कंपनी को कोई और होने का दिखावा करने वाले AI-जेनरेटेड अश्लील कंटेंट को, बिना पूछे शेयर की गई निजी पलों की फ़ोटो के एक प्रासंगिक सिग्नल के तौर पर शामिल करने पर विचार करना चाहिए, ताकि पॉलिसी और उसके एन्फ़ोर्समेंट में किसी भी तरह की कमी से बचा जा सके. इसके लिए कंटेंट में मौजूद सिग्नल्स (जैसे कि पोस्ट का कैप्शन, पेज का टाइटल या कमेंट्स) के संदर्भ के आधार पर आकलन करना होगा. यह ठीक वैसा ही होगा, जैसे वयस्कों के यौन शोषण से जुड़ी पॉलिसी के तहत सहमति न होने के सिग्नल के तौर पर बदले की भावना वाले संदर्भ का आकलन किया जाता है. नीचे की गई चर्चा के अनुसार, तय किए गए कनेक्टिंग अकाउंट्स से बेहतर रिपोर्टिंग फ़्लो और रिपोर्ट भी इन आकलनों के लिए ज़रूरी सिग्नल देंगे. साथ ही, इन संदर्भ सिग्नल की कमी और यूज़र का खुद यह बताना कि उन्होंने अश्लील फ़ोटो बनाने के लिए AI टूल का इस्तेमाल किया है, इस बात की पुष्टि कर सकते हैं कि कंटेंट में कोई असली व्यक्ति नहीं है और इसलिए, इसमें कोई और होने का दिखावा नहीं किया जा रहा है. यह तरीका इतना सीमित है कि इससे ज़रूरत से ज़्यादा एन्फ़ोर्समेंट नहीं होगा, लेकिन यह कोई और होने का दिखावा करने वाली AI-जेनरेटेड अश्लील फ़ोटो को पहचान लेगा जो नियमों का उल्लंघन करती हैं.

बोर्ड को इस बात की भी चिंता है कि Meta का मौजूदा तरीका मुख्य रूप से उन अकाउंट्स पर केंद्रित है जो पहचान के प्रामाणिक प्रतिनिधित्व से जुड़ी पॉलिसी के तहत कोई और व्यक्ति या संस्थान होने का दिखावा करते हैं और धोखाधड़ी, स्कैम और कपटपूर्ण व्यवहार से जुड़ी पॉलिसी के तहत कंटेंट लेवल पर मशहूर हस्तियाँ होने का दिखावा करते हैं. यह तरीका आम लोगों की कोई और होने का दिखावा करने वाली AI-जेनरेटेड अश्लील फ़ोटो से होने वाले गंभीर और अच्छी तरह से डॉक्यूमेंट किए गए नुकसानों को ध्यान में नहीं रखता.

II. एन्फ़ोर्समेंट एक्शन

यह केस बिना पूछे निजी पलों की फ़ोटो के एन्फ़ोर्समेंट से जुड़ी दो अलग-अलग, लेकिन आपस में जुड़ी चिंताओं को सामने लाता है. पहला मुद्दा वयस्कों के यौन शोषण से जुड़ी पॉलिसी के तहत, उस व्यक्ति के अलावा अन्य लोगों की संख्या पर लगी सीमाओं से जुड़ा है जो सहमति न होने का सिग्नल दे सकते हैं; और दूसरा मुद्दा मौजूदा रिपोर्टिंग और अपील प्रोसेस की प्रभावशीलता के बारे में है. दोनों ही तरीकों में बदलाव से बिना पूछे निजी पलों की फ़ोटो या वीडियो (जिसमें कोई और होने का दिखावा करने वाली AI-जेनरेटेड फ़ोटो या वीडियो भी शामिल हैं) शेयर करने वालों के खिलाफ़ एन्फ़ोर्समेंट बेहतर होगा. यह केस सिस्टम डिज़ाइन में सुरक्षा उपायों को शामिल करने और बड़े पैमाने पर कंटेंट क्रेडेंशियल्स लागू करने की ज़रूरत को भी दिखाता है.

कनेक्टेड अकाउंट्स को तय करना

बोर्ड के सवालों पर Meta के जवाबों से पता चलता है कि फ़िलहाल जो लोग सार्वजनिक हस्ती नहीं हैं, उनके लिए सहमति न होने की बात साबित करने का इकलौता असरदार तरीका खुद इसकी रिपोर्ट करना है.

आम लोगों को कानून लागू करने वाली संस्था और Meta को सौंपी गई सभी मीडिया रिपोर्ट से शायद ही सीधे लाभ होगा, उदाहरण के लिए, उन्हें कानून लागू करने वाली संस्था के लिए एक अलग शिकायत दर्ज करनी होगी और उस पर कार्रवाई करने के लिए संबंधित सार्वजनिक संस्था के फ़ैसले पर निर्भर रहना होगा. इसके अलावा, ऐसे AI-जेनरेटेड अश्लील कंटेंट (जिसमें कोई और होने का दिखावा करके कंटेंट बनाना भी शामिल है) के तेज़ी से बढ़ने की वजह से, बिना पूछे निजी पलों की फ़ोटो या वीडियो शेयर करके किए गए शोषण के मामलों में, भरोसेमंद पार्टनर और पीड़ितों के प्रतिनिधियों की रिपोर्ट से यह पक्का कर पाना मुश्किल हो सकता है कि सहमति नहीं थी. इस मामले में, बिना पूछे शेयर की गई निजी पलों की फ़ोटो के ज़रिए हुए दुर्व्यवहार के पीड़ितों के प्रतिनिधियों की रिपोर्ट को सहमति न होने की बात साबित करने के लिए एक अतिरिक्त स्रोत के तौर पर शामिल करना एक सकारात्मक कदम है, लेकिन ये रिपोर्ट भरोसेमंद पार्टनर की रिपोर्ट जैसी ही हैं और हो सकता है कि पहली बार पीड़ित हुए लोगों के लिए ये काफ़ी न हों.

बोर्ड को सबमिट किए गए आम लोगों के कमेंट में Meta के उस मौजूदा तरीके के असर पर ज़ोर दिया गया है, जिससे फ़ोटो के ज़रिए दुर्व्यवहार (जिसमें कोई और होने का दिखावा करना भी शामिल है) के पीड़ितों के मामले में बड़े पैमाने पर सहमति न होने की पुष्टि की जाती है (PC–32480, PC-32489 और PC-32484 देखें). सबमिट किए गए कमेंट में तर्क दिया गया है कि इस तरीके से पीड़ितों पर बोझ पड़ता है और इसमें उन्हें दोबारा पीड़ित होने और फिर से सदमे का सामना करने का जोखिम भी होता है. इसके अलावा, खुद से रिपोर्ट करना तब भी मुश्किल हो सकता है जब प्रभावित यूज़र्स के पास Meta के प्लेटफ़ॉर्म पर ऐसे एक्टिव अकाउंट न हों जिनसे वे नियमों का उल्लंघन करने वाले कंटेंट पर नज़र रख सकें और उसकी रिपोर्ट कर सकें, जैसा कि इस मामले में हुआ है. बोर्ड ने जिन विशेषज्ञों से सलाह ली, उनका कहना है कि AI-जेनरेटेड कंटेंट में किसी की फ़ोटो और हेडशॉट के इस्तेमाल की रिपोर्ट करने के लिए सबसे असरदार सिस्टम वे हैं जो पीड़ितों पर बोझ कम करते हैं, बैच या क्लस्टर रिपोर्टिंग चालू करते हैं, एक साथ कई पोस्ट की रिपोर्ट करने की सुविधा देते हैं और कंटेंट को तेज़ी से हटाने का प्रोसेस शुरू करते हैं.

इनमें से कुछ कमियों को दूर करने के लिए, बोर्ड ने सुझाव दिया कि मशहूर महिलाओं की AI-जेनरेटेड अश्लील फ़ोटो के मामलों में, अगर कंटेंट मौजूद नग्न या अश्लील हिस्सा AI-जेनरेटेड हो, फ़ोटोशॉप किया गया हो या उसमें किसी तरह का बदलाव किया गया हो, तो भले ही ऐसा कंटेंट "नॉन-कमर्शियल हो या निजी तौर पर बनाया गया हो," इसे बिना सहमति के बनाए गए कंटेंट का सिग्नल माना जाना चाहिए. हालाँकि, इसके जवाब में Meta ने बिना पूछे शेयर की गई निजी पलों की फ़ोटो की परिभाषा को अपडेट करके उसमें डिजिटल रूप से बनाई गई या AI-जेनरेटेड फ़ोटो को शामिल किया, लेकिन बोर्ड इसे सुझाव को लागू करना नहीं मानता - बल्कि इसे केवल नए रूप में पेश किया गया मानता है - क्योंकि कंपनी अब भी AI-जेनरेटेड कंटेंट को सहमति न होने का सिग्नल नहीं मानती है.

इसलिए, कोई और होने का दिखावा करने वाली AI-जेनरेटेड अश्लील फ़ोटो के बढ़ते मामलों और ऐसे दुर्व्यवहार के शिकार लोगों पर बोझ कम करने के लिए, यह पुष्टि करने के अतिरिक्त तरीकों की ज़रूरत है कि सहमति नहीं दी गई थी. इस मामले में, Meta को यूज़र्स को कनेक्ट किए गए अकाउंट्स चुनने की अनुमति देनी चाहिए, जो उनकी सहमति से उनकी ओर से कम्युनिटी स्टैंडर्ड के संभावित उल्लंघनों की रिपोर्ट कर सकें. इन उल्लंघनों में बिना पूछे निजी पलों की फ़ोटो या वीडियो शेयर करना और कोई और होने का दिखावा करना शामिल हैं. एक अलग संदर्भ में ऐसी ही चिंताओं को दूर करने के लिए, बोर्ड ने पहले ही धमकाने और उत्पीड़न से जुड़ी पॉलिसी के उन नियमों के तहत रिपोर्ट सबमिट करने के लिए थर्ड पार्टी को नियुक्त करने के सुझाव दिए हैं, जिनमें खुद रिपोर्ट करना ज़रूरी होता है (लैंगिक पहचान से जुड़ी बहस के वीडियो, सुझाव सं. 3 देखें). कुछ बोर्ड मेंबर्स का मानना ​​है कि Meta को उन थर्ड पार्टी के लिए भी ऐसी ही रिपोर्टिंग सुविधा देने पर विचार करना चाहिए, जिनके पास Meta अकाउंट है और जो कंटेंट में दिखाए गए ऐसे लोगों को पहचानते हैं जिनका कोई अकाउंट नहीं है (जैसा कि इस मामले में है) या जिन्हें कनेक्टेड अकाउंट के तौर पर नहीं चुना गया है, ताकि वे उस कंटेंट की रिपोर्ट कर सकें.

रिपोर्टिंग और अपील के तरीके

कई पब्लिक कमेंट में मौजूदा रिपोर्टिंग और अपील के प्रोसेस की कमियों की ओर इशारा किया गया है. इनमें AI-जेनरेटेड और बिना पूछे शेयर की गई निजी पलों की फ़ोटो (जिसमें कोई और होने का दिखावा करना भी शामिल है) की रिपोर्ट के सार्थक और कुशल रिव्यू के महत्व पर ज़ोर दिया गया है (PC–32481, PC-32489 और PC-32484 देखें).

बिना पूछे शेयर की गई निजी पलों की फ़ोटो की रिपोर्ट करने के बारे में Meta के हेल्प सेंटर पेज पर बताया गया है कि यूज़र, मौजूदा रिपोर्टिंग चैनलों या एक खासरिपोर्टिंग फ़ॉर्म के ज़रिए ऐसी फ़ोटो की रिपोर्ट कर सकते हैं. यह खास फ़ॉर्म अभी सिर्फ़ अमेरिका के टेक्सास और फ़्लोरिडा राज्यों में रहने वाले लोगों के लिए उपलब्ध है (हालाँकि कंपनी का कहना है कि वह "सभी अमेरिकी निवासियों के लिए यह खास फ़ॉर्म उपलब्ध कराने के प्रोसेस में है"). खास रिपोर्टिंग फ़ॉर्म में रिपोर्ट के दो कारण बताए गए हैं: निजी पलों की फ़ोटो (जिन्हें "नग्न, आंशिक तौर पर नग्न या बिना पूछे शेयर किए गए अश्लील कंटेंट" के तौर पर परिभाषित किया गया है) और निजी पलों की डीपफ़ेक फ़ोटो (जिन्हें "AI-जेनरेटेड या नकली अश्लील कंटेंट, जो किसी व्यक्ति की सहमति के बिना उनके जैसा दिखाने के लिए बनाया गया हो" के तौर पर परिभाषित किया गया है).

AI-जेनरेटेड और बिना सहमति के बनाई गई निजी पलों की फ़ोटो के ज़रिए दुर्व्यवहार, जिसमें कोई और होने का दिखावा करके अश्लील कंटेंट बनाना भी शामिल है, एक ग्लोबल समस्या है (उदाहरण के लिए, PC-32484, PC-32487, PC-32490, PC-32481 और PC-32480 देखें). इसलिए, Meta के प्लेटफ़ॉर्म पर सभी यूज़र्स के पास ऐसे कंटेंट की रिपोर्ट करने और उसे खास रिव्यू चैनलों तक पहुँचाने के आसान तरीके होने चाहिए. इसमें सामान्य रिपोर्टिंग और अपील फ़ॉर्म में ऐसे AI-जेनरेटेड कंटेंट को, जिसमें कोई और होने का दिखावा करके उन्हें अश्लील तरीके से दिखाया गया हो, उत्पीड़न या नग्नता से अलग कैटेगरी के तौर पर शामिल करना चाहिए. खास रिपोर्ट फ़ॉर्म का इस्तेमाल सिर्फ़ अमेरिका के कुछ यूज़र्स ही कर सकते हैं, इसलिए इन बदलावों को सामान्य रिपोर्ट और अपील फ़ॉर्म में भी लागू किया जाना चाहिए, जहाँ दुनिया भर के यूज़र्स Meta के प्लेटफ़ॉर्म पर कंटेंट की रिपोर्ट करते हैं. बोर्ड ने जिन विशेषज्ञों से सलाह ली, उनका कहना है कि नग्नता या उत्पीड़न जैसी रिपोर्टिंग के लिए सामान्य कैटेगरी पर निर्भर रहने से अक्सर एक जैसे नतीजे नहीं मिलते.

एन्फ़ोर्समेंट के अतिरिक्त उपाय

साथ ही, बोर्ड इज़राइल-ईरान संघर्ष में AI-जेनरेटेड वीडियो के मामले में अपने उस सुझाव को दोहराता है, जिसमें Meta से बड़े पैमाने पर कंटेंट क्रेडेंशियल्स (जैसा कि C2PA ने बताया है) लागू करने और यह पक्का करने के लिए कहा गया था कि जब भी सोर्स की जानकारी उपलब्ध हो, तो ये क्रेडेंशियल्स बैक-एंड सिस्टम और इंटरनल डिटेक्शन के अलावा यूज़र्स को साफ़ तौर पर और लगातार दिखाई दें और वे इन्हें एक्सेस कर सकें. इससे यह पक्का हो जाएगा कि Meta और यूज़र्स, दोनों के पास ऐसे और भरोसेमंद सिग्नल हैं जिनसे पता चल सके कि यौन रूप से उकसाने वाला कंटेंट AI-जेनरेटेड हो सकता है या उसमें छेड़छाड़ की गई हो सकती है. यह सहमति नहीं होने या अनचाहे होने के सिग्नल को लागू करने के लिए एक नए उपाय के तौर पर भी काम करेगा. यह उन लोगों के लिए खास तौर पर ज़रूरी है जो सार्वजनिक हस्तियाँ नहीं हैं, क्योंकि उन्हें अक्सर परेशान किया जाता है, उनकी बदनामी होती है और यहाँ तक कि उनकी शारीरिक सुरक्षा को भी खतरा होता है. ऐसी चीज़ें जो ज़िंदगी को तहस-नहस कर सकती हैं, उन्हें बदनाम कर सकती हैं और उन्हें अकेला कर सकती हैं. हालाँकि, आम लोगों और सार्वजनिक हस्तियों, दोनों को होने वाले नुकसान गंभीर होते हैं, लेकिन सार्वजनिक हस्तियों के पास आम लोगों की तुलना में शिकायत करने के ज़्यादा असरदार रास्ते होते हैं. इस सुझाव के जवाब में, Meta ने यूज़र्स को कंटेंट के सोर्स की जानकारी दिखाने के तरीके को बेहतर बनाने का वादा किया. साथ ही, कंपनी ने माना कि दूसरे तरह के कंटेंट के लिए भी ऐसे उपाय लागू करने की दिशा में अभी काफ़ी काम करना बाकी है. इससे यूज़र्स आसानी से समझ पाएँगे कि कौन-सा कंटेंट पूरी तरह से AI-जेनरेटेड है और कौन-सा AI टूल्स की मदद से सिर्फ़ आंशिक रूप से एडिट किया गया है. साथ ही, यह भी सुनिश्चित करना होगा कि Facebook, Instagram और Threads पर यूज़र्स को एक जैसा अनुभव मिले.

बोर्ड को सबमिट की गई विशेषज्ञों की रिपोर्ट और सुझावों में सिस्टम डिज़ाइन में सुरक्षा उपाय शामिल करने के महत्व पर भी ज़ोर दिया गया है. सोशल नेटवर्क एनालिसिस कंपनी Graphika की 2023 की एक रिपोर्ट में बताया गया है कि AI-जेनरेटेड और बिना सहमति के बनाई गई निजी पलों की फ़ोटो “अब इंटरनेट के खास फ़ोरम पर मिलने वाली एक कस्टमाइज़्ड सर्विस से बदलकर एक ऑटोमेटेड और बड़े पैमाने पर चलने वाला ऑनलाइन बिज़नेस बन गई हैं, जो अपनी सर्विस से पैसे कमाने और उनकी मार्केटिंग के लिए कई तरह के रिसोर्स का इस्तेमाल करती हैं.” NGO, AI Forensics की 2025 की एक रिपोर्ट के अनुसार, पिछले साल Meta के एडवरटाइज़िंग सिस्टम के ज़रिए 3,000 से ज़्यादा पोर्नोग्राफ़िक विज्ञापनों को मंज़ूरी दी गई और उन्हें चलाया गया. इन विज्ञापनों में AI-जेनरेटेड पोर्नोग्राफ़िक मीडिया, जैसे कि फ़ोटो, वीडियो और ऑडियो भी शामिल थे. इसलिए, सिस्टम-लेवल के सुरक्षा उपायों में AI-जेनरेटेड अश्लील विज्ञापनों की ऑडिटिंग और एन्फ़ोर्समेंट शामिल होना चाहिए और महिलाओं और लड़कियों पर पड़ने वाले प्रभावों को ध्यान में रखते हुए आधुनिक मॉडल ट्रेनिंग, परिनियोजन और कंट्रोल के लिए सुरक्षा को सुनिश्चित करने वाला डिज़ाइन होना चाहिए.

आखिर में, इस मामले का आकलन करते हुए, बोर्ड ने यूज़र्स की फ़ोटो और उनके हेडशॉट की सुरक्षा के लिए बड़े पैमाने पर लागू किए जा सकने वाले समाधानों पर भी विचार किया. इनमें ऑप्ट-इन फ़ीचर जैसे उपाय शामिल हैं, जो यूज़र के चेहरे की विशेषताओं का मिलान करके उनकी फ़ोटो या हेडशॉट के संभावित रूप से बिना सहमति वाले उपयोग की पहचान कर सकते हैं और उन्हें फ़्लैग कर सकते हैं (उदाहरण के लिए, PC-32489 और PC-32484 देखें). हालाँकि, ऐसे तरीकों को छोड़ दिया गया, क्योंकि इन्हें लागू करने के लिए मुख्य रूप से फ़ेशियल रिकग्निशन टेक्नोलॉजी का इस्तेमाल करना पड़ता है. इससे प्राइवेसी, निगरानी और भेदभाव से जुड़ी गंभीर चिंताएँ पैदा होती हैं और हाशिए पर मौजूद कम्युनिटीज़ पर इनका बहुत ज़्यादा और बुरा असर पड़ने के सबूत भी मिले हैं.

5.2. Meta की मानवाधिकारों से जुड़ी ज़िम्मेदारियों का अनुपालन

बोर्ड ने माना कि इस कंटेंट को हटाना, Meta की मानवाधिकार से जुड़ी ज़िम्मेदारियों के अनुरूप होगा.

अभिव्यक्ति की आज़ादी (आर्टिकल 19 ICCPR)

नागरिक और राजनैतिक अधिकारों पर अंतरराष्ट्रीय प्रतिज्ञापत्र (ICCPR) का अनुच्छेद 19, अभिव्यक्ति की व्यापक सुरक्षा प्रदान करता है, जिसमें “अत्यधिक आपत्तिजनक” मानी जा सकने वाली अभिव्यक्तियाँ शामिल हैं (सामान्य कमेंट सं. 34, पैरा. 11, अभिव्यक्ति की आज़ादी पर संयुक्त राष्ट्र के विशेष रैपर्टर की 2019 की रिपोर्ट का पैरा. 17 भी देखें A/74/486).

जहाँ राज्य, अभिव्यक्ति पर प्रतिबंध लगाता है, वहाँ प्रतिबंधों को वैधानिकता, वैधानिक लक्ष्य और आवश्यकता और आनुपातिकता की शर्तों को पूरा करना चाहिए (आर्टिकल 19, पैरा. 3, ICCPR). इन आवश्यकताओं को अक्सर “तीन भागों वाला परीक्षण” कहा जाता है. बोर्ड इस फ़्रेमवर्क का उपयोग बिज़नेस और मानवाधिकारों से जुड़े संयुक्त राष्ट्र (UN) के मार्गदर्शक सिद्धांतों के अनुरूप Meta की मानवाधिकार से जुड़ी ज़िम्मेदारियों को समझने के लिए करता है, जिसके लिए Meta ने खुद अपनी कॉर्पोरेट मानवाधिकार पॉलिसी में प्रतिबद्धता जताई है. बोर्ड ऐसा इसलिए करता है कि वह रिव्यू के लिए आए कंटेंट से जुड़े अलग-अलग फ़ैसले ले सके और यह समझ सके कि कंटेंट मॉडरेशन से जुड़ा Meta का व्यापक दृष्टिकोण क्या है. जैसा कि अभिव्यक्ति की आज़ादी के बारे में संयुक्त राष्ट्र के खास रैपर्टर में कहा गया है कि भले ही “कंपनियों का सरकारों के प्रति दायित्व नहीं है, लेकिन उनका प्रभाव इस तरह का है जो उनके लिए अपने यूज़र की सुरक्षा के बारे में इस तरह के सवालों का मूल्यांकन करना ज़रूरी बनाता है” ( A/74/486, पैरा. 41).

I. वैधानिकता (नियमों की स्पष्टता और सुलभता)

वैधानिकता के सिद्धांत के लिए यह ज़रूरी है कि अभिव्यक्ति को सीमित करने वाले नियमों को एक्सेस किया जा सकता हो और वे स्पष्ट हों. उन्हें पर्याप्त सटीकता के साथ बनाया गया हो ताकि लोग अपने व्यवहार को उसके अनुसार बदल सकें (सामान्य कमेंट सं. 34, पैरा. 25). इसके अलावा, ये नियम “उन लोगों को अभिव्यक्ति की आज़ादी पर प्रतिबंध लगाने के निरंकुश अधिकार नहीं दे सकते, जिनके पास इन नियमों को लागू करने की ज़िम्मेदारी है” और नियमों में “उन लोगों के लिए पर्याप्त मार्गदर्शन भी होना ज़रूरी है जिन पर इन्हें लागू करने की ज़िम्मेदारी है ताकि वे यह पता लगा सकें कि किस तरह की अभिव्यक्ति को उचित रूप से प्रतिबंधित किया गया है और किसे नहीं,” (जैसा कि पहले बताया जा चुका है). अभिव्यक्ति की आज़ादी पर संयुक्त राष्ट्र संघ के विशेष रैपर्टर ने कहा है कि ऑनलाइन अभिव्यक्ति की निगरानी करने के मामले में निजी संस्थानों पर लागू होने वाले नियम स्पष्ट और विशिष्ट होने चाहिए (A/HRC/38/35, पैरा. 46). Meta के प्लेटफ़ॉर्म का उपयोग करने वाले लोगों के लिए ये नियम एक्सेस करने और समझने लायक होने चाहिए और उनके एन्फ़ोर्समेंट के संबंध में कंटेंट रिव्यूअर्स को स्पष्ट गाइडेंस दिया जाना चाहिए.

मशहूर महिलाओं की AI-जेनरेटेड अश्लील फ़ोटो के मामले में, बोर्ड ने बिना पूछे शेयर की गई निजी पलों की फ़ोटो से जुड़े Meta के नियमों की स्पष्टता और उनकी एक्सेस को लेकर कई चिंताएँ ज़ाहिर कीं. बोर्ड ने सुझाव दिया कि Meta:

• सभी प्रासंगिक नियमों को वयस्कों के यौन शोषण से जुड़ी पॉलिसी के तहत लाए और धमकाने और उत्पीड़न से जुड़ी पॉलिसी से "अपमानजनक अश्लील फ़ोटोशॉप" से जुड़े नियमों को वहाँ ले जाए (सुझाव सं. 1).
• "अपमानजनक अश्लील फ़ोटोशॉप" पर लगी रोक में "अपमानजनक" शब्द को बदलकर "बिना सहमति वाले" कर दे, क्योंकि फ़ोटो में अनचाहे अश्लील बदलावों के विचार को बताने के लिए "अपमानजनक" की तुलना में "बिना सहमति वाले" ज़्यादा बेहतर शब्द है (सुझाव सं. 2).
• इस बात का ध्यान रखे कि इसकी पॉलिसी में मीडिया एडिट और जेनरेट करने से जुड़ी कई तरह की तकनीकों के बारे में बताया गया हो, Meta को “फ़ोटोशॉप करके बनाए गए अपमानजनक अश्लील कंटेंट” के प्रतिबंध में “फ़ोटोशॉप करके बनाए गए” शब्द को छेड़छाड़ किए गए मीडिया के लिए किसी ज़्यादा व्यापक शब्द में बदलना होगा (सुझाव सं. 3).

हालाँकि, ये सुझाव लगभग दो साल पहले दिए गए थे, लेकिन Meta ने इन्हें ठीक तरह से लागू नहीं किया है. 2025 में वयस्कों के यौन शोषण से जुड़ी पॉलिसी को अपडेट करके उसमें बिना पूछे शेयर की गई निजी पलों की फ़ोटो की पॉलिसी के तहत डिजिटल रूप से बनाई गई या AI-जेनरेटेड फ़ोटो को शामिल करने के बाद, Meta का मानना ​​है कि सुझाव सं. 1 लागू हो गया है, जबकि बोर्ड का मानना ​​है कि इसे बदला गया है. सुझाव सं. 2 के बारे में, Meta ने लगातार कहा है कि कंपनी धमकाने और उत्पीड़न से जुड़ी पॉलिसी को समझने में और आसान बनाने के तरीकों पर विचार कर रही है, हालाँकि उसे इसमें कोई बदलाव करने की उम्मीद नहीं है, जैसा कि सुझाव में बताया गया है. इसी तरह, सुझाव सं. 3 के बारे में Meta ने बताया कि कंपनी अब भी धमकाने और उत्पीड़न से जुड़ी पॉलिसी में प्रासंगिक भाषा को अपडेट करने के प्रोसेस में है. बोर्ड, Meta से सुझाव सं. 2 और 3 को पूरी तरह से लागू करने के लिए कहता है, ताकि यूज़र्स को बिना पूछे शेयर की गई निजी पलों की फ़ोटो (जिसमें कोई और होने का दिखावा करने वाले AI-जेनरेटेड अश्लील कंटेंट भी शामिल है) से जुड़े नियमों के बारे में स्पष्टता मिल सके.

II. वैधानिक लक्ष्य

अभिव्यक्ति की आज़ादी पर लगाए जाने वाले सभी प्रतिबंधों में ICCPR में सूचीबद्ध कानूनी लक्ष्यों में से एक या एक से ज़्यादा को भी पूरा किया जाना चाहिए, जिसमें अन्य लोगों के अधिकारों की रक्षा शामिल है (अनुच्छेद 19, पैरा. 3, ICCPR).

बोर्ड ने पहले ही माना है कि निजी पलों की डीपफ़ेक फ़ोटो पर Meta के प्रतिबंधों का मकसद लोगों को उनकी सहमति के बिना उनकी अश्लील फ़ोटो बनाए जाने और फैलाने से बचाना है और ऐसी फ़ोटो से पीड़ितों और उनके अधिकारों को होने वाले नुकसान से बचाना है ( मशहूर महिलाओं की AI-जेनरेटेड अश्लील फ़ोटो). इनमें शारीरिक और मानसिक स्वास्थ्य का अधिकार शामिल है, क्योंकि यह कंटेंट पीड़ितों के लिए बहुत नुकसानदेह होता है (आर्टिकल 12 ICESCR); भेदभाव से आज़ादी का अधिकार, क्योंकि ऐसे बहुत से सबूत हैं जो दिखाते हैं कि यह कंटेंट महिलाओं और लड़कियों पर ज़्यादा बुरा असर डालता है (आर्टिकल 2 ICCPR और ICESCR); और प्राइवेसी का अधिकार, क्योंकि यह लोगों की अपनी निजी ज़िंदगी बनाए रखने और अपनी फ़ोटो को बनाने और जारी करने के तरीके पर कंट्रोल रखने की क्षमता को प्रभावित करता है (आर्टिकल 17 ICPPR).

III. आवश्यकता और आनुपातिकता

ICCPR के अनुच्छेद 19(3) के तहत, आवश्यकता और आनुपातिकता के सिद्धांत के अनुसार यह ज़रूरी है कि अभिव्यक्ति की आज़ादी पर लगाए जाने वाले प्रतिबंध “उनके सुरक्षात्मक कार्य को सही तरीके से पूरा करने वाले होने चाहिए; उनसे उन लोगों के अधिकारों के साथ कम से कम हस्तक्षेप होना चाहिए, जिन अधिकारों से उन्हें सुरक्षात्मक कार्यों का लाभ मिल सकता है; उन हितों के अनुसार सही अनुपात में होने चाहिए, जिनकी सुरक्षा की जानी है,” (सामान्य कमेंट सं. 34, पैरा. 34).

यूज़र्स की सहमति के बिना उनकी फ़ोटो का इस्तेमाल करके दूसरी अश्लील फ़ोटो बनाने से उनकी प्राइवेसी और मानसिक व शारीरिक नुकसान से सुरक्षा के अधिकारों का हनन हुआ है. कोई और होने का दिखावा करने वाला AI-जेनरेटेड अश्लील कंटेंट, अपनी छवि और पहचान पर कंट्रोल खोने के बढ़ते ट्रेंड को दिखाता है. डीपफ़ेक के ज़रिए बिना पूछे बनाई गई निजी पलों की फ़ोटो या वीडियो (जिनमें किसी असली व्यक्ति का चेहरा किसी अश्लील फ़ोटो या वीडियो पर लगाया जाता है) के विपरीत, AI-जेनरेटेड और कोई और होने का दिखावा करके बनाई गई अश्लील फ़ोटो या वीडियो में किसी असली व्यक्ति की फ़ोटो या हेडशॉट का इस्तेमाल उसकी सहमति के बिना, एक ऐसा व्यक्ति बनाने के लिए किया जाता है जो बिल्कुल उसी के जैसा दिखता हो. बोर्ड फिर से कहता है कि इन फ़ोटो में ज़्यादातर महिलाएँ या लड़कियाँ हैं, इसलिए इस तरह के कंटेंट का भेदभाव वाला असर भी होता है और यह लैंगिक आधार पर होने वाला एक गंभीर नुकसान है (उदाहरण के लिए PC-32480, 32481, 32484, 32487, 32488, 32490 देखें; साथ ही, मशहूर महिलाओं की AI-जेनरेटेड अश्लील फ़ोटो भी देखें).

इसलिए, नुकसान की गंभीरता और इस बात को देखते हुए कि कम दखल देने वाले उपाय पर्याप्त नहीं होंगे, ऐसे कंटेंट को हटाना, जिसमें इस केस की पोस्ट भी शामिल है, एक ज़रूरी और उचित कदम है. चूँकि नुकसान ऐसी फ़ोटो को शेयर करने और देखने से होता है, न कि सिर्फ़ उनकी असलियत के बारे में लोगों को गुमराह करने से, इसलिए लेबल लगाना ही सही उपाय नहीं होगा (मशहूर महिलाओं की AI-जेनरेटेड अश्लील फ़ोटो देखें). इसी तरह, बोर्ड को दिए गए सार्वजनिक सुझावों में इस बात पर ज़ोर दिया गया है कि इस केस में कोई उल्लंघन नहीं और उम्र की पाबंदी के नतीजे, "कोई और होने का दिखावा करके बिना सहमति के अश्लील कंटेंट बनाने के मुख्य आरोप को असल में खारिज करने जैसा हो सकता है" (उदाहरण के लिए, PC-32481 देखें). इसलिए, कोई और होने का दिखावा करने वाले AI-जेनरेटेड अश्लील कंटेंट पर उम्र की पाबंदी लगाना ज़रूरी और उचित नहीं है, क्योंकि इस उपाय से ऐसे कंटेंट के आगे फैलने पर कोई खास रोक नहीं लगती और इस तरह इससे होने वाले बदनामी, उत्पीड़न और संभावित शारीरिक शोषण को भी नहीं रोका जा सकता. इसके अलावा, चूँकि Meta के एन्फोर्समेंट मैकेनिज़्म, नुकसान का पता चलने के बाद ही उस पर कार्रवाई करते हैं, इसलिए कंटेट को तेज़ी से हटाना ज़रूरी है ताकि वायरल होने की रफ़्तार और प्रभावित लोगों को होने वाले नुकसान को कम किया जा सके (PC-32489 भी देखें).

बोर्ड को मिले कई सार्वजनिक सुझावों में इस बात पर भी ज़ोर दिया गया है कि अश्लील कंटेंट पर नियम लागू करते समय सांस्कृतिक और स्थानीय अंतर का ध्यान रखना ज़रूरी है (उदाहरण के लिए, PC-32490 और PC-32481 देखें). बोर्ड ने जिन विशेषज्ञों से सलाह ली, उन्होंने इस बात पर ज़ोर दिया कि कई प्लेटफ़ॉर्म यौन नुकसान की पश्चिमी-केंद्रित परिभाषाएँ अपनाते हैं, जिनमें ज़्यादातर अश्लील नग्नता या यौन गतिविधियों पर ही ध्यान दिया जाता है. जानकारों का कहना है कि कुछ सामाजिक रूप से रूढ़िवादी कम्युनिटी में, "AI-जेनरेटेड ऐसे वीडियो या फ़ोटो जिनमें किसी महिला को पुरुषों के साथ सार्वजनिक रूप से (या निजी तौर पर पूरे कपड़े पहने हुए भी) दिखाया गया हो, भले ही वे अश्लील न हों, उनसे महिला के सम्मान को भारी नुकसान पहुँच सकता है, उसे समाज से निकाला जा सकता है, ज़बरदस्ती शादी कराई जा सकती है, सम्मान के नाम पर उसके साथ हिंसा हो सकती है या शारीरिक नुकसान पहुँचाया जा सकता है" (PC-32481 भी देखें). इसके अलावा, Meta ने हाल ही में बेहतर कंटेंट एन्फ़ोर्समेंट के लिए ज़्यादा एडवांस AI का इस्तेमाल करने की अपनी योजना की घोषणा की. कंपनी ने बताया कि ये सिस्टम “ज़रूरत के हिसाब से किसी भी भाषा में क्षमता बढ़ा सकते हैं और सांस्कृतिक बारीकियों - जैसे कि खास सब-कल्चर - तेज़ी से बदलते और इलाके के हिसाब से खास कोड वर्ड्स, इमोजी के मतलब और स्लैंग को समझने के लिए खुद को ढाल सकते हैं.” बोर्ड इस विशेषज्ञ राय को दोहराता है कि असरदार पॉलिसी एन्फ़ोर्समेंट के लिए नुकसान का मूल्यांकन संदर्भ के अनुसार किया जाना चाहिए, ताकि इन स्थानीय और सांस्कृतिक बारीकियों (जैसे कि यौन रूप से अश्लील कंटेंट का संदर्भ) को ध्यान में रखा जा सके. साथ ही, बोर्ड स्वतंत्र और पारदर्शी निगरानी के ज़रिए एडवांस AI सिस्टम से मिलने वाले मौकों को तलाशने की भी कोशिश कर रहा है.

मशहूर महिलाओं की AI-जेनरेटेड अश्लील फ़ोटो के मामले में, बोर्ड ने माना कि यह मान लेने से कि AI-जेनरेटेड अश्लील फ़ोटो बिना सहमति के बनाई गई हैं, कभी-कभी ऐसी फ़ोटो भी हटाई जा सकती हैं जो सहमति से बनाई गई हों. इससे स्वीकार्य नग्नता और आंशिक नग्नता के मामलों में ज़रूरत से ज़्यादा एन्फ़ोर्समेंट को लेकर चिंताएँ पैदा होती हैं. हालाँकि, इससे होने वाले गंभीर नुकसान और इस बात को देखते हुए कि बिना पूछे शेयर की गई निजी पलों की फ़ोटो बारे में Meta के नियमों में AI-जेनरेटेड या AI की मदद से एडिट की हुई निजी पलों की फ़ोटो भी शामिल हैं, Meta को सहमति न होने के सिग्नल्स का दायरा बढ़ाना चाहिए, खासकर उन लोगों के मामले में जो सार्वजनिक हस्तियाँ नहीं हैं. कंपनी को कम से कम कोई और होने का दिखावा करने वाले AI-जेनरेटेड अश्लील कंटेंट को, बिना पूछे शेयर की गई निजी पलों की फ़ोटो के एक प्रासंगिक सिग्नल के तौर पर शामिल करने पर विचार करना चाहिए, ताकि ऐसे कंटेंट से होने वाले नुकसान को कम किया जा सके.

समाधान की उपलब्धता

मशहूर महिलाओं की AI-जेनरेटेड अश्लील फ़ोटो के मामले की तरह ही, इस केस में भी Meta के फ़ैसलों के खिलाफ़ शुरुआती रिपोर्ट और अपील पर समय रहते ह्यूमन रिव्यू को प्राथमिकता नहीं दी गई. मशहूर महिलाओं की AI-जेनरेटेड अश्लील फ़ोटो के मामले में, बोर्ड ने माना कि पीड़ित चाहे सार्वजनिक हस्ती हों या न हों, इन फ़ोटो को हटाने में देरी उनकी प्राइवेसी को बुरी तरह नुकसान पहुँचाती है और इसके नतीजे बहुत खतरनाक हो सकते हैं. AI-जेनरेटेड और बिना पूछे बनाई गई निजी पलों की फ़ोटो के रिपोर्टिंग प्रोसेस को बेहतर बनाने के बारे में उस केस में हुई चर्चा और सुझाव को दोहराते हुए, बोर्ड फिर से कहता है कि ऐसे केस में समाधान पाने का मुद्दा मानवाधिकारों पर बड़ा असर डाल सकता है, जिसके लिए सावधानी से जोखिम का आकलन और उसे कम करने के उपाय ज़रूरी हैं.

6. ओवरसाइट बोर्ड का फ़ैसला

बोर्ड ने Meta के कंटेंट को बनाए रखने के फ़ैसले को बदल दिया और उस पोस्ट को हटाने को कहा.

7. सुझाव

पॉलिसी

1.यह पक्का करने के लिए कि उल्लंघन करने वाला कंटेंट हटा दिया गया है, Meta को वयस्कों के यौन शोषण से जुड़ी पॉलिसी में सहमति नहीं होने का नया सिग्नल जोड़ना चाहिए: संदर्भ ऐसे AI-जेनरेटेड कंटेंट से है जिसमें कोई और होने का दिखावा करके असली लोगों को अश्लील तरीके से दिखाया गया हो.

बोर्ड उस स्थिति में ऐसा मानेगा कि इस सुझाव को लागू किया गया है, जब इस बदलाव को दिखाने के लिए, लोगों को ध्यान में रखकर बनाई गई और आंतरिक गाइडलाइन, दोनों को अपडेट किया जाएगा.

एन्फ़ोर्समेंट

2. बिना पूछे निजी पलों की फ़ोटो के गलत इस्तेमाल के शिकार लोगों का बोझ कम करने के लिए, Meta को यूज़र्स को "कनेक्ट किए गए अकाउंट्स", जैसे कि भरोसेमंद दोस्तों, परिवार के सदस्यों या सहयोगियों के अकाउंट चुनने की अनुमति देनी चाहिए, जो उनकी ओर से कम्युनिटी स्टैंडर्ड के संभावित उल्लंघन की रिपोर्ट कर सकें. इन उल्लंघनों में बिना पूछे निजी पलों की फ़ोटो या वीडियो शेयर करना और कोई और होने का दिखावा करना शामिल हैं.

बोर्ड इस सुझाव को तब लागू मानेगा जब Meta इन फ़ीचर को उपलब्ध कराएगा और सभी यूज़र्स को उनकी अकाउंट सेटिंग के माध्यम से आसानी से एक्सेस करने योग्य बनाएगा.

AI-जेनरेटेड और बिना पूछे निजी पलों की फ़ोटो के दुरुपयोग की रिपोर्ट करने के लिए असरदार और आसान तरीके सुनिश्चित करने के लिए, Meta को कोई और होने का दिखावा करने वाले AI-जेनरेटेड अश्लील कंटेंट को स्टैंडर्ड कंटेंट रिपोर्टिंग और अपील फ़ॉर्म में "उत्पीड़न" या "नग्नता" से अलग एक कैटेगरी के तौर पर शामिल करना चाहिए. ये एक जैसे रिपोर्टिंग फ़ॉर्म दुनिया भर में उपलब्ध कराए जाने चाहिए.

बोर्ड इस सुझाव को तब लागू मानेगा जब Meta अपने रिपोर्टिंग फ़ॉर्म को अपडेट करेगा, ग्लोबल रोलआउट के नतीजों का डेटा शेयर करेगा और यह बताएगा कि नई रिपोर्टिंग प्रोसेस, वयस्कों के यौन शोषण कम्युनिटी स्टैंडर्ड को लागू करने पर कैसे असर डालती हैं.

बोर्ड अपने पिछले सुझावों के महत्व को भी दोहराता है और इस मामले के मुद्दों के लिए उनकी प्रासंगिकता को सामने लाता है. उन सुझावों के अनुसार, Meta:

• “फ़ोटोशॉप करके बनाई गई अपमानजनक अश्लील फ़ोटो” से जुड़े प्रतिबंध में “अपमानजनक” की जगह “बिना सहमति वाला” शब्द लिखे (मशहूर महिलाओं की AI-जेनरेटेड अश्लील फ़ोटो, सुझाव सं. 2).
• “फ़ोटोशॉप करके बनाई गई अपमानजनक अश्लील फ़ोटो” से जुड़े प्रतिबंध में “फ़ोटोशॉप करके बनाई गई” की जगह पर छेड़छाड़ करके बनाए गए मीडिया के लिए किसी दूसरे व्यापक शब्द का उपयोग करे (मशहूर महिलाओं की AI-जेनरेटेड अश्लील फ़ोटो, सुझाव सं. 3).
• कंटेंट क्रेडेंशियल को बड़े पैमाने पर लागू करे (जैसा कि C2PA में बताया गया है) और यह पक्का करे कि जहाँ भी उत्पत्ति की जानकारी उपलब्ध हो, वहाँ वह यूज़र्स को स्पष्ट, लगातार और आसानी से दिखाई दे और उपलब्ध हो (इज़राइल-ईरान संघर्ष में AI-जनरेटेड वीडियो, सुझाव सं. 4).

प्रक्रिया संबंधी नोट:

ओवरसाइट बोर्ड के फ़ैसले पाँच मेंबर्स के पैनल द्वारा लिए जाते हैं और उन पर बोर्ड के ज़्यादातर मेंबर्स की सहमति होती है. ज़रूरी नहीं है कि बोर्ड के फ़ैसले, सभी सदस्यों की राय दर्शाएँ.

अपने चार्टर के तहत, ओवरसाइट बोर्ड उन यूज़र्स की अपील का रिव्यू कर सकता है, जिनका कंटेंट Meta ने हटा दिया था और उन यूज़र्स की अपील का रिव्यू कर सकता है जिन्होंने उस कंटेंट की रिपोर्ट की थी जिसे Meta ने बनाए रखा. साथ ही, बोर्ड Meta की ओर से रेफ़र किए गए फ़ैसलों का रिव्यू कर सकता है (चार्टर आर्टिकल 2, सेक्शन 1). बोर्ड के पास Meta के कंटेंट से जुड़े फ़ैसलों को कायम रखने या उन्हें बदलने का बाध्यकारी अधिकार है (चार्टर आर्टिकल 3, सेक्शन 5; चार्टर आर्टिकल 4). बोर्ड ऐसे गैर-बाध्यकारी सुझाव दे सकता है, जिनका जवाब देना Meta के लिए ज़रूरी है (चार्टर आर्टिकल 3, सेक्शन 4; आर्टिकल 4). जहाँ Meta सुझावों पर एक्शन लेने की प्रतिबद्धता व्यक्त करता है, वहाँ बोर्ड उनके लागू होने की निगरानी करता है.

इस केस के फ़ैसले के लिए, बोर्ड की ओर से स्वतंत्र रिसर्च करवाई गई थी. बोर्ड को Duco Advisers की सहायता मिली, जो भौगोलिक-राजनैतिक, विश्वास और सुरक्षा तथा टेक्नोलॉजी के आपसी संबंध पर काम करने वाली एक एडवाइज़री फ़र्म है.

मामले के निर्णयों और नीति सलाहकार राय पर लौटें