Reporte de video sexualizado generado con IA

Resumen

El Consejo asesor de contenido anuló la decisión de Meta de conservar en Instagram un video presuntamente generado con IA en el que se suplantaba la identidad de una mujer e instó a Meta a fortalecer las protecciones de figuras no públicas que son el blanco de deepfakes sexualizadas.

Por qué es importante

La decisión y las recomendaciones del Consejo se emiten en un momento en que los gobiernos, como los de la India, el Reino Unido y España, están estableciendo nuevas reglas relacionadas con el contenido generado con IA en las plataformas. La Unión Europea (UE) llegó a un acuerdo para prohibir sistemas de IA que generan contenido íntimo y sexualmente explícito no consensuado o material de abuso sexual infantil, como apps de generación de desnudos falsos con IA. Otras plataformas, como X, enfrentan una inspección rigurosa debido a imágenes sexualmente explícitas creadas por chatbots de IA.

Queda claro que el alcance, la velocidad y la sofisticación de las herramientas de IA dieron paso a una proliferación de contenido sexualizado no consensuado generado con IA en todo el mundo. La difusión de videos deepfake sexualizados conduce a daños psicológicos y a la reputación, que afectan de manera desproporcionada a mujeres y niñas, y cuyo efecto inhibe la participación en la vida social y política.

Información sobre el caso

En septiembre de 2025, un usuario de Instagram publicó un video de ochos segundos presuntamente generado con IA de una mujer que se acomodaba un vestido ajustado, y en algunos encuadres se le veía la ropa interior.

Al día siguiente, el sistema automatizado de Meta que detecta contenido que supone un daño para las personas y tiene altas probabilidades de viralidad identificó la publicación, pero no se priorizó para someterse a revisión manual. Días más tarde, dos usuarios reportaron el contenido, pero este permaneció en la plataforma. Uno de los usuarios apeló a Meta, aunque la publicación no se sometió a revisión, y más adelante apeló al Consejo. El usuario que presentó la apelación le indicó al Consejo que el video se había generado con IA y que suplantaba la identidad de una amiga suya (que ya había cerrado su cuenta) sin su consentimiento.

Cuando el Consejo dio a conocer el caso a Meta, expertos en el tema de la empresa revisaron la publicación y concluyeron que no ameritaba su eliminación en virtud de las Normas comunitarias, pero dejaron la publicación visible solo para adultos.

Conclusiones principales

Para el Consejo, la publicación infringe la disposición que prohíbe compartir imágenes íntimas no consensuadas de conformidad con la política de explotación sexual de adultos de Meta. Esto se debe a que cumple con los tres criterios de la política: hay imágenes íntimas no consensuadas (parece no ser de naturaleza comercial y el ámbito es aparentemente privado), la mujer que aparece está "semidesnuda" y hay falta de consentimiento.

Meta afirmó que, cuando se marcó el contenido, la empresa no tenía indicios de que quien aparecía en el video fuera "una persona real" porque dicha persona no lo reportó. Entre las señales que Meta usa para determinar la falta de consentimiento figura un reporte de la persona damnificada, además de descripciones, comentarios o títulos que sugieren un contexto de venganza; o reportes de fuentes independientes, como las fuerzas del orden, los medios de comunicación o representantes de sobrevivientes de imágenes íntimas no consensuadas.

El Consejo considera que la suplantación de identidad generada con IA es, de forma inherente, no consensuada y debería agregarse al conjunto de señales que la empresa usa para establecer la falta de consentimiento.

Ampliar las señales de falta de consentimiento de este modo beneficiaría particularmente a figuras no públicas que son el blanco de imágenes íntimas no consensuadas porque reduciría la carga que recae sobre las víctimas al tener que reportar el abuso por su cuenta. Expertos a los que consultó el Consejo durante el caso afirmaron que las víctimas serían las más beneficiadas si se realizara una eliminación rápida y hubiera mejores maneras de marcar contenido que no depende de que el usuario implicado haga un reporte.

Para reducir aún más esta carga, el Consejo considera que Meta debe permitir que cuentas verificadas de amigos y familiares de aquellas personas que son víctimas de estos ataques reporten el contenido infractor en su nombre.

Meta también debe mejorar el proceso de reporte y apelación de imágenes íntimas no consensuadas en todo el mundo en sus plataformas. Meta y otros desarrolladores de macromodelos lingüísticos deben insertar protecciones en el diseño del sistema e implementar credenciales de contenido a gran escala.

Decisión del Consejo asesor de contenido

El Consejo anuló la decisión de Meta de conservar el contenido y solicita que se elimine la publicación.

El Consejo recomendó a Meta lo siguiente:

• Agregar una nueva señal de falta de consentimiento a la política de explotación sexual de adultos: contexto que indique que el contenido incluye la suplantación de identidad sexualizada generada con IA de personas reales.
• Permitir que los usuarios designen "cuentas conectadas", como amigos, familiares o socios de confianza, que puedan reportar en su nombre posibles infracciones de las Normas comunitarias que impliquen imágenes íntimas no consensuadas, incluida la suplantación de identidad.
• Incluir la suplantación de identidad sexualizada generada con IA como una categoría independiente en formularios de reporte y apelación de contenido estándar, diferente de la categoría de "acoso" o "desnudos". Los formularios de reporte deben estar disponibles en todo el mundo.

El Consejo también reiteró las siguientes recomendaciones de casos anteriores:

• Reemplazar la palabra "derogatory" (despectivo) que se usa en la prohibición sobre "derogatory sexualized photoshop" (retoque fotográfico sexualizado y despectivo) por "non-consensual" (no consensuado), y reemplazar la palabra "photoshop" (retoque fotográfico) por un término más generalizado para contenido multimedia manipulado.
• Implementar credenciales de contenido (conforme se estipula en la Coalition for Content Provenance and Authenticity, C2PA) a gran escala y asegurarse de que los usuarios las vean con claridad y puedan acceder a ellas cada vez que hay detalles de procedencia disponibles.

* Los resúmenes de casos ofrecen información general sobre los casos y no sientan precedentes.

Decisión del caso completa

1. Descripción y contexto de los casos

El alcance, la velocidad y la sofisticación de las herramientas de IA dieron paso a la proliferación de contenido sexualizado no consensuado generado con IA. En 2023, un informe de la plataforma de seguridad online Security Hero reveló que el 98% de los videos deepfake online eran "pornografía deepfake" y un 99% tenían como víctimas a mujeres. Un estudio de 2024 realizado por la organización no gubernamental (ONG) Internet Matters develó que el 99% de las deepfakes con desnudos mostraban a mujeres y niñas.

En una declaración conjunta de febrero de 2026, 61 autoridades que trabajan en privacidad y protección de datos de todo el mundo advirtieron que "los desarrollos recientes, en particular la generación de videos e imágenes con IA integrada a plataformas de medios sociales de amplio acceso, han dado pie a la creación de imágenes íntimas no consensuadas, exhibiciones difamatorias y otro contenido dañino que muestra a personas reales". Según el grupo de noticias del Reino Unido Guardian, como los modelos de IA crean imágenes a partir de imágenes existentes de las que replican elementos, se cree que las "apps de generación de desnudos falsos se entrenan con amplios conjuntos de datos compuestos, principalmente, por imágenes de mujeres porque tienden a trabajar de forma más efectiva sobre cuerpos femeninos".

Una encuesta realizada en 2025 en la que participaron más de 16.000 adultos de diez países reveló que las mujeres reportaban mayores daños y un impacto negativo debido al abuso sexual basado en imágenes, en comparación con los hombres. Las investigacionesdemuestran que el abuso sexual basado en imágenes no consensuadas conduce a daños psicológicos y a la reputación, como estrés, ansiedad y trauma; acoso y humillación; impacto en la identidad, la autonomía y la integridad; y un efecto intimidatorio en cuanto a la participación en la vida social y política.

Los comentarios del público que se enviaron al Consejo ponen de relieve la importancia de considerar las diferencias culturales y del contexto local a la hora de definir y regular el contenido sexualizado no consensuado generado con IA, incluida la suplantación de identidad (consulta PC-32490 y PC-32481). Estos brindan ejemplos de imágenes íntimas no consensuadas generadas con IA que implican tanto a mujeres que son figuras públicas como a mujeres que no lo son. La ONG Digital Rights Foundation Pakistan señaló que su línea de ayuda de seguridad digital recibió varios casos de abuso basado en imágenes no consensuadas generadas con IA, incluidos casos en que mujeres pakistaníes que vivían en Italia y el Reino Unido fueron víctimas de abuso y, más adelante, de asesinatos por cuestiones de honor "allí mismo o tras ser forzadas a regresar a Pakistán" (PC-32481).

Una cantidad significativa de jurisdicciones pasaron a regular y criminalizar deepfakes o imágenes sexualizadas no consensuadas generadas con IA. España propuso una legislación cuyo fin es reducir las deepfakes con IA y reforzar las reglas sobre consentimiento respecto del uso de imágenes, voces y apariencias. México promulgó la "Ley Olimpia" centrada en enmiendas legislativas que abordan la violencia digital, que incluye imágenes íntimas no consensuadas. Perú y Colombia promulgaron leyes que establecen el uso de deepfakes como factor agravante de un delito. En Canadá, la Ley de Protección de Imágenes Íntimas de Columbia Británica pone el foco en la distribución no consensuada de imágenes íntimas.

En los Estados Unidos, la ley TAKE IT DOWN, promulgada en 2025, establece que es un delito publicar o amenazar con publicar imágenes íntimas no consensuadas, incluidas deepfakes generadas con IA, y exige que las plataformas eliminen dicho contenido en un plazo de 48 horas a partir de la notificación. El Gobierno de la India exige que las plataformas eliminen el contenido sexual no consensuado en un plazo de 24 desde que se efectúa una denuncia. El Reino Unido implementó un intervalo de eliminación de 48 horas para las imágenes íntimas no consensuadas.

La Unión Europea (UE) llegó a un acuerdo para prohibir sistemas de IA que generan contenido íntimo y sexualmente explícito no consensuado o material de abuso sexual infantil, como apps de generación de desnudos falsos con IA.

Este caso plantea consideraciones normativas y de aplicación de políticas emblemáticas en el contexto de las imágenes sexualizadas generadas con IA, incluida la suplantación de identidad sexualizada. En 2024, el Consejo analizó dos casos de imágenes de IA explícitas en las que había semejanza con figuras públicas de la India y los Estados Unidos ( Imágenes de IA explícitas de figuras públicas femeninas). Sobre la base de esa decisión, el presente caso tiene en cuenta problemas relacionados con la suplantación de identidad sexualizada generada con IA, en particular en torno a figuras no públicas.

En septiembre de 2025, un usuario de Instagram publicó un video de ocho segundos presuntamente generado con IA de una mujer con un vestido apretado. En el video, la mujer se acomodaba el vestido y movía el cuerpo, y en algunos encuadres se le veía la ropa interior.

Al día siguiente, el sistema automatizado de Meta que detecta y prioriza contenido que supone un daño para las personas, en especial aquel con altas probabilidades de viralidad, identificó la publicación. Sin embargo, el reporte no se priorizó para revisión manual.

Días más tarde, dos usuarios reportaron el contenido por pornografía, pero estos reportes tampoco se priorizaron para revisión manual, y el contenido permaneció en Instagram. Uno de estos usuarios apeló a Meta para que se eliminara el contenido, pero, nuevamente, la publicación no se priorizó para revisión manual. El usuario entonces apeló al Consejo.

Cuando el Consejo dio a conocer el caso a Meta, expertos en el tema de Meta revisaron la publicación y concluyeron que no infringía las Normas comunitarias de la empresa. Por ello, Meta no la eliminó, pero determinó que debía ser visible solo para adultos de conformidad con la política de desnudos y actividad sexual de adultos.

2. Respuestas de los usuarios

En su apelación ante el Consejo, el usuario que presentó el reporte indicó que el video se había generado con IA y suplantaba la identidad de una mujer, que era su amiga, sin su consentimiento y, por ende, "dañaba su reputación". Este agregó que su amiga ya había cerrado su cuenta, pero el usuario que publicó el video seguía creando contenido sexualizado con su imagen.

3. Respuestas y políticas de contenido de Meta

Evaluación de contenido

Meta determinó que la publicación no infringe ninguna norma comunitaria. Para Meta, la publicación no infringía la política de desnudos y actividad sexual de adultos, que prohíbe imágenes digitales o fotorrealistas de desnudos de adultos, o videos digitales o fotorrealistas de una persona cuya entrepierna, nalga o pechos femeninos sean el centro, grabados sin que esta se haya dado cuenta. No obstante, en virtud de esta política, la empresa restringe la visibilidad de "imágenes fotorrealistas o digitales de personas cuya entrepierna, nalga o pechos femeninos sean el centro de la imagen" a personas mayores de 18 años. Dado que la mujer que aparece en el video mueve las piernas y se acomoda el vestido para dirigir la atención hacia la zona de la entrepierna y la ropa interior, Meta determinó que el contenido recae en esta línea normativa y solo debe ser visible para adultos.

Para Meta, la publicación tampoco infringía la norma comunitaria sobre explotación sexual de adultos, que prohíbe "compartir, amenazar con compartir, declarar la intención de compartir, ofrecer o pedir imágenes íntimas no consensuadas que cumplan las tres siguientes condiciones:

a. La imagen no tiene un carácter comercial y se realizó en un contexto privado.

b. La persona que aparece está (casi) desnuda, participa en una actividad sexual o adopta una pose sugerente de carácter sexual (esto incluye imágenes creadas digitalmente o generadas con IA).

c. La presencia de estos indicios indica que no hubo consentimiento para que se compartieran las imágenes:

i. Contexto de venganza (p. ej., texto, comentarios, título de la página)

ii. Fuentes independientes, como registros de autoridades, informes de los medios de comunicación (como filtración de imágenes confirmadas por los medios) o representantes de un sobreviviente de filtración de íntimas no consensuadas

iii. Reporte de una persona que aparece en la imagen o posee el mismo nombre que quien sale en ella

Según Meta, en el momento de la revisión en el proceso de escalamiento, la empresa carecía de indicios, como reportes de usuarios, que sugirieran que la personas del video era "una persona real". Meta señaló que, si la persona que aparece en el video hubiera reportado el contenido, este habría infringido la política de explotación sexual de adultos. Esto es así porque la persona en cuestión usa lencería o ropa de dormir, que constituye un semidesnudo, lo que infringe la línea normativa sobre la difusión de imágenes íntimas no consensuadas. Para Meta, el reporte hubiera servido como clara señal de no consentimiento.

Meta tampoco tuvo en cuenta que la publicación infringe la política de bullying y acoso que, en virtud del nivel 1 [protecciones universales para todos], prohíbe "dibujos o imágenes manipuladas mediante un programa de retoque fotográfico que estén sexualizados y sean despectivos". Esto incluye contenido que se haya alterado para combinar la cabeza o la cara de una persona real con un cuerpo, real o ficticio, en una actitud sexualmente explícita (desnudo, semidesnudo o en una actividad sexual) o en una pose sexualmente sugerente. Meta indicó que la persona del video no se muestra de un modo sexualmente explícito, desnuda o semidesnuda. Para Meta, las poses de la persona tampoco constituyen poses sexualmente sugerentes conforme se define en virtud de la política de desnudos y actividad sexual de adultos, que incluye separar las piernas para exhibir la zona genital o inclinarse hacia adelante en ropa interior o transparente.

Dado que las tres políticas mencionadas arriba emplean el término "semidesnudo", el Consejo le preguntó a Meta por qué la publicación constituye solo semidesnudo, lo que infringe la línea normativa sobre difusión de imágenes íntimas no consensuadas. En respuesta a esta pregunta, Meta explicó que la distinción clave entre un desnudo y un semidesnudo es cómo se cubren las partes privadas: en el caso de un semidesnudo, se cubren solo con un objeto opaco (como ropa sin usar), una superposición digital o un cuerpo humano, es decir, son parcialmente visibles, no están completamente expuestas. Por otro lado, en un desnudo no hay dicha cobertura. Según Meta, las tres políticas comparten la misma definición básica de semidesnudo, a saber, una "persona que no está completamente vestida de maneras específicas" y se puede ver vello púbico, genitales, pezones o nalgas femeninos, que estén cubiertos por objetos, superposiciones digitales o ropa transparente. Sin embargo, según Meta, solo la política de explotación sexual de adultos toma como base esa definición compartida e incluye otros indicios de semidesnudos a fin de identificar posibles imágenes íntimas no consensuadas. Para Meta, este enfoque más amplio refleja cómo puede manifestarse el abuso mediante imágenes íntimas no consensuadas en sus plataformas, por ejemplo, mediante imágenes íntimas, en las que se muestran personas en entornos privados vestidas con lencería o ropa íntima, que van más allá de los tipos de desnudos o semidesnudos que se definen en virtud de otras políticas. Meta explicó, además, que si bien la definición básica se mantiene a la hora de aplicar la política de desnudos y actividad sexual de adultos para evitar eliminar contenido inofensivo, sin la ampliación de la definición, las imágenes íntimas no consensuadas podrían evadir la aplicación de políticas.

Con respecto a la política de bullying y acoso, la empresa explicó que los dibujos o las imágenes manipuladas mediante un programa de retoque fotográfico sexualizados se consideran inherentemente despectivos, mientras que las imágenes íntimas no consensuadas suelen implicar personas reales captadas en entornos privados o íntimos, y se comparten sin su consentimiento. De acuerdo con Meta, como estamos ante dos abusos diferentes, la definición más amplia de semidesnudos en virtud de la política de explotación sexual de adultos no se aplica a la línea normativa sobre dibujos o imágenes manipuladas mediante un programa de retoque fotográfico sexualizados conforme a la política de bullying y acoso.

Meta explicó también que, a diferencia de la norma sobre "semidesnudos", la definición de "poses sexualmente sugerentes", mencionada anteriormente, sigue siendo la misma en todas las políticas.

En respuesta a las preguntas del Consejo, Meta indicó que, como la empresa no detectó metadatos de International Press Telecommunications Council (IPTC) o C2PA a gran escala en videos en el momento en que se publicó el contenido, y el usuario que lo publicó no indicó que se había creado o alterado con IA, el contenido en este caso no se etiquetó como generado o manipulado con IA. Meta expresó que la empresa exige que los usuarios indiquen, mediante la herramienta de aviso de IA, cada vez que publican contenido orgánico con videos fotorrealistas o audios que parecen realistas creados o alterados digitalmente, y se pueden imponer penalizaciones a aquellos que no lo hagan (consulta la decisión del caso Video generado con IA en el conflicto entre Israel e Irán).

Determinación del consentimiento

Meta señaló al Consejo que el requisito para determinar la falta de consentimiento varía en sus Normas comunitarias. Con respecto al contenido sexualizado, algunas políticas, como la de explotación sexual de adultos, requiere que haya señales que indiquen que no hay consentimiento para eliminarlo. Otras políticas, como la de desnudos y actividad sexual de adultos, o determinadas líneas normativas de la política de bullying y acoso, lo considerarán infractor, independientemente del consentimiento de la persona que se muestra o que es víctima del contenido. No obstante, en cuanto a las demás líneas normativas de la política de bullying y acoso (que no se aplican a este caso), se requieren señales que indiquen que se trata de contenido no deseado para eliminarlo, y estas se evalúan como indicadores de falta de consentimiento.

Específicamente, en virtud de la política de explotación sexual de adultos, para que se elimine el contenido de imágenes íntimas no consensuadas para fines no comerciales si se generaron con IA, se requieren señales de no consentimiento. Meta explicó que la empresa determina si las imágenes sexualmente explícitas o sugerentes se compartieron sin consentimiento en función del contexto de la infracción.

La empresa agregó que no exige un reporte directo de la persona en cuestión para eliminar imágenes íntimas no consensuadas si hay otros indicadores fidedignos de falta de consentimiento. Estos incluyen reportes de terceros de las fuerzas del orden, los medios de comunicación o socios de confianza, así como pistas contextuales dentro del contenido mismo (por ejemplo, en la descripción, los comentarios o el título de la página) que sugieran que las imágenes se compartieron a modo de "venganza o de manera sensacionalista".

Por otro lado, el contenido que infringe la política de desnudos y actividad sexual de adultos se elimina, independientemente de que la persona que figura en él haya dado o no su consentimiento. De forma similar, las infracciones relacionadas con dibujos o imágenes manipuladas con programas de retoque fotográfico sexualizados, de conformidad con la política de bullying y acoso, se consideran no deseados de manera intrínseca y, por ende, no es necesario un reporte de la persona en cuestión.

Por último, en lo que respecta a las líneas normativas de la política de bullying y acoso, la empresa evalúa si el contenido es no deseado mediante señales contextuales o relacionadas con el reporte de la persona damnificada. Por ejemplo, el reporte de la persona damnificada se aplica a la regla de "nivel 3" sobre imágenes manipuladas no deseadas (que no es necesario que sean de naturaleza sexual o íntima), ya que esto no se considera evidentemente ofensivo o despectivo. Mientras que, con la regla de "nivel 1" respecto del contacto no deseado que constituye acoso sexual, no es necesario que la persona damnificada reporte, Meta tiene en cuenta varias señales para determinar que el contenido muestra un comportamiento no deseado, incluido si el destinatario hizo un reporte, expresó incomodidad, pidió que el contacto cese o tomó medidas en la plataforma, como reportarlo o bloquearlo.

Reportes de terceros

Meta informó al Consejo que las señales de falta de consentimiento se aplican por igual a imágenes íntimas no consensuadas que implican figuras públicas o no públicas. La empresa explicó que, a gran escala, no recurre a reportes de otros terceros que afirman estar actuando en nombre de la persona damnificada, ya que no puede comprobar con confianza si dichos reportes están autorizados o son, de otro modo, creíbles. Para Meta, los reportes de terceros que no procedan de sistemas o socios de confianza conllevan el riesgo de que haya denuncias falsas relacionadas con imágenes íntimas no consensuadas que pongan el foco en contenido que tal vez compartieron adultos que dieron su consentimiento, lo que podría conducir a una aplicación excesiva de políticas.

Meta agregó que la empresa permite que tanto las personas que son víctimas directas como terceros reporten la suplantación de identidad en Facebook e Instagram. La política de representación de identidad auténtica de Meta prohíbe las cuentas que se hacen pasar por otra persona o entidad usando su imagen, nombre o apariencia. Meta señaló que prohíbe cuentas que engañan intencionalmente a otros sobre su identidad, por ejemplo, mediante cambios reiterados o importantes en los detalles de identidad o información del perfil engañosa. La empresa explicó que esta política se centra en la suplantación de identidad en el nivel de la cuenta, no en el nivel del contenido, ya que los usuarios pueden compartir el contenido de otras personas sin intención explícita de engañar (p. ej., fotos de amigos). Meta considera que aplicar políticas en el nivel del contenido en estos contextos podría conducir a una aplicación excesiva de las políticas. La empresa agregó que se toman medidas en relación con la suplantación de identidad en el nivel del contenido de forma independiente en el proceso de escalamiento en virtud de la política de fraude, estafas y prácticas engañosas, por ejemplo, en contenido en el que se emplea sin autorización la imagen de una persona famosa en un intento de estafa o fraude.

El Consejo planteó preguntas sobre las políticas y las consideraciones de aplicación para determinar la falta de consentimiento a gran escala, en particular respecto de contenido que implica figuras no públicas, las vías de reportes de terceros en nombre de las personas damnificadas, más allá de las fuerzas del orden, los medios de comunicación o socios de confianza, las penalizaciones por no indicar que se empleó IA para generar un video o audio, y la interacción entre varias normas comunitarias relevantes. Meta respondió todas las preguntas.

4. Comentarios del público

El Consejo recibió 13 comentarios del público que cumplieron las condiciones de presentación. Tres de ellos procedían de Europa; tres, de los Estados Unidos y Canadá; dos, de Asia-Pacífico y Oceanía; dos, de Asia central y meridional; dos, de África subsahariana; y uno, de Latinoamérica y el Caribe. Para leer los comentarios del público enviados con consentimiento de publicación, haz clic aquí.

Los comentarios abarcaban los siguientes temas: implicaciones de una definición estandarizada de contenido sexualizado, dadas las diferencias culturales y locales; la necesidad de optimizar los enfoques normativos respecto de imágenes íntimas no consensuadas; las restricciones de edad como medida inapropiada para abordar las imágenes íntimas no consensuadas; la importancia y las ventajas de permitir que terceros reporten en nombre de los sobrevivientes de imágenes íntimas no consensuadas; recomendaciones sobre cómo determinar la falta de consentimiento a gran escala, mejorar la aplicación de políticas a imágenes íntimas no consensuadas e implementar protecciones en el nivel del producto.

En marzo de 2026, como parte de un trabajo continuo con las partes interesadas, el Consejo consultó a representantes de organizaciones de sociedad civil, académicos, organizaciones intergubernamentales y otros expertos en temas relacionados con la moderación de contenido sexualizado no consensuado generado con IA. Los participantes proporcionaron información valiosa sobre el uso y la proliferación de contenido sexualizado generado con IA, incluido mediante suplantación de identidad. Estos destacaron la importancia de tratar la suplantación de identidad sexualizada no consensuada generada con IA como contenido sexual no consensuado, no como una mera inquietud relativa a los desnudos de adultos. Sugirieron que las empresas de medios sociales deben adoptar la presunción de no consentimiento, dado el riesgo de daños graves que ocasionan las imágenes íntimas no consensuadas, incluidos acoso, explotación y daños a la reputación. Algunos participantes señalaron que se debe otorgar un nivel más alto de protección a las figuras no públicas, ya que suelen tener menos acceso a los medios y otros recursos para reportar el abuso. Otros hicieron hincapié en la importancia de implicar directamente a sobrevivientes de abusos relacionados con imágenes íntimas no consensuadas en los procesos de diseño y aplicación de políticas.

5. Análisis del Consejo asesor de contenido

El Consejo seleccionó este caso para evaluar el enfoque de Meta respecto del contenido sexualizado generado con IA, en particular en el contexto en que la imagen o apariencia de una persona se emplea de un modo sexualmente explícito o sugerente sin su consentimiento. El caso es relevante para dos de las siete prioridades estratégicas del Consejo: automatización e IA, y género.

El Consejo analizó la decisión de Meta en este caso respecto de sus políticas de contenido, valores y responsabilidades en materia de derechos humanos. Asimismo, el Consejo evaluó las implicaciones de este caso para el enfoque más general de Meta en cuanto a la gobernanza de contenido.

5.1 Cumplimiento de las políticas de contenido de Meta

I. Reglas de contenido

Para el Consejo, la publicación infringe la disposición de Meta que prohíbe compartir imágenes íntimas no consensuadas de conformidad con la política de explotación sexual de adultos. Esta publicación representa una suplantación de identidad sexualizada generada con IA como un tipo de abuso sexual basado en imágenes en el que la imagen o apariencia de una persona se emplea de un modo sexualmente sugerente o explícito sin su consentimiento.

Para infringir la regla de Meta sobre imágenes íntimas no consensuadas, el contenido debe reunir las condiciones estipuladas en la política de explotación sexual de adultos, y el contenido en este caso reúne las tres. En primer lugar, el video parece no tener naturaleza comercial y haberse producido en un entorno privado. En segundo lugar, la mujer que aparece en él lleva lencería, que satisface la definición de semidesnudo conforme a la política.

Con respecto a la tercera condición, el Consejo señala que la suplantación de identidad generada con IA es, de forma inherente, no consensuada. Si bien Meta argumenta que la mujer en el video no es "una persona real", en su apelación ante el Consejo, el usuario indicó que el video se había generado con IA y suplantaba la identidad de una de sus amigas, quien tuvo que cerrar su cuenta, presuntamente porque el usuario que publicó el contenido seguía usando su imagen para crear contenido sexualizado. Al Consejo le preocupa que la empresa concluya que la persona en cuestión "no es una persona real" solo porque falta el reporte del usuario. Esto pone de relieve la brecha práctica a la hora de determinar el consentimiento para aplicar las reglas de Meta sobre imágenes íntimas no consensuadas y contenido con suplantación de identidad sexualizada generado con IA, en especial en relación con figuras no públicas.

Si bien la actualización de octubre de 2025 de Meta a la política de explotación sexual de adultos para incluir imágenes generadas con IA es un paso adelante necesario, debido a la proliferación de contenido con suplantación de identidad sexualizada generada con IA en todo el mundo, se requieren otros pasos. Dados los graves daños que ocasiona la suplantación de identidad sexualizada generada con IA, la prioridad de la empresa debe ser la seguridad.

Para este fin, y de conformidad con las recomendaciones anteriores que realizó el Consejo (consulta, por ejemplo, la recomendación n.º 4 del caso Imágenes de IA explícitas de figuras públicas femeninas), Meta debe ampliar el alcance de las señales que indican falta de consentimiento, en especial para figuras no públicas. Si bien el Consejo cree que, según los comentarios recibidos de expertos y partes interesadas, el enfoque más amplio recomendado antes (teniendo en cuenta la generación de contenido con IA como una señal contextual de imágenes íntimas no consensuadas conforme a la política de explotación sexual de adultos) aborda mejor los daños ocasionados por dicho contenido, Meta no implementó completamente la recomendación.

Por ende, en el nivel normativo, como mínimo, la empresa debe considerar incluir de manera explícita la suplantación de identidad sexualizada generada con IA de personas reales como una señal contextual de imágenes íntimas no consensuadas, a fin de evitar posibles brechas normativas y en la aplicación de políticas. Esto requeriría una evaluación contextual de señales en el contenido (p. ej., descripción de la publicación, título de la página o comentarios), similar, por ejemplo, a la evaluación de contextos de venganza como una señal de falta de consentimiento en virtud de la política de explotación sexual de adultos. Flujos de reporte y reportes más eficaces de cuentas conectadas designadas, como mencionamos antes, también brindarían señales relevantes para estas evaluaciones. Al mismo tiempo, la ausencia de señales contextuales, en conjunto con el aviso del usuario de la utilización de herramientas de IA para crear imágenes sexualizadas, pueden respaldar la conclusión de que el contenido no muestra a una persona real y, por ende, no constituye suplantación de identidad. Este enfoque se elaboró de una manera lo suficientemente acotada para prevenir la aplicación excesiva de políticas, pero incluye las imágenes con suplantación de identidad sexualizadas generadas con IA que infringen las normas.

Al Consejo también le preocupa que el enfoque actual de Meta se centre principalmente en cuentas que se hacen pasar por otra persona o entidad en virtud de la política de representación de identidad auténtica, y en la suplantación de la identidad de figuras públicas en el nivel de la cuenta en virtud de la política de fraude, estafas y prácticas engañosas. Este enfoque no tiene en cuenta los daños graves y bien documentados que ocasionan las imágenes sexualizadas generadas con IA con suplantación de identidad de figuras no públicas.

II. Aplicación de políticas

Este caso pone de manifiesto dos inquietudes diferentes que guardan relación sobre la aplicación de políticas a imágenes íntimas no consensuadas. La primera tiene que ver con las limitaciones en cuanto a la cantidad de entidades, además de la persona damnificada, que pueden indicar falta de consentimiento conforme a la política de explotación sexual de adultos, y la segunda, con la efectividad de los flujos de reporte y apelación actuales. Si hubiera cambios en ambos mecanismos, mejoraría la aplicación de políticas a imágenes íntimas no consensuadas, incluidos casos de suplantación de identidad sexualizada generada con IA. Este caso ilustra también la necesidad de incorporar protecciones en el diseño del sistema e implementar credenciales de contenido a gran escala.

Designación de cuentas conectadas

Las respuestas de Meta a las preguntas que planteó el Consejo sugieren que, actualmente, la única ruta efectiva para que las figuras no públicas establezcan la falta de consentimiento es el reporte personal.

Las figuras no públicas difícilmente obtendrían un beneficio directo de los reportes de las fuerzas del orden o los medios de comunicación a Meta, ya que, por ejemplo, deberían presentar una denuncia independiente a estos organismos y depender de la decisión de la institución pública respectiva para tomar alguna medida. Asimismo, dada la proliferación de contenido sexualizado generado con IA, incluida la suplantación de identidad, los reportes de socios de confianza y representantes de los sobrevivientes de abusos relacionados con imágenes íntimas no consensuadas probablemente ofrecerían una oportunidad limitada para comprobar que no hay consentimiento. En este aspecto, si bien incluir reportes de representantes de personas damnificadas por estos abusos es un paso positivo como fuente adicional que permita establecer si había o no consentimiento, estos se asemejan más a los reportes de socios de confianza y es probable que no sean suficientes para las víctimas que sufren esta situación por primera vez.

Los comentarios del público enviados al Consejo destacan el impacto del enfoque actual de Meta para determinar la falta de consentimiento a gran escala en favor de las víctimas de abusos basados en imágenes, como la suplantación de identidad (consulta PC–32480, PC-32489 y PC-32484). Los comentarios manifiestan que este enfoque pone el peso sobre las víctimas e incluye riesgos de revictimización y retraumatización. Asimismo, los reportes realizados por los usuarios afectados también pueden resultar complicados cuando estos no tienen cuentas activas en las plataformas de Meta para supervisar y reportar contenido infractor, como en este caso. Los expertos a los que consultó el Consejo señalan que los sistemas más efectivos para reportar el uso de la imagen y la apariencia de alguien en contenido generado con IA son aquellos que reducen la carga impuesta a las víctimas, permiten procesar por lote o agrupar reportes, con lo que se pueden reportar varias publicaciones al mismo tiempo, y activan la eliminación rápida.

Para abordar algunas de estas brechas en la aplicación de políticas, en el caso Imágenes de IA explícitas de figuras públicas femeninas, el Consejo recomendó que, si los aspectos del contenido sexualizados o que incluyen desnudos se generan con IA, se editan con herramientas digitales o, de otro modo, se manipulan, incluso si dicho contenido "no es comercial y se produce en un ámbito privado", se considere como señal de no consentimiento. Si bien en respuesta a esta recomendación, Meta actualizó la definición de imágenes íntimas no consensuadas para que incluya imágenes generadas con IA o creadas de manera digital, el Consejo no considera que se haya implementado, sino más bien reformulado, ya que la empresa sigue sin considerar la generación de contenido con IA como señal de falta de consentimiento.

Por lo tanto, ante el surgimiento de imágenes sexualizadas generadas con IA con suplantación de identidad y para reducir el peso que recae sobre las víctimas de dicho abuso, se necesitan otros mecanismos para confirmar la falta de consentimiento. En este respecto, Meta debe permitir que los usuarios designen cuentas conectadas que puedan reportar posibles infracciones de las Normas comunitarias que impliquen imágenes íntimas no consensuadas, incluida la suplantación de identidad, con su consentimiento y en su nombre. Para abordar inquietudes similares en un contexto diferente, el Consejo ya hizo recomendaciones sobre la designación de terceros que puedan realizar reportes en virtud de las líneas normativas de la política de bullying y acoso que exigen el reporte de la persona damnificada (consulta la recomendación n.º 3 del caso Videos de debate sobre identidad de género). Algunos miembros del Consejo creen que Meta también debe considerar brindar oportunidades de reporte similares a terceros que tengan una cuenta de Meta y permitir que aquellos que aparecen en el contenido que no tengan una cuenta (como en el caso en cuestión) o no se hayan designado como cuenta conectada lo reporten.

Flujos de reporte y apelación

Varios comentarios del público apuntan a las deficiencias de los flujos de reporte y apelación actuales, y hacen hincapié en la importancia de implementar una revisión significativa y eficiente de los reportes de imágenes íntimas no consensuadas generadas con IA, incluida la suplantación de identidad (consulta PC–32481, PC-32489 y PC-32484).

La página del servicio de ayuda de Meta que trata sobre los reportes de imágenes íntimas no consensuadas indica que los usuarios pueden reportar este tipo de imágenes mediante los canales habituales o a través de un formulario de reporteespecializado, que actualmente solo está disponible para residentes de los estados de Texas y Florida, Estados Unidos (aunque la empresa señala que está "en proceso de poner el formulario a disposición de todos los residentes del país"). El formulario de reporte especializado enumera dos motivos de reporte: imágenes íntimas (que se definen como "desnudos, semidesnudos o contenido sexualmente explícito compartido sin consentimiento) e imágenes deepfake íntimas (que se definen como "contenido sexual falso o generado con IA donde se suplanta la identidad de una persona sin su consentimiento).

El abuso relacionado con imágenes íntimas no consensuadas generadas con IA, incluida la suplantación de identidad sexualizada, es un problema de alcance mundial (consulta, por ejemplo, PC-32484, PC-32487, PC-32490, PC-32481 y PC-32480). Por ello, todos los usuarios de las plataformas de Meta deben contar con rutas de fácil acceso para reportar dicho contenido en todo el mundo y que se dirija a canales de revisión especializados. Esto debe incluir incorporar la suplantación de identidad sexualizada generada con IA como una categoría independiente en formularios de reporte y apelación estándar, diferente de la categoría de acoso o desnudos. Dado que solo determinados usuarios de los Estados Unidos pueden acceder al formulario de reporte especializado, se deben adoptar estos cambios en formularios de reporte y apelación regulares, cada vez que usuarios de todo el mundo reporten contenido en las plataformas de Meta. Los expertos a los que consultó el Consejo señalaron que respaldarse en categorías genéricas para reportar, como desnudos o acoso, suele conducir a resultados incoherentes.

Otros mecanismos de aplicación de políticas

Al mismo tiempo, el Consejo reitera su recomendación del caso Video generado con IA en el conflicto entre Israel e Irán, en la que instaba a Meta a implementar credenciales de contenido (conforme lo estipula C2PA) a gran escala y garantizar que los usuarios las vean de manera clara y consistente, y puedan acceder a ellas cada vez que haya detalles de procedencia disponibles, más allá de los sistemas de backend y la detección interna. Esto garantizaría que tanto Meta como los usuarios cuenten con señales confiables adicionales que indiquen que el contenido sexualizado puede haberse generado o manipulado con IA. También serviría como nueva medida para reforzar la señal de que hay falta de consentimiento o se trata de contenido no deseado. Esto es de particular importancia para las figuras no públicas que suelen ser objeto de acoso, daños a su reputación e incluso amenazas a su integridad física que pueden desestabilizar su vida, estigmatizarlas y aislarlas. Si bien los daños a figuras públicas y no públicas son graves, las primeras tienen vías de reporte más significativas que las segundas. En respuesta a esta recomendación, Meta se comprometió a mejorar la manera en que presenta los detalles de la procedencia del contenido a los usuarios y reconoció que "nos espera una importante labor en cuanto a ampliar las intervenciones a otros tipos de contenido, de modo que los usuarios puedan distinguir mejor entre el contenido creado con IA y aquel que solo se editó parcialmente con herramientas de IA, y garantizar una experiencia coherente en Facebook, Instagram y Threads".

Los informes y comentarios que los expertos proporcionaron al Consejo también destacan la importancia de incorporar medidas de protección en el diseño del sistema. Un informe de 2023 de la empresa de análisis de redes sociales Graphika señaló que las imágenes íntimas no consensuadas generadas con IA "pasaron de ser un servicio personalizado en foros de internet de nicho a un negocio online automatizado y a gran escala que emplea una infinidad de recursos para monetizar y comercializar sus servicios". Según un informe de 2025 de la ONG AI Forensics, se aprobaron y pusieron en circulación más de 3.000 anuncios pornográficos mediante el sistema publicitario de Meta el año pasado, que también incluían contenido multimedia pornográfico generado con IA, como imágenes, videos y audio. Por ello, las medidas de protección en el sistema deben incluir realizar auditorías y aplicar políticas a anuncios pornográficos generados con IA y garantizar la seguridad desde el diseño en cuanto a entrenamiento, implementación y gobernanza de modelos de frontera, sin perder de vista el impacto en mujeres y niñas.

Por último, en la evaluación del caso, el Consejo también tuvo en cuenta soluciones a gran escala para proteger la imagen y apariencia de los usuarios, como funciones activadas que vinculen y marquen las características faciales de un usuario con usos no consensuados de su imagen o apariencia (consulta, por ejemplo, PC-32489 y PC-32484). No obstante, dichos mecanismos se descartaron porque su implementación se basa principalmente en usar tecnologías de reconocimiento facial, que entrañan inquietudes relativas a privacidad, vigilancia y sesgo, y un impacto desproporcionado documentado en comunidades marginadas.

5.2. Cumplimiento de las responsabilidades de Meta en materia de derechos humanos

El Consejo determinó que la eliminación del contenido sería coherente con las responsabilidades de Meta en materia de derechos humanos.

Libertad de expresión (artículo 19 del ICCPR)

El artículo 19 del Pacto Internacional de Derechos Civiles y Políticos (ICCPR) establece una amplia protección de la libertad de expresión, incluida la expresión que puede considerarse "profundamente ofensiva" (observación general n.º 34, párrafo 11; consulta también el párrafo 17 del informe de 2019 del Relator Especial de la ONU sobre libertad de expresión, A/74/486).

Si un Estado impone restricciones sobre la libertad de expresión, estas deben cumplir los requisitos de legalidad, fin legítimo y necesidad y proporcionalidad (artículo 19, párrafo 3, ICCPR). Se suele hacer referencia a estos requisitos como "prueba de tres partes". El Consejo utiliza este marco para interpretar las responsabilidades de Meta en materia de derechos humanos en línea con los Principios Rectores sobre las Empresas y los Derechos Humanos de las Naciones Unidas (ONU), que Meta se comprometió a cumplir en su Política corporativa de derechos humanos. El Consejo lo hace tanto respecto de la decisión sobre el contenido en particular en revisión como de lo que esto pone de manifiesto acerca del enfoque más amplio de Meta en relación con la gestión del contenido. Como indicó el Relator Especial de la ONU sobre la libertad de expresión, "las empresas no tienen las obligaciones de los Gobiernos, pero sus efectos son de un tipo que les obliga a evaluar el mismo tipo de cuestiones sobre la protección del derecho de sus usuarios a la libertad de expresión" (A/74/486, párrafo 41).

I. Legalidad (claridad y accesibilidad de las reglas)

El principio de legalidad exige que las reglas que limitan la expresión sean accesibles y claras, y estén formuladas con precisión suficiente para que una persona pueda regular su comportamiento de conformidad con ellas (observación general n.º 34, párrafo 25). Asimismo, estas reglas "no pueden conferir a los encargados de su aplicación una discrecionalidad sin trabas para restringir la libertad de expresión" y deben "proporcionar suficientes orientaciones a los encargados de su ejecución para que puedan distinguir cuáles expresiones pueden restringirse correctamente y cuáles no" (ibidem). El Relator Especial sobre la libertad de expresión de la ONU dijo que, cuando se aplican a la gobernanza del discurso online por parte de actores privados, las reglas deben ser claras y específicas (A/HRC/38/35, párrafo 46). Las personas que usan las plataformas de Meta deben ser capaces de acceder a las reglas y entenderlas, y los revisores de contenido deben tener pautas claras para su aplicación.

En el caso Imágenes de IA explícitas de figuras públicas femeninas, el Consejo destacó varias inquietudes en torno a la claridad de las reglas de Meta sobre imágenes íntimas no consensuadas y la facilidad de acceso a ellas. El Consejo recomendó a Meta lo siguiente:

• Agrupar todas las reglas relevantes en la política de explotación sexual de adultos y trasladar las líneas normativas sobre "derogatory sexualized photoshop" (retoque fotográfico sexualizado y despectivo) de la política de bullying y acoso allí (recomendación n.º 1).
• Reemplazar la palabra "derogatory" (despectivo) que se usa en la prohibición sobre "derogatory sexualized photoshop" (retoque fotográfico sexualizado y despectivo) por "non-consensual" (no consensuado), dado que este último sería un término descriptivo más claro que "despectivo" para transmitir la idea de manipulaciones sexualizadas no deseadas de imágenes (recomendación n.º 2).
• Asegurar que las políticas aborden una amplia variedad de técnicas de edición y generación de contenido multimedia reemplazando la palabra "photoshop" (retoque fotográfico) que se usa en la prohibición sobre "derogatory sexualized photoshop" (retoque fotográfico sexualizado y despectivo) por un concepto más generalizado para contenido multimedia manipulado (recomendación n.º 3).

Si bien estas recomendaciones se emitieron hace casi dos años, Meta no las implementó de forma significativa. Tras actualizar la política de explotación sexual de adultos en 2025 para que incluyera imágenes creadas digitalmente o generadas con IA en función de la línea normativa de imágenes íntimas no consensuadas, Meta considera implementada la recomendación n.º 1, mientras que el Consejo la considera reformulada. Respecto de la recomendación n.º 2, Meta señala con frecuencia que la empresa sigue pensando en maneras de aclarar la política de bullying y acoso, aunque no espera realizarle cambios, conforme se indica en la recomendación. De manera similar, en cuanto a la recomendación n.º 3, Meta señaló que la empresa aún sigue en proceso de actualizar el texto relevante de la política de bullying y acoso. El Consejo insta a Meta a implementar por completo las recomendaciones n.º 2 y 3, a fin de que los usuarios entiendan con claridad el contexto de sus reglas sobre imágenes íntimas no consensuadas, incluida la suplantación de identidad sexualizada generada con IA.

II. Fin legítimo

Cualquier restricción sobre la libertad de expresión debe procurar además uno o más de los fines legítimos mencionados en el ICCPR, entre ellos, proteger los derechos de los demás (artículo 19, párrafo 3, ICCPR).

El Consejo reconoció en otra ocasión que las restricciones de Meta sobre imágenes íntimas deepfake están diseñadas para proteger a las personas de la creación y difusión de imágenes sexuales sin su consentimiento, y de los daños que les causan a las víctimas y sus derechos ( Imágenes de IA explícitas de figuras públicas femeninas). Estos incluyen los derechos a la salud física y mental, dado que este contenido es extremadamente dañino para las víctimas (artículo 12 del ICESCR); la libertad frente a la discriminación, ya que existen pruebas abrumadoras que demuestran que este contenido afecta de manera desproporcionada a mujeres y niñas (artículo 2 del ICCPR y ICESCR); y el derecho a la privacidad, ya que afecta a la capacidad de las personas de mantener una vida privada y autorizar cómo se crean y se publican imágenes de ellas mismas (artículo 17 del ICCPR).

III. Necesidad y proporcionalidad

El principio de necesidad y proporcionalidad previsto en el artículo 19(3) del ICCPR exige que las restricciones que se apliquen a la expresión "deben ser adecuadas para desempeñar su función protectora; deben ser el instrumento menos perturbador de los que permitan conseguir el resultado deseado; y deben guardar proporción con el interés que debe protegerse" (observación general n.º 34, párrafo 34).

El uso de la imagen de las víctimas para crear imágenes sexualizadas no consensuadas socava los derechos de los usuarios a la privacidad y a la protección de daños físicos y mentales. El contenido con suplantación de identidad sexualizada generada con IA representa una tendencia actual que tiene que ver con la pérdida de control sobre la imagen y la identidad de las personas. A diferencia de imágenes íntimas no consensuadas deepfake que conllevan, por ejemplo, colocar la cara de una persona real en una imagen o un video explícitos, las imágenes sexualizadas generadas con IA con suplantación de identidad usan la imagen o apariencia real de una persona sin su consentimiento para fabricar otra persona que se le parezca. El Consejo reitera que, como la gran mayoría de las personas representadas en estas imágenes son mujeres o niñas, este tipo de contenido también tiene impactos discriminatorios y genera un daño estrechamente relacionado con el género (consulta, por ejemplo, PC-32480, 32481, 32484, 32487, 32488, 32490; consulta también el caso Imágenes de IA explícitas de figuras públicas femeninas).

Por ello, dada la gravedad de los daños y como no bastaría con medidas menos invasivas, la eliminación de dicho contenido, incluida la publicación en este caso, es una medida necesaria y proporcionada. Como el daño procede de la difusión y visualización de esas imágenes, no solo del engaño con respecto a su autenticidad, etiquetarlas no sería suficiente (consulta Imágenes de IA explícitas de figuras públicas femeninas). De manera similar, los comentarios del público al Consejo pusieron de relieve que las evidencias de no infracción y restricción por edad en este caso "pueden entrañar la desestimación de facto de la denuncia principal relacionada con la suplantación de identidad sexualizada no consensuada" (consulta, por ejemplo, PC-32481). Por ende, imponer restricciones por edad a contenido sexualizado generado con IA con suplantación de identidad no es una medida necesaria ni proporcionada, ya que no detiene de manera significativa la circulación de dicho contenido y, por este motivo, no previene daños a la reputación, acoso y posible abuso físico. Asimismo, como los mecanismos de aplicación de políticas de Meta abordan el daño tras la detección, es fundamental eliminar de inmediato el contenido para reducir la viralidad y el daño asociado a las personas afectadas (consulta también PC-32489).

Varios comentarios que el público hizo al Consejo señalaron la importancia de tener en cuenta las diferencias culturales y locales a la hora de aplicar reglas a contenido sexualizado (consulta, por ejemplo, PC-32490 y PC-32481). Los expertos a los que consultó el Consejo subrayan que muchas plataformas adoptan definiciones centradas en Occidente de daño sexual, y se centran mayoritariamente en actos sexuales o desnudos explícitos. Los expertos indican que, en determinadas comunidades conservadoras, "los videos o las imágenes generados con IA en los que aparece una mujer con hombres en público (o incluso en un ámbito privado totalmente vestidos), aun en escenarios no explícitos, pueden generar graves daños a la reputación, exclusión social, matrimonio forzado, violencia por cuestiones de honor y daños físicos" (consulta también PC-32481). Asimismo, Meta anunció hace poco su plan de usar IA más avanzada para mejorar la aplicación de políticas al contenido y señaló que estos sistemas pueden "aumentar la capacidad en cualquier idioma conforme a la necesidad y adaptarse para entender los matices culturales, incluidas subculturas de nicho, el lenguaje codificado, el significado de emojis y la jerga específicos de una región y de rápida evolución. El Consejo refuerza la conclusión de los expertos que indica que una aplicación de políticas efectiva debe evaluar los daños en contexto para contemplar estos matices locales y culturales, incluido en cuanto a contenido sexualmente sugerente. Asimismo, espera poder explorar las oportunidades que ofrecen los sistemas de IA avanzados, mediante una supervisión independiente y transparente.

En el caso Imágenes de IA explícitas de figuras públicas femeninas, el Consejo reconoció que crear la presunción de que las imágenes sexuales generadas con IA no son consensuadas en ocasiones puede conducir a la eliminación de una imagen que se tomó con consentimiento, lo que plantea inquietudes respecto de la aplicación excesiva de las reglas sobre desnudos y semidesnudos permitidos. No obstante, dados los graves daños y el hecho de que las reglas de Meta respecto de imágenes íntimas no consensuadas incluyan también imágenes íntimas generadas y manipuladas con IA, Meta debe ampliar el alcance de las señales que indican falta de consentimiento, en especial en relación con figuras no públicas. La empresa debe, como mínimo, considerar incluir de manera explícita la suplantación de identidad sexualizada generada con IA de personas reales como una señal contextual de imágenes íntimas no consensuadas, a fin de abordar los daños que supone dicho contenido.

Acceso a mecanismos de reparación

Similar al caso Imágenes de IA explícitas de figuras públicas femeninas, en el presente caso, los informes iniciales y las apelaciones de las decisiones de Meta no se priorizaron para revisión manual con el tiempo. En el caso Imágenes de IA explícitas de figuras públicas femeninas, el Consejo señaló que, independientemente del estado de figura pública o no pública de las víctimas, una demora en la eliminación de estas imágenes socava en gran medida su privacidad y puede acarrear consecuencias catastróficas. Tras hacerse eco de este debate y de la recomendación en ese caso sobre mejorar los flujos de reporte relacionados con imágenes íntimas no consensuadas generadas con IA, el Consejo reitera que el acceso a medidas de reparación en estos contextos es un problema que puede tener un enorme impacto en los derechos humanos que requiere de una evaluación y medidas de mitigación de riesgos rigurosas.

6. Decisión del Consejo asesor de contenido

El Consejo anula la decisión de Meta de conservar el contenido y solicita que se elimine la publicación.

7. Recomendaciones

Política

1. Para garantizar que se elimine el contenido infractor, Meta debe agregar una nueva señal de falta de consentimiento a la política de explotación sexual de adultos: contexto que indique que el contenido incluye la suplantación de identidad sexualizada de personas reales generada con IA.

El Consejo considerará implementada la recomendación cuando tanto las normas de acceso público como las internas se actualicen para reflejar este cambio.

Aplicación de políticas

2. Para reducir el peso que recae sobre las víctimas de abuso relacionado con imágenes íntimas no consensuadas, Meta debe permitir que los usuarios designen cuentas conectadas, como amigos, familiares o socios de confianza, que puedan reportar en su nombre posibles infracciones de las Normas comunitarias que impliquen imágenes íntimas no consensuadas, incluida la suplantación de identidad.

El Consejo considerará implementada esta recomendación cuando Meta ponga a disposición estas funciones y todos los usuarios puedan acceder a ellas fácilmente a través de la configuración de la cuenta.

Para garantizar vías accesibles y efectivas para reportar abusos relacionados con imágenes íntimas no consensuadas generadas con IA, Meta debe incluir la suplantación de identidad sexualizada generada con IA como una categoría independiente en formularios de reporte y apelación de contenido estándar, distinta de las categorías de "acoso" o "desnudos". Estos formularios de reporte uniformes deben estar disponibles en todo el mundo.

El Consejo considerará implementada esta recomendación cuando Meta actualice sus formularios de reporte, comparta datos que demuestren los resultados de la implementación a nivel mundial y explique cómo los nuevos flujos de reporte afectan la aplicación de la norma comunitaria sobre explotación sexual de adultos.

El Consejo reitera también la importancia de sus recomendaciones anteriores y señala su relevancia para los problemas que atañen este caso. En línea con esas recomendaciones, Meta debería:

• Reemplazar la palabra "derogatory" (despectivo) que se usa en la prohibición sobre "derogatory sexualized photoshop" (retoque fotográfico sexualizado y despectivo) por "non-consensual" (no consensuado), (recomendación n.º 2 del caso "Imágenes de IA explícitas de figuras públicas femeninas").
• Reemplazar la palabra "photoshop" (retoque fotográfico) que se usa en la prohibición sobre "derogatory sexualized photoshop" (retoque fotográfico sexualizado y despectivo) por un término más generalizado para contenido multimedia manipulado (recomendación n.º 3 del caso "Imágenes de IA explícitas de figuras públicas femeninas").
• Implementar credenciales de contenido (conforme se estipula en la C2PA) a gran escala y asegurarse de que los usuarios las vean con claridad y puedan acceder a ellas cada vez que hay detalles de procedencia disponibles (recomendación n.º 4 del caso "Video generado con IA en el conflicto entre Israel e Irán").

Nota de procedimiento:

La preparación de las decisiones del Consejo asesor de contenido está a cargo de paneles conformados por cinco miembros, quienes deben aprobarlas por mayoría. Las decisiones del Consejo no necesariamente representan las opiniones de todos los miembros.

En virtud de su acta constitutiva, el Consejo asesor de contenido tiene la facultad de revisar apelaciones de usuarios cuyo contenido fue eliminado por Meta, apelaciones de usuarios que reportaron contenido que Meta mantuvo publicado y decisiones que Meta le presente (artículo 2, sección 1, del acta constitutiva). El Consejo tiene autoridad vinculante para ratificar o anular las decisiones sobre contenido de Meta (artículo 3, sección 5 y artículo 4 del acta constitutiva). El Consejo podrá emitir recomendaciones no vinculantes a las que Meta deberá responder (artículo 3, sección 4, y artículo 4). Cuando Meta se compromete a tomar medidas respecto de las recomendaciones, el Consejo supervisa su implementación.

En cuanto a la decisión del caso, se encargó una investigación independiente en nombre del Consejo. El Consejo recibió asistencia de Duco Advisors, una empresa asesora dedicada a la intersección de geopolítica, confianza, seguridad y tecnología.

Volver a Decisiones de casos y opiniones consultivas sobre políticas