Riesgos concretos

Desinformación política

Los vídeos falsos de figuras políticas pueden influir en elecciones, provocar pánico o desencadenar crisis diplomáticas. Las campañas de desinformación basadas en deepfakes se han multiplicado en cada gran elección de los últimos años.

Robo de identidad

Personas corrientes ven su rostro y su voz utilizados sin consentimiento para fraudes, acoso o pornografía no consensual. La IA generativa ha hecho estos ataques accesibles a cualquiera.

Fraude financiero

Los deepfakes audiovisuales de directivos de empresas se utilizan para autorizar transferencias bancarias fraudulentas. Varios casos documentados han supuesto pérdidas de millones de euros.

Lo que ocurre hoy

Existen varias herramientas de detección de deepfakes, pero fallan regularmente con contenido comprimido, editado o de última generación. La carrera entre generación y detección está estructuralmente desequilibrada: los modelos generativos avanzan más rápido que los detectores.

Warning
Cuando un vídeo se publica en una plataforma, se comprime y recodifica, eliminando a menudo los metadatos originales, incluidas las marcas de procedencia. Si la ley no obliga a las plataformas a conservar y mostrar esta información, cualquier etiquetado en el origen se vuelve inútil.

El problema de las plataformas

Cuando un vídeo se publica en una plataforma, se comprime y recodifica, eliminando a menudo los metadatos originales, incluidas las marcas de procedencia. Si la ley no obliga a las plataformas a conservar y mostrar esta información, cualquier etiquetado en el origen se vuelve inútil.

Por qué la detección sola no es suficiente

Esperar a que una herramienta automatizada detecte deepfakes siempre implica intervenir a posteriori, sobre contenido que ya ha sido compartido. El etiquetado obligatorio en el origen es el único enfoque preventivo y robusto a largo plazo.

Fuentes: Europol, AFP Fact Check, MIT Media Lab, Centre for Emerging Technology Policy.

No juzgamos la IA. Simplemente pedimos que el contenido generado por IA sea identificable como tal.
Leer la propuesta