La definición elusiva de ‘Deepfake’

Un estudio convincente y nuevo de Alemania critica la definición del término ‘deepfake’ en la Ley de IA de la UE como excesivamente vaga, particularmente en el contexto de la manipulación de imágenes digitales. Los autores argumentan que el énfasis de la Ley en el contenido que se asemeja a personas o eventos reales, pero que potencialmente parece falso, carece de claridad.

También destacan que las excepciones de la Ley para la ‘edición estándar’ (es decir, modificaciones menores de imágenes con ayuda de IA) no consideran la influencia generalizada de la IA en aplicaciones de consumo y la naturaleza subjetiva de las convenciones artísticas que preceden al surgimiento de la IA.

La legislación imprecisa sobre estos temas da lugar a dos riesgos clave: un ‘efecto de enfriamiento’, donde el alcance interpretativo amplio de la ley sofoca la innovación y la adopción de nuevos sistemas; y un ‘efecto de desprecio’, donde la ley es despreciada por ser excesiva o irrelevante.

En cualquier caso, las leyes vagas transfieren efectivamente la responsabilidad de establecer definiciones legales prácticas a los fallos judiciales futuros, un enfoque cauteloso y prudente para la legislación.

Las tecnologías de manipulación de imágenes basadas en IA siguen siendo notablemente más avanzadas que la capacidad de la legislación para abordarlas, al parecer. Por ejemplo, un ejemplo notable de la creciente elasticidad del concepto de post-procesamiento ‘automático’ impulsado por IA, el papel observa, es la función ‘Optimizador de escena’ en las cámaras Samsung recientes, que puede reemplazar imágenes de la luna tomadas por el usuario (un tema desafiante) con una imagen ‘refinada’ impulsada por IA:

Arriba a la izquierda, un ejemplo del nuevo papel de una imagen real tomada por el usuario de la luna, a la izquierda de una versión mejorada por Samsung creada automáticamente con Optimizador de escena; Derecha, ilustración oficial de Samsung del proceso detrás de esto; abajo a la izquierda, ejemplos del usuario de Reddit u/ibreakphotos, que muestra (izquierda) una imagen de la luna intencionalmente desenfocada y (derecha), la reimaginación de Samsung de esta imagen, aunque la foto original era una imagen de un monitor y no la luna real. Fuentes (en sentido horario desde arriba a la izquierda): https://arxiv.org/pdf/2412.09961; https://www.samsung.com/uk/support/mobile-devices/how-galaxy-cameras-combine-super-resolution-technologies-with-ai-to-produce-high-quality-images-of-the-moon/; https://reddit.com/r/Android/comments/11nzrb0/samsung_space_zoom_moon_shots_are_fake_and_here/

En la parte inferior izquierda de la imagen de arriba, vemos dos imágenes de la luna. La de la izquierda es una foto tomada por un usuario de Reddit. Aquí, la imagen ha sido intencionalmente desenfocada y reducida por el usuario.

A su derecha vemos una foto de la misma imagen degradada tomada con una cámara Samsung con post-procesamiento impulsado por IA. La cámara ha ‘mejorado’ automáticamente el objeto ‘luna’ reconocido, aunque no era la luna real.

El papel critica más profundamente la función Mejor toma incorporada en los teléfonos inteligentes de Google recientes, una función de IA controvertida que edita las ‘mejores’ partes de una foto de grupo, escaneando múltiples segundos de una secuencia de fotografía para que las sonrisas se muevan hacia adelante o hacia atrás en el tiempo según sea necesario, y nadie se muestra en medio de parpadear.

El papel sostiene que este tipo de proceso de composición tiene el potencial de tergiversar eventos:

‘[En] un entorno de foto de grupo típico, un espectador promedio probablemente consideraría la foto resultante como auténtica. La sonrisa que se inserta existía dentro de unos segundos de que se tomara la foto restante.

‘Por otro lado, el marco de tiempo de diez segundos de la función de mejor toma es suficiente para un cambio de estado de ánimo. Una persona puede haber dejado de sonreír mientras el resto del grupo se ríe de un chiste a su costa.

‘Como consecuencia, asumimos que dicha foto de grupo puede constituir un deep fake.’

El nuevo papel se titula ¿Qué constituye un Deep Fake? La línea borrosa entre el procesamiento legítimo y la manipulación bajo la Ley de IA de la UE, y proviene de dos investigadores del Laboratorio de Derecho Computacional de la Universidad de Tübingen y la Universidad de Saarland.

Trucos antiguos

La manipulación del tiempo en la fotografía es mucho más antigua que la IA de consumo. Los autores del nuevo papel observan la existencia de técnicas mucho más antiguas que pueden considerarse ‘no auténticas’, como la concatenación de múltiples imágenes secuenciales en una foto de rango dinámico alto (HDR) o una ‘foto cosida’ panorámica.

De hecho, algunas de las falsificaciones fotográficas más antiguas y divertidas se crearon tradicionalmente por escolares que corrían de un extremo a otro de un grupo escolar, adelantándose a la trayectoria de las cámaras panorámicas especiales que se utilizaban para la fotografía escolar y deportiva, lo que les permitía aparecer dos veces en la misma imagen:

La tentación de engañar a las cámaras panorámicas durante las fotos de grupo era demasiado grande para muchos estudiantes, que estaban dispuestos a arriesgarse a una mala sesión en la oficina del director para ‘clonarse’ en las fotos escolares. Fuente: https://petapixel.com/2012/12/13/double-exposure-a-clever-photo-prank-from-half-a-century-ago/

A menos que se tome una foto en modo RAW, que básicamente descarga el sensor de la lente de la cámara a un archivo muy grande sin ninguna interpretación, es probable que sus fotos digitales no sean completamente auténticas. Los sistemas de cámara aplican rutinariamente algoritmos de ‘mejora’ como el afilado de imágenes y el equilibrio de blancos, por defecto, y lo han hecho desde los orígenes de la fotografía digital de consumo.

Los autores del nuevo papel argumentan que incluso estos tipos más antiguos de mejora de fotos digitales no representan la ‘realidad’, ya que estos métodos están diseñados para hacer que las fotos sean más agradables, no más ‘reales’.

El estudio sugiere que la Ley de IA de la UE, incluso con enmiendas posteriores como recitales 123-27, coloca toda la salida fotográfica dentro de un marco de evidencia inadecuado para el contexto en el que se producen las fotos hoy en día, en lugar de la naturaleza (nominalmente objetiva) de la filmación de seguridad o la fotografía forense. La mayoría de las imágenes abordadas por la Ley de IA probablemente provengan de contextos en los que los fabricantes y las plataformas en línea promueven activamente la interpretación creativa de las fotos, incluido el uso de la IA.

Los investigadores sugieren que las fotos ‘nunca han sido una representación objetiva de la realidad’. Consideraciones como la ubicación de la cámara, la profundidad de campo elegida y las opciones de iluminación contribuyen a hacer que una fotografía sea profundamente subjetiva.

El papel observa que las tareas de ‘limpieza’ rutinarias, como eliminar el polvo del sensor o las líneas de energía no deseadas de una escena bien compuesta, solo estaban semiautomatizadas antes del surgimiento de la IA: los usuarios tenían que seleccionar manualmente una región o iniciar un proceso para lograr el resultado deseado.

Hoy en día, estas operaciones a menudo se activan mediante instrucciones de texto del usuario, más notablemente en herramientas como Photoshop. A nivel de consumo, estas características están cada vez más automatizadas sin entrada del usuario, un resultado que aparentemente es considerado por los fabricantes y las plataformas como ‘obviamente deseable’.

El significado diluido de ‘Deepfake’

Un desafío central para la legislación sobre imágenes alteradas y generadas por IA es la ambigüedad del término ‘deepfake’, que ha tenido su significado notablemente extendido en los últimos dos años.

Originalmente, los términos solo se aplicaban a la salida de video de sistemas basados en autoencoder como DeepFaceLab y FaceSwap, ambos derivados de código anónimo publicado en Reddit a fines de 2017.

Desde 2022, la llegada de Modelos de Difusión Latente (LDM) como Stable Diffusion y Flux, así como sistemas de texto a video como Sora, también permitirían el intercambio de identidades y la personalización, a una resolución mejorada, versatilidad y fidelidad. Ahora era posible crear modelos de difusión que podrían representar celebridades y políticos. Dado que el término ‘deepfake’ ya era un tesoro que atraía titulares para los productores de medios, se extendió para cubrir estos sistemas.

Más tarde, en los medios y la literatura de investigación, el término también incluyó la impersonación basada en texto. En este punto, el significado original de ‘deepfake’ estaba prácticamente perdido, mientras que su significado extendido estaba evolucionando constantemente y se volvía cada vez más diluido.

Pero como la palabra era tan incendiaria y galvanizadora, y ya era un poderoso punto de referencia político y mediático, resultó imposible renunciar a ella. Atraía a los lectores a los sitios web, la financiación a los investigadores y la atención a los políticos. Esta ambigüedad léxica es el enfoque principal de la nueva investigación.

Como observan los autores, el artículo 3(60) de la Ley de IA de la UE describe cuatro condiciones que definen un ‘deepfake’.

1: Luna verdadera

En primer lugar, el contenido debe ser generado o manipulado, es decir, creado desde cero utilizando IA (generación) o alterado a partir de datos existentes (manipulación). El papel destaca la dificultad para distinguir entre resultados de edición de imagen ‘aceptables’ y deepfakes manipuladores, dado que las fotos digitales nunca son representaciones verdaderas de la realidad.

El papel sostiene que una luna generada por Samsung es arguablemente auténtica, ya que la luna es poco probable que cambie de apariencia, y ya que el contenido generado por IA, entrenado en imágenes lunares reales, es probable que sea preciso.

Sin embargo, los autores también afirman que dado que el sistema de Samsung se ha demostrado que genera una imagen ‘mejorada’ de la luna en un caso en el que la imagen de origen no era la luna en sí, esto se consideraría un ‘deepfake’.

Sería impráctico elaborar una lista exhaustiva de casos de uso diferentes alrededor de esta función ad hoc. Por lo tanto, la carga de definición parece pasar, una vez más, a los tribunales.

2: TextFakes

En segundo lugar, el contenido debe ser en forma de imagen, audio o video. El contenido de texto, aunque sujeto a otras obligaciones de transparencia, no se considera un deepfake bajo la Ley de IA. Esto no se cubre en detalle en el nuevo estudio, aunque puede tener un impacto notable en la eficacia de los visuales deepfakes (ver a continuación).

3: Problemas del mundo real

En tercer lugar, el contenido debe se asemejar a personas, objetos, lugares, entidades o eventos existentes. Esta condición establece una conexión con el mundo real, lo que significa que la imaginería completamente fabricada, aunque sea fotorealista, no calificaría como un deepfake. El recital 134 de la Ley de IA de la UE enfatiza el aspecto de ‘semejanza’ agregando la palabra ‘apreciable’ (un aparente diferimiento a juicios legales posteriores).

Los autores, citando trabajos anteriores, consideran si una cara generada por IA necesita pertenecer a una persona real o si solo necesita ser lo suficientemente similar a una persona real para satisfacer esta definición.

Por ejemplo, ¿cómo se puede determinar si una secuencia de imágenes fotorealistas que representan al político Donald Trump tiene la intención de impersonación, si las imágenes (o textos adjuntos) no mencionan específicamente a él? ¿Reconocimiento facial? Encuestas a los usuarios? Una definición de ‘sentido común’ de un juez?

Volviendo al tema de ‘TextFakes’ (ver arriba), las palabras a menudo constituyen una parte importante del acto de un visual deepfake. Por ejemplo, es posible tomar una imagen (no alterada) de ‘persona a’‘ y decir, en un pie de foto o una publicación en las redes sociales, que la imagen es de ‘persona b’‘ (suponiendo que las dos personas se parezcan).

En tal caso, no se necesita IA, y el resultado puede ser sorprendentemente efectivo, pero ¿constituye este enfoque de baja tecnología también un ‘deepfake’?

4: Retocar, remodelar

Finalmente, el contenido debe parecer auténtico o veraz a una persona. Esta condición enfatiza la percepción de los espectadores humanos. El contenido que solo es reconocido como representación de una persona o objeto real por un algoritmo no se consideraría un deepfake.

De todas las condiciones en 3(60), esta es la que más obviamente se remite al juicio posterior de un tribunal, ya que no permite ninguna interpretación a través de medios técnicos o mecanizados.

Hay dificultades inherentes para llegar a un consenso sobre esta estipulación subjetiva. Los autores observan, por ejemplo, que diferentes personas y diferentes tipos de personas (como niños y adultos) pueden estar dispuestas de manera diferente a creer en un deepfake particular.

Los autores también señalan que las capacidades avanzadas de IA de herramientas como Photoshop desafían las definiciones tradicionales de ‘deepfake’. Si bien estos sistemas pueden incluir salvaguardas básicas contra contenido controvertido o prohibido, amplían dramáticamente el concepto de ‘retoque’. Los usuarios pueden agregar o eliminar objetos de manera convincente y fotorealista, logrando un nivel de autenticidad profesional que redefine los límites de la manipulación de imágenes.

Los autores afirman:

‘Sostenemos que la definición actual de deep fakes en la Ley de IA y las obligaciones correspondientes no están suficientemente especificadas para abordar los desafíos planteados por los deep fakes. Al analizar el ciclo de vida de una foto digital desde el sensor de la cámara hasta las características de edición digital, encontramos que:

‘(1) Los deep fakes están mal definidos en la Ley de IA de la UE. La definición deja demasiado margen para lo que es un deep fake.

‘(2) No está claro cómo se pueden considerar funciones de edición como la función de “mejor toma” de Google como una excepción a las obligaciones de transparencia.

‘(3) La excepción para imágenes editadas sustancialmente plantea preguntas sobre qué constituye una edición sustancial del contenido y si dicha edición debe ser perceptible por una persona.

Tomando excepción

La Ley de IA de la UE contiene excepciones que, según los autores, pueden ser muy permisivas. El artículo 50(2), afirman, ofrece una excepción en casos en los que la mayoría de una imagen de origen original no se altera. Los autores observan:

‘¿Qué se puede considerar contenido en el sentido del artículo 50(2) en casos de audio digital, imágenes y videos? Por ejemplo, en el caso de las imágenes, ¿debemos considerar el espacio de píxeles o el espacio visible perceptible por los humanos? Las manipulaciones sustanciales en el espacio de píxeles pueden no cambiar la percepción humana, y por otro lado, pequeñas perturbaciones en el espacio de píxeles pueden cambiar la percepción de manera drástica.’

Los investigadores proporcionan el ejemplo de agregar un arma de fuego a la foto de una persona que está apuntando a alguien. Al agregar el arma, se cambia como poco el 5% de la imagen; sin embargo, el significado semántico de la parte cambiada es notable. Por lo tanto, parece que esta excepción no tiene en cuenta ningún ‘entendimiento común’ del efecto que un pequeño detalle puede tener en el significado general de una imagen.

La sección 50(2) también permite excepciones para una ‘función de edición estándar asistida’. Dado que la Ley no define qué significa ‘edición estándar’, incluso características de post-procesamiento tan extremas como la función de Mejor toma de Google parecerían estar protegidas por esta excepción, observan los autores.

Conclusión

La intención declarada del nuevo trabajo es fomentar el estudio interdisciplinario sobre la regulación de los deepfakes y servir como un punto de partida para nuevos diálogos entre científicos informáticos y académicos del derecho.

Sin embargo, el papel en sí mismo sucumbe a la tautología en varios puntos: utiliza frecuentemente el término ‘deepfake’ como si su significado fuera evidente, mientras critica la Ley de IA de la UE por no definir qué constituye un deepfake.

Publicado por primera vez el lunes 16 de diciembre de 2024