Perché l’intreccio dei concetti significa che non puoi avere un video AI “a modo tuo”

Gli strumenti di video AI promettono il controllo totale, ma l’intreccio nascosto dei concetti unisce identità, espressioni e comportamenti, costringendo a trovare soluzioni e trucchi che frantumano il mito della magia GenAI senza sforzo.

Opinione Da quando mi sono occupato a lungo di questo argomento cinque anni fa, il problema dell’intreccio dei concetti nei sistemi di intelligenza artificiale addestrati si è esteso a un’ampia gamma di utenti, senza essere realmente compreso meglio in base ai propri termini.

All’epoca, i sistemi di autoencoder deepfake (ad esempio, il defunto DeepFaceLab e il meno pornografico FaceSwap, entrambi derivati dal codice di Reddit del 2017 ormai screditato e bandito) erano l’unica opzione disponibile per creare deepfake di persone relativamente fotorealistici.

Questi sistemi si basavano su estensivi set di dati di addestramento facciali destinati a fornire al modello di intelligenza artificiale informazioni su A) come appariva la persona in riposo (un riferimento canonico) e B) come appariva in diverse situazioni che un volto può riflettere, dal sonno al riso, orrore, noia, cinismo, tristezza, ecc.

L’identità non arriva da sola, ma insieme alle espressioni facciali. Inoltre, alcune emozioni possono avere solo dati di faccia disponibili da angoli particolari, estremi, che tenderanno ad associare l’angolo all’emozione e viceversa.

Il problema era che l’identità canonica doveva essere generalmente inferita da catture facciali che non erano in sé ‘neutrali’, quindi la preponderanza di sorrisi e risate ottenute quando si raschiavano i set di dati di stock avrebbe spostato la distribuzione verso un ‘default del sorriso’. Ciò era dovuto al grande volume di foto di tappeto rosso e di immagini web-scraped che informavano questi modelli, nonché a qualsiasi altro motivo specioso per cui un set di dati potrebbe essere distorto verso un tipo di immagine.

In altre parole, il sistema di autoencoder avrebbe dovuto cercare di estrarre un concetto di identità ‘neutrale’ da migliaia di immagini in cui le caratteristiche facciali erano contorte da espressioni facciali normali.

Doveva anche cercare di disentangolare concetti semantici facciali di diverse emozioni dall’angolo in cui le facce erano state scattate. Ciò significava che se le uniche espressioni facciali ‘terrorizzate’ disponibili erano state scattate da una vista laterale, il sistema addestrato avrebbe potuto riprodurre quell’emozione solo ottimamente da quel punto di vista.

Guardando avanti

Mentre gli approcci basati sulla diffusione hanno preso il posto dei sistemi di gen AI immagine (e successivamente video) dal 2022 in poi, i sistemi generativi sono diventati molto più bravi a estrapolare espressioni facciali accurate quando forniti con dati di faccia limitati.

Anche la sfida di creare viste di profilo convincenti è stata quasi superata, allo stato attuale dell’arte, mentre i dati di espressione sono stati abbastanza efficacemente separati dall’identità – al punto che il tipo di manipolazione di deepfake in tempo reale introdotto dal sistema di streaming DeepFaceLive ha molte applicazioni offline efficaci, con la messa in scena in tempo reale un probabile sviluppo futuro:

Fare clic per riprodurre. Dal progetto ‘FlashPortrait’, diversi esempi di guida di avatar attraverso video di origine. In questo caso, non importa quale lato del ‘dominio realistico’ si trovi, se presente. Fonte 

Eppure, mentre la tela di genAI si è allargata e l’output è diventato più sofisticato, il problema dell’intreccio si è semplicemente esteso ad altre aree – e attualmente viene ‘risolto’ con alcuni trucchi abbastanza a buon mercato e vecchi. Se non sai quali sono questi trucchi, potresti avere una visione più positiva di come il video e l’immagine AI stiano evolvendo e superando i loro vecchi problemi.

Gatti chiacchieroni

Spero che sia chiaro perché l’identità e l’emozione si sono rivelate difficili da separare per quei vecchi sistemi di autoencoder del 2017. Era perché a) c’era troppo dati di un tipo, o una versione troppo specifica di un tipo di dati importante, entrambi i quali avrebbero causato un bias di distribuzione; e/o B) l’architettura del modello non era all’altezza del compito di separare queste qualità, e tendeva a ‘incollarle insieme’ al momento dell’inferenza, a meno che l’utente non prendesse un’attenzione straordinaria per garantire l’equilibrio nel set di dati.

Per esattamente lo stesso motivo, problemi simili sono emersi in una serie di modelli di video open source e proprietari negli ultimi anni, sebbene siano stati oscurati da livelli più elevati di critiche intorno all’allucinazione, mancanza di censura e altri argomenti diversi.

Ad esempio, nel sistema Wan2.+, molti utenti hanno trovato che è molto difficile impedire ai loro personaggi generati di parlare ininterrottamente, e spesso anche difficile impedire loro di guardare la telecamera.

Il problema di ‘guardare la telecamera’ (o rompere la quarta parete) precede l’avvento dei sistemi di sintesi di video, poiché è emerso in vari sistemi di diffusione di immagini, a causa della prevalenza di foto ‘guarda la telecamera’ nei set di dati web-scraped come LAION.

Il problema dei personaggi ‘ciarlieri’ deriva dall’abbondanza facile di video ‘influencer’ su YouTube, che offrono naturalmente migliaia di ore di discorso diretto alla lente, spesso curati in set di dati in cui i ricercatori possono lavare il web-scrape fornendo un contesto accademico.

Ma a meno che i curatori originali o successivi non prendano cura di limitare il numero di video di questo tipo e di bilanciarli contro altri tipi di footage, si sviluppa un forte bias nel modello di video, che avrà bisogno di essere affrontato attraverso rimedi basati su prompt e sistemi aggiuntivi di terze parti.

Di fronte al problema della ‘ciarlieria’ di Wan, l’utente di Reddit u/Several-Estimate-681 ha trovato un soluzione che sfrutta un’impostazione nel sistema Infinite Talk V2V di Wan 2.1 – un framework progettato per incoraggiare la loquacità da influencer – che consente all’utente di silenziare il personaggio renderizzato:

Fare clic per riprodurre: Solo ascolta – una soluzione per ottenere l’attenzione del personaggio in Wan2.+. Fonte 

È chiaro che scorciatoie di questo tipo non rappresentano soluzioni architettoniche a basso livello e, in assenza di vere soluzioni trovate e implementate dai creatori dei modelli di base (poiché gli appassionati occasionali non hanno generalmente milioni di dollari per ricreare o ottimizzare tale lavoro), ciò significa che il gioco dell’intreccio ‘acchiappa la talpa’ sarà probabilmente azzerato al prossimo rilascio della versione.

Economico e fragile

Non c’è nulla nell’architettura della diffusione che renda questi problemi inevitabili; anzi, se ci fosse un modo per applicare una cura, una triage e un’annotazione di alta qualità efficaci ai set di dati iperscala con punti di dati che contano milioni, quasi tutti questi problemi scomparirebbero.

Tuttavia, quel livello di attenzione ai dettagli sarebbe paragonabile al Progetto Manhattan per quanto riguarda la logistica, la portata, le risorse necessarie e lo sforzo a lungo termine. In un clima in cui una nuova architettura, o anche una nuova versione di architettura, potrebbe annullare l’intera portata di tale sforzo, non c’è attualmente la volontà di fare questo tipo di impegno.

Di conseguenza, per quanto concordante con l’ottenimento di modelli utilizzabili, gli approcci più economici rimangono preferiti. Un esempio di ‘avarizia’ è l’incremento dei dati, che, se applicato in modo illiberale e ai tipi di clip di dataset video sbagliati, può avere risultati divertenti:

Perché l’incremento dei dati spesso inverte la direzione dei video di origine nel set di dati, il modello di intelligenza artificiale può occasionalmente imparare alcuni ‘movimenti impossibili’. – Fonte

Tuttavia, nel complesso, le rocce che rotolano in salita e le persone che rompono il personaggio attivando la ‘modalità influencer’ tendono a essere considerate istanze di danni collaterali in sistemi generativi che, nonostante questi errori e talloni d’Achille persistenti, possono essere indotti a produrre risultati impressionanti e titoli sufficientemente sbalorditivi.

Soluzioni standard

Nel periodo attuale, centinaia di domini di video generativi, quasi tutti i quali in qualche modo violano la nuova serie di leggi e reazioni contro GenAI, stanno godendo del loro tempo al trogolo prima che la legge, i blocchi o altre forme di deplatforming rimuovano questi servizi commerciali.

I siti più grandi e noti di questo tipo, come Kling e Grok, tendono a rispondere alle critiche cambiando i tipi di contenuto che le loro piattaforme facilitano per gli utenti.

Ma dietro questi grandi nomi ci sono centinaia di altre operazioni volatili, che costantemente soddisfano la domanda di nuovi (e spesso più estremi) tipi di contenuto.

Questo tipo di fornitura a basso sforzo preclude l’elevato costo e lo sforzo di addestrare i modelli di base da zero. Anche l’ottimizzazione, che costa molto meno, è spesso preclusa.

Pertanto, questi siti offrono ‘modelli’, che si comportano esattamente come modelli LoRA personalizzati, che sono stati utilizzati da appassionati di intelligenza artificiale per più di quattro anni, per addestrare qualsiasi identità, stile, oggetto e (nel caso di video LoRA) movimento o azione in un modello LoRA dedicato.

Con il modello LoRA interposto tra l’utente e il modello di base, i risultati ottenuti saranno molto specifici per ciò su cui il modello LoRA è stato addestrato e, di solito, le prestazioni più ampie del modello saranno compromesse dall’influenza del modello LoRA, che riprodurrà il proprio soggetto molto bene, ma interporrà anche quel materiale in qualsiasi richiesta (se i siti di video GenAI volatili consentono questo livello di controllo – non lo fanno; offrono solo un [AZIONE DELLA TUA SCELTA] modello e interpretano il tuo input testo/immagini/video nel modo più probabile per risultare in un’applicazione di successo del modello).

Per ragioni ovvie, non posso incorporare esempi di siti web in questo articolo; ma la letteratura di ricerca ha recentemente offerto alcuni esempi analoghi. Ad esempio, il progetto EffectMaker mostra il principio in azione, in cui un’azione specifica viene applicata a un’immagine fornita dall’utente:

Fare clic per riprodurre. In EffectMaker, effetti specifici possono essere applicati all’input personalizzato. Fonte 

Anche in queste circostanze altamente curate e mirate, gli utenti spesso si lamentano che sono necessari molti tentativi per ottenere un buon risultato e non dovremmo forse ascrivere all’avarizia del fornitore o alle pratiche scorrette ciò che è più probabilmente il difetto dei framework di intelligenza artificiale generativa ‘hit-and-miss’ congeniti DiT.

Il pubblico più ampio, potrebbe essere argomentato, ottiene l’impressione delle capacità di GenAI da esempi selezionati a caso che non sono rappresentativi di ciò che un utente occasionale e inesperto potrebbe ottenere. Se un utente brucia sei tentativi per un modello (ad esempio, un modello LoRA fornito dal sito web di intelligenza artificiale), tenderà a pubblicare e a lodare il migliore di questi, trasmettendo l’impressione che si possa ottenere tali risultati interrogando il modello di base – e trasmettendo l’impressione che i modelli di base generativi siano molto più disentangled di quanto non siano in realtà.

Conclusione

La letteratura continua a esaminare il problema dell’intreccio, che è emerso seriamente intorno al 2020, nella collaborazione Max Planck/Google Una visione sobria dell’apprendimento non supervisionato di rappresentazioni disentangle e della loro valutazione.

Inoltre, vari successori di Disentanglement via Contrast (DisCo) emergono periodicamente e la scena rimane vivace con una consapevolezza del problema che supera di gran lunga la consapevolezza pubblica di ciò che l’AI non può fare, in questo senso.

Uno studio cinese del 2024 suggerisce che una risoluzione dell’intreccio potrebbe non essere necessaria per risolvere i problemi che porta. Storicamente, questo suona vero, poiché molti problemi irrisolvibili nella visione computerizzata sono stati superati non risolvendoli, ma superandoli attraverso tecniche e approcci completamente nuovi.

Fino a quando non emergerà un concorrente discreto, sembra che continueremo ad applicare soluzioni rapide e cerotti alle carenze e limitazioni di GenAI e a sopportare la sovrastima pubblica della flessibilità e della duttilità dei modelli di base.

Pubblicato per la prima volta lunedì 23 marzo 2026