Warum Konzeptverflechtung bedeutet, dass Sie AI-Video nicht “nach Ihrem Geschmack” haben können

AI-Video-Tools versprechen totale Kontrolle, aber die versteckte “Konzeptverflechtung” klebt Identitäten, Ausdrucksformen und Verhaltensweisen zusammen, was zu Hacks und Template-Tricks führt, die den Mythos von der mühelosen GenAI-Magie zerstören.

Meinung Seit ich mich das letzte Mal ausführlich mit dem Thema beschäftigt habe vor fünf Jahren, hat sich das Problem der Konzeptverflechtung in trainierten AI-Systemen auf eine viel breitere Nutzergruppe ausgedehnt, ohne dass es wirklich besser verstanden wird.

Damals waren Autoencoder-Deepfake-Systeme (d. h. die inzwischen nicht mehr existierenden DeepFaceLab und das weniger pornografische FaceSwap, beides abgeleitet von der 2017 veröffentlichten und sofort verbotenen Reddit-Code-Veröffentlichung) die einzigen Anbieter für die Erstellung relativ photorealistischer Deepfakes von Personen.

Diese Systeme basierten auf umfangreichen Gesichts-Trainingsdatensätzen, die dem AI-Modell Informationen über A) wie die Person in Ruhe aussah (eine kanonische Referenz-Einbettung) und B) wie sie unter den verschiedenen Situationen aussah, die ein Gesicht widerspiegeln kann, von Schlaf bis hin zu Lachen, Entsetzen, Langeweile, Zynismus, Trübsinn usw.

Identität kommt nicht allein, sondern zusammen mit Gesichtsausdrücken. Außerdem können bestimmte Emotionen nur von bestimmten, extremen Winkeln aus verfügbar sein, was dazu führt, dass der Winkel mit der Emotion assoziiert wird und umgekehrt.

Das Problem war, dass die kanonische Identität normalerweise aus Gesichtsaufnahmen abgeleitet werden musste, die nicht neutral waren, so dass die Verteilung durch die Überzahl von Lächeln und Grinsen in den gescrapten Datensätzen verschoben wurde, was zu einer “Lächeln-Standard”-Verteilung führte. Dies lag daran, dass die meisten Web-gescrapten Trainingsdaten, die diese Modelle informierten, eine hohe Anzahl von roten Teppich-Paparazzi-Fotos enthielten, sowie an anderen Gründen, warum ein Datensatz zu einer bestimmten Art von Bild tendieren könnte.

Mit anderen Worten, das Autoencoder-System musste versuchen, eine “neutrale” Identitätskonzeption aus Tausenden von Bildern zu extrahieren, bei denen die Gesichtszüge durch normale Gesichtsausdrücke verformt waren.

Es musste auch versuchen, semantische Gesichtskonzepte verschiedener Emotionen von den Winkeln, in denen die Gesichter aufgenommen wurden, zu entflechten. Dies bedeutete, dass, wenn die einzigen “entsetzten” Gesichtsausdrücke, die verfügbar waren, aus einer Profilsicht aufgenommen wurden, das trainierte System nur in der Lage sein würde, diese Emotion optimal aus dieser Sicht zu reproduzieren.

Nach vorne schauen

Als diffusionsbasierte Ansätze die gen-AI-Bild- (und später Video-) Szene ab 2022 von den Autoencoder-Systemen übernahmen, wurden generative Systeme viel besser darin, genaue Gesichtsausdrücke zu extrapolieren, wenn sie mit begrenzten Gesichtsdaten versorgt wurden.

Even die sehr schwierige Herausforderung der Erstellung überzeugender Profilsichten wurde nahezu überwunden, und Ausdrucksdaten wurden effektiv von der Identität abgekoppelt – in dem Maße, dass die Art von Live-Deepfake-Puppenkommunikation, die von dem autoencoder-getriebenen DeepFaceLive-Streaming-System entwickelt wurde, viele effektive Offline-Diffusionsanwendungen hat, mit Echtzeit-Darstellung als wahrscheinliche zukünftige Entwicklung:

Bitte klicken Sie, um abzuspielen. Aus dem ‘FlashPortrait’-Projekt, diverse Beispiele für das Steuern von Avataren durch Quellvideos. In diesem Fall ist es nicht wichtig, auf welcher Seite das “realistische” Gebiet sitzt, wenn überhaupt. Quelle 

Doch, während die Leinwand der GenAI breiter wurde und die Ausgabe sophistizierter wurde, hat sich das Problem der Verflechtung einfach auf viele andere Bereiche ausgedehnt – und wird derzeit durch einige ziemlich billige und alte Tricks “gelöst”. Wenn Sie nicht wissen, was diese Tricks sind, könnten Sie eine positivere Meinung darüber haben, wie schnell AI-Video und -Bild evolviert und seine alten Probleme überwindet.

Plaudernde Katzen

Es sollte hoffentlich klar sein, warum Identität und Emotion für die alten Autoencoder-Systeme von 2017 schwer zu trennen waren. Es lag daran, dass a) Es zu viel Daten einer Art gab, oder zu spezifische Versionen wichtiger Daten, was eine Verteilungsverzerrung verursachen würde; und/oder B) die Modellarchitektur nicht in der Lage war, diese Eigenschaften zu trennen, und tendenziell dazu neigte, sie bei der Inferenzzeit “zusammenzukleben”, es sei denn, der Benutzer nahm außergewöhnliche Maßnahmen, um die Balance in seinem Datensatz zu gewährleisten.

Genau aus dem gleichen Grund sind ähnliche Probleme in einer Reihe von Open-Source- und proprietären Video-Modellen in den letzten Jahren aufgetreten, obwohl sie von stärkerer Kritik an Halluzinationen, Mangel an Zensur und diversen anderen Themen überlagert wurden.

Beispielsweise fanden viele Benutzer im Wan2.+-System heraus, dass es sehr schwierig war, ihre generierten Charaktere davon abzuhalten, ununterbrochen zu sprechen, und oft auch schwierig, sie davon abzuhalten, in die Kamera zu schauen.

Das letztere Problem (in die Kamera schauen oder die vierte Wand durchbrechen) existierte bereits vor der Einführung von Video-Synthese-Systemen, da es in verschiedenen Bild-Only-Diffusions-Systemen auftrat, aufgrund der Verbreitung von “in die Kamera schauen”-Fotos in web-gescrapten Datensätzen wie LAION.

Das Problem um “plaudernde” Charaktere entsteht durch die leichte Verfügbarkeit von “Influencer”-Videos auf YouTube, die natürlicherweise Tausende von Stunden von direkter Ansprache bieten, oft kuratiert in Datensätze, in denen Forschungswissenschaftler waschen können, indem sie einen akademischen Kontext bereitstellen.

Aber es sei denn, die ursprünglichen oder nachfolgenden Kuratoren nehmen sich die Mühe, die Anzahl solcher Videos zu begrenzen und sie gegen andere Arten von Footage auszugleichen, entwickelt sich eine starke Voreingenommenheit im Video-Modell, die durch promptbasierte Abhilfen und diverse Drittanbieter-Systeme angegangen werden muss.

Als Wan mit dem Problem der “Plauderhaftigkeit” konfrontiert war, fand der Reddit-Benutzer u/Several-Estimate-681 eine Abhilfe, die eine Einstellung im Wan 2.1 Infinite Talk V2V-System nutzt – ein Framework, das darauf ausgelegt ist, influencer-ähnliche Plauderhaftigkeit zu ermutigen –, das es dem Benutzer ermöglicht, den gerenderten Charakter zu verstummen:

Bitte klicken Sie, um abzuspielen: Nur hören – eine Abhilfe, um Charakter-Aufmerksamkeit in Wan2.+ zu erreichen. Quelle 

Es ist offensichtlich, dass Abhilfen dieser Art keine tiefgreifenden architektonischen Lösungen darstellen und, da es sich bei den Kreatoren von Grundmodellen nicht um gelegentliche Hobbyisten handelt, die nicht Millionen von Dollar haben, um solche Arbeiten zu rekonstruieren oder fein abzustimmen, dies bedeutet, dass das Spiel der Verflechtung “Whack-a-Mole” wahrscheinlich bei der nächsten Version auf Null zurückgesetzt wird.

Billig und zerbrechlich

Es gibt nichts in der Diffusionsarchitektur selbst, was diese Probleme unvermeidlich macht; tatsächlich, wenn es eine Möglichkeit gäbe, wirklich effektive Kuratierung, Triagering und hochwertige Beschriftung und Anmerkung auf Hyperscale-Datensätze mit Millionen von Datenpunkten anzuwenden, würden fast alle dieser Probleme wahrscheinlich verschwinden.

Es würde jedoch ein Level an Aufmerksamkeit für Details erfordern, das dem Manhattan-Projekt in Bezug auf Logistik, Umfang, benötigte Ressourcen und langfristigen Aufwand ähnlich wäre. In einer Atmosphäre, in der eine neue Architektur oder sogar eine neue Architektur-Version den gesamten Umfang eines solchen Bemühens zunichtemachen könnte, gibt es derzeit keinen Willen, sich zu einem solchen Engagement zu bekennen.

Folglich bleiben, soweit es mit der Erlangung von verwendbaren Modellen vereinbar ist, die billigsten Ansätze bevorzugt. Ein Beispiel für “Geiz” ist Data-Augmentation, das, wenn es liberal und auf die falschen Arten von Datensatz-Videoclips angewendet wird, lachhafte Ergebnisse haben kann:

Da Data-Augmentation oft die Richtung von Quellvideos im Datensatz umkehrt, kann das AI-Modell gelegentlich “unmögliche” Bewegungen lernen. – Quelle

Jedoch neigen Felsen, die bergauf rollen, und Menschen, die die Charaktere durchbrechen, indem sie den “Influencer-Modus” aktivieren, tendenziell dazu, als Kollateralschäden in generativen Systemen betrachtet zu werden, die trotz solcher anhaltenden Macken und Achillesfersen beeinflusst werden können, um beeindruckende Ergebnisse und ausreichend beeindruckende Schlagzeilen zu produzieren.

Boilerplate-Lösungen

In der aktuellen Periode genießen hunderte generativer Video-Domains, fast alle davon verstoßen in irgendeiner Weise gegen die neue Flut von Gesetzen und Gegenreaktionen gegen GenAI, ihre Zeit an der Tröge, bevor Strafverfolgung, Blocklisten oder andere Arten von Deplatforming diese kommerziellen Dienste entfernen.

Die größeren und bekannteren Sites dieser Art, wie Kling und Grok, neigen dazu, entweder einer Form von Selbstzensur zu folgen (schließlich) oder auf Kritik zu reagieren, indem sie die Arten von Inhalten ändern, die ihre Plattformen für Benutzer bereitstellen.

Aber hinter diesen großen Namen stehen hunderte anderer flüchtiger Operationen, die ständig der Nachfrage nach neuen (und oft extremen) Arten von Inhalten nachkommen.

Bei dieser Art von geringem Aufwand ist der extrem hohe Kosten- und Aufwand für das Training von Grundmodellen von vorneherein ausgeschlossen. Selbst Feinabstimmung, die erheblich weniger kostet, ist oft ausgeschlossen.

Daher bieten diese Sites “Vorlagen” an, die in der Praxis 100% identisch mit benutzerdefinierten LoRAs sind, die von AI-Hobbyisten seit über vier Jahren verwendet werden, um jede gewünschte Identität, Stil, Objekt und (im Falle von Video-LoRAs) Bewegung oder Aktion in ein dediziertes LoRA-Add-On zu trainieren.

Mit dem LoRA zwischen dem Benutzer und dem Grundmodell werden die Ergebnisse, die erhalten werden, sehr spezifisch für das sein, worauf das LoRA trainiert wurde, und normalerweise wird die breitere Leistung des Modells durch den gewichtsbiegenden Einfluss des LoRA untergraben, der sein eigenes Thema sehr gut reproduzieren wird, aber auch dieses Material in jede Anfrage whatsoever einfügen wird (wenn die flüchtigen GenAI-Video-Sites diese Ebene der Kontrolle zulassen – sie tun es nicht; sie bieten nur eine [AKTION IHRER WAHL] -Vorlage an und interpretieren Ihre Eingabetexte/Bilder/Videos auf die Weise, die am wahrscheinlichsten zu einer erfolgreichen Anwendung der Vorlage führt).

Um offensichtliche Gründe kann ich keine Website-Beispiele in diesem Artikel einbetten; aber die Forschungsliteratur hat kürzlich einige analoge Beispiele angeboten. Hier zeigt beispielsweise das EffectMaker-Projekt das Prinzip in Aktion, wobei eine spezifische Aktion auf ein benutzergesteuertes Bild angewendet wird:

Bitte klicken Sie, um abzuspielen. In EffectMaker können fein abgestimmte spezifische Effekte auf benutzerdefinierte Eingaben angewendet werden. Quelle 

Even in diesen hochkuratierten und gezielten Umständen klagen Benutzer oft, dass mehrere, token-brennende Versuche erforderlich sind, um ein gutes Ergebnis zu erzielen, und wir sollten nicht unbedingt dem Anbieter Geiz oder unfaire Praktiken zuschreiben, was eher das Verschulden der kongenital “treffer-und-verfehler”-DiT-GenAI-Frameworks ist.

Die breite Öffentlichkeit könnte argumentieren, dass sie ihre Meinung über die Fähigkeiten von GenAI aus ausgewählten Beispielen ableitet, die nicht repräsentativ für das sind, was ein gelegentlicher, unerfahrener Benutzer wahrscheinlich erhalten würde. Wenn ein Benutzer sechs Versuche mit einer Vorlage (d. h. einem LoRA, das von der AI-Website bereitgestellt wird) durchführt, wird er tendenziell das beste davon veröffentlichen und loben, was den Eindruck vermittelt, dass man solche Ergebnisse durch Abfragen des Basis-Modells erhalten könnte – und den Eindruck, dass generative Grundmodelle viel disentangliert sind, als sie es tatsächlich sind.

Schlussfolgerung

Die Literatur untersucht das Problem der Verflechtung weiter, das erstmals um 2020 in der Max-Planck/Google-Zusammenarbeit A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation sichtbar wurde.

Zusätzlich tauchen verschiedene Nachfolger von Disentanglement via Contrast (DisCo) regelmäßig auf, und die Szene bleibt lebendig mit einem Bewusstsein für das Problem, das die öffentliche Wahrnehmung dessen, was AI nicht kann, übertrifft.

Ein chinesischer Studie aus 2024 legt nahe, dass eine Lösung für die Verflechtung nicht unbedingt erforderlich ist, um die Probleme zu lösen, die sie mit sich bringt. Historisch gesehen stimmt dies, da viele unlösbare Probleme in der Computer-Vision nicht gelöst, sondern durch völlig neue Techniken und Ansätze überwunden wurden.

Bis ein solcher diskreter Konkurrent auftritt, scheint es, dass wir weiterhin Pflaster und Flickschläge auf die Mängel und Einschränkungen von GenAI anwenden und die öffentliche Überschätzung der Flexibilität und Duktilität von Grundmodellen ertragen müssen.

Erstveröffentlichung am Montag, den 23. März 2026