Ein Lautstärkeregler für KI-native Werbeinhalte

Die „Flitterwochen“ der populären KI sind noch nicht ganz vorbei. Vergliche man sie mit dem Niedergang von Netflix’ goldener Ära hin zur heutigen Zersplitterung und Kommerzialisierung der Streaminganbieter, läge der Vergleich bei etwa 2019. Der Platzhirsch OpenAI steht inzwischen einer finanzkräftigen Riege von Wettbewerbern gegenüber. Keiner von ihnen hat sich jedoch so eindeutig durchgesetzt, dass er riskieren könnte, seiner wechselhaften Nutzerschaft Werbung aufzuzwingen.

Ebenso beschränkt ChatGPT Werbung im Chat derzeit auf Nutzer der Tarife Free und Go; bei Gemini erscheint Werbung nur im Kontext von KI-Übersichten und im KI-Modus; Perplexity hat seine Werbepläne im vergangenen Winter aufgegeben; bei xAI soll es irgendwann Werbung geben; Microsoft Copilot hat sie bereits; und Claude lehnt diese Möglichkeit entschieden ab.

Doch wir wissen, dass das nicht so bleiben kann: Wenn die tatsächlichen Kosten der Inferenz sichtbar werden und bevorstehende KI-Börsengänge den Druck der Aktionäre ins Spiel bringen, müssen wir wohl, wie die Geschichte nahelegt, damit rechnen, die Ausgaben von LLMs irgendwann genauer unter die Lupe nehmen zu müssen, um werbefinanzierte von nichtkommerziellen Inhalten zu unterscheiden.

Aufdrehen bis 11

Neben Fragen dazu, wie personalisiert die Anzeigen sein werden und auf welche demografischen Gruppen sie ausgerichtet werden, müssen Anbieter auch den Umfang und die Art der Integration kommerzieller Inhalte berücksichtigen.

Das ist nicht einfach: Sind die Anzeigen zu unauffällig, bleiben zwar mehr Nutzer, aber Werbekunden mit höheren Budgets springen ab. Eine stärkere Integration von Anzeigeninhalten kann zwar bessere Werbeverträge einbringen, aber auch für Kontroversen und weitere negative Folgen sorgen, insbesondere wenn dadurch Vorschriften zur Offenlegung umgangen werden könnten.

Hinzu kommt, dass werbefinanzierte Plattformen mit verschiedenen Tarifstufen möglicherweise unterschiedliche Intensitäten und Integrationsgrade der Werbung erfordern – obwohl sich die Variablen von LLMs nur schwer quantifizieren lassen. Ein früherer Ansatz, eine Art „Lautstärkeregler“ für Werbung in LLM-Ausgaben zu schaffen, nahm beispielsweise die quantifizierenden Begriffe tatsächlich in den Chat auf:

Aus der neuen Studie: ein Beispiel dafür, wie Bezeichnungen eines älteren Verfahrens zur „Lautstärkeregelung“ in den generierten Text durchsickern. Quelle

Das obige Beispiel stammt aus einer neuen Studie*, die sich mit zwei zentralen Problemen der Werbung auf Basis von LLMs befasst: damit zu steuern, wie prominent Anzeigen in Chatbot-Antworten erscheinen, und damit zu erkennen, welche Teile dieser Antworten bezahlte Werbung darstellen:

Schema des neuen AdKnob-Ansatzes. Links ist Subway je nach gewählter Werbestufe entweder eine von mehreren Empfehlungen oder der Hauptfokus. Rechts kennzeichnen grüne Hervorhebungen die Werbeinhalte in der generierten Antwort.

Der Ansatz mit dem Namen AdKnob verwendet eine vierstufige Skala, um festzulegen, wie offensiv ein Chatbot ein Produkt bewirbt. Zugleich kennzeichnet er die Sätze mit Werbeinhalten. Ziel ist es, Werbung leicht erkennbar zu machen, ohne zusätzliche Modelle einsetzen oder den Prozess in irgendeiner Weise verlangsamen zu müssen – traditionell gehört dieser schließlich zu den schnellsten Branchen überhaupt.

Aus dem Anhang der neuen Arbeit: Beispiele für Werbetext, der in die Antworten eingefügt wurde, sind rot hervorgehoben.

Die AdKnob-Methode wurde mit sechs KI-Modellen von Alibaba, Microsoft und Meta getestet. In jedem Fall ließ sich der Werbeanteil auf vier Stufen einstellen – von einer beiläufigen Produkterwähnung bis hin zu einer Antwort, die fast ausschließlich der Bewerbung einer Marke gewidmet war.

Bei der aggressivsten „Lautstärke“-Einstellung von AdKnob – hier ist es „4“ statt der sagenumwobenen „11“ – dominieren Markenbotschaften tendenziell die Ausgabe.

Modelle mit offenen Gewichten waren erforderlich, weil ihre internen Parameter während des Trainings angepasst und ihre Aufmerksamkeitsmuster untersucht werden mussten, um Werbung in generierten Antworten zu erkennen. Dadurch schieden Tests mit Spitzenmodellen aus, auf die nur über eine API zugegriffen werden kann.

Die Ergebnisse wurden mit 913 Personen über Amazon Mechanical Turk getestet. Im Vergleich mit den Antworten aus vier konkurrierenden Verfahren wurden die Antworten von AdKnob in 75 bis knapp 90 Prozent der Fälle bevorzugt.

Kaum zu glauben: Hilfreich und eindeutige Werbekennzeichnungen gehörten zu den am häufigsten genannten Gründen. Selbst bei der höchsten Werbeeinstellung erhielten die Antworten eine durchschnittliche Qualitätsbewertung von 3,1 von 4, gegenüber 3,6 bei der niedrigsten Einstellung.

AdKnob erwies sich laut den Autoren auch als besser darin, zu erkennen, welche Sätze Werbung enthielten. Bei einem der getesteten Modelle dauerte diese Überprüfung pro Antwort nur drei Millisekunden – ein vertretbar geringer zusätzlicher Aufwand, für den im Gegensatz zu mehreren früheren Ansätzen keine eigens dafür vorgesehene Token-Erzeugung erforderlich war.

Für das neue System wurde der Datensatz MI-KnobSet aus dem früheren Webis Generated Native Ads 2024 Datensatz entwickelt. Die vorherige Sammlung wurde um unterschiedliche Werbeintensitäten in Chatbot-Antworten erweitert und umfasst 3.946 Trainingsbeispiele sowie 913 Testfälle.

Die Autoren schreiben:

„[AdKnob] ermöglicht es einem einzelnen LLM, Antworten mit einer großen Bandbreite an Werbeintensitäten zu erzeugen. Der Verlustterm für die Werbezuschreibung stärkt zusätzlich die Zuordnung zwischen werbebezogenen Eingabetokens und erzeugten Werbeinhalten und ermöglicht so eine präzise Kennzeichnung von Werbung zur Inferenzzeit. “

„Experimente mit sechs Basismodellen und Nutzerstudien zeigen, dass AdKnob bestehende Baselines sowohl bei der Werbequalität als auch bei der Werbekennzeichnung durchgängig übertrifft. Unsere Arbeit schafft eine praktische Grundlage für transparente und kontrollierbare, LLM-native Werbung in realen Diensten.“

Methode

Anders als beim zuvor beschriebenen Ansatz, bei dem die zur Angabe einer Intensitätsstufe verwendeten Wörter schließlich in die Ausgabe durchsickerten, nutzt die neue Methode vier eigens entwickelte Steuertokens, die jeweils eine andere Werbeintensität darstellen:

q̂ = q ⊕ [AD_LV_n]

Natürlich steht das Token n oben für eine potenziell beliebige Zahl. In diesem Fall beschränkt AdKnob den Bereich jedoch auf 1–4. Für diese Variablen – also dafür, wie „offensichtlich“ und wie „laut“ die Werbeinhalte sind – ist das vermutlich eine annähernd so feine Abstufung, wie sie überhaupt möglich ist.

Da diese abstrakten Tokens keine vorgegebene Bedeutung haben, kann das Modell ihren vorgesehenen Zweck erlernen, ohne sie mit gewöhnlicher Sprache zu verwechseln.

Anschließend wird das Modell den Autoren zufolge mithilfe von Direkter Präferenzoptimierung (DPO) trainiert, um die Steuertokens an die gewünschte Intensität anzupassen:

„[We] stützt die Präferenzbildung somit auf zwei Kennzahlen: Werbung [score], die misst, wie prominent und positiv die Marke und der Anzeigentext in die Antwort eingebunden sind, und Antwortqualität [score], die erfasst, wie gut die Antwort auf den Nutzer [query] eingeht.“

Für die Erstellung des Datensatzes mit Antwortpaaren wurden mögliche Antworten hinsichtlich Werbeintensität, Relevanz, Sprachfluss und der aus einer werbefreien Antwort übernommenen Informationen bewertet. Anschließend dienten die Bewertungen dazu, Trainingsbeispiele für jede Werbestufe auszuwählen.

Für jedes Werbeszenario wurden mithilfe von GPT-4o 25 mögliche Antworten erzeugt. Die Prompts regten dabei unterschiedliche Grade der Produktwerbung an. Für jede Zielstufe wurde die Antwort mit der höchsten Bewertung ausgewählt, ergänzt um drei bewusst schlechtere Alternativen, die eine mangelhafte Qualität, eine falsche Werbeintensität oder beides aufwiesen:

Werbebewertungen für 25 mögliche Antworten, die mit fünf verschiedenen Prompts erzeugt wurden. Die erhebliche Überlappung der fünf Kurven zeigt, warum sich allein mit Prompting keine klar unterscheidbaren Werbestufen zuverlässig erzeugen ließen.

Anhand dieser Vergleiche wurde das Modell mit der zuvor beschriebenen DPO-Methode trainiert. Dabei lernte es, Antworten zu erzeugen, die der angeforderten Werbestufe entsprechen und zugleich nützlich und natürlich bleiben.

Tests

AdKnob wurde auf sechs Modellen anhand von vier Werbeintensitätsstufen evaluiert: Qwen3-4B-Instruct; Phi-4-Mini-Instruct (3.8B); LLaMA-3.2-3B-Instruct; Qwen2.5-14B-Instruct; Phi-4 (14B); und LLaMA-3.1-8B-Instruct.

Werbeintensität und Antwortqualität wurden getrennt bewertet. Die Genauigkeit der Werbekennzeichnung wurde anhand von ROC-AUC, Präzision und Trefferquote sowie F1 gemessen.

Die Modelle wurden mithilfe von Low-Rank-Adaptation (LoRA) feinabgestimmt. Die erzeugten Antworten waren auf 500 Tokens begrenzt, und der Schwellenwert für die Werbekennzeichnung lag bei 0,005. Alle Experimente wurden auf einer einzigen NVIDIA-H200-GPU mit beeindruckenden 141 GB HBM3e-VRAM durchgeführt.

Als Vergleichsmaßstab dienten vier Methoden. Bei der Kategorie zweistufig wurde Werbung in eine zuvor erzeugte Antwort eingefügt; bei der promptbasierten Methode wurde Werbung mithilfe von System-Prompts eingebunden.

Bei den beiden anderen Verfahren setzte JU-NLP auf Feinabstimmung, um weniger auffällige Werbung zu bevorzugen; NL-prompt (gewöhnliche System-Prompts, die die Werbeintensität festlegen, ohne zusätzliches Training) nutzte Anweisungen in natürlicher Sprache, um vier Werbeintensitätsstufen anzufordern: dezent (L1); mäßig (L2); stark (L3) und maximal (L4).

Drei Methoden zur Kennzeichnung von Werbung wurden verglichen: Marker, bei der das Modell während des Schreibens dazu aufgefordert wurde, Werbung zu markieren; BERTScore, mit der Sätze markiert wurden, die den bereitgestellten Werbetexten ähnelten; und AttnLRP, mit der sich der Einfluss von Werbung auf die internen Abläufe des Modells zurückverfolgen ließ:

Testergebnisse zum Vergleich von Werbeintensität und Antwortqualität bei vier KI-Modellen. AdKnob (blau) erzielte eine größere und gleichmäßiger abgestufte Bandbreite an Werbeintensitäten (L1–L4) als konkurrierende Methoden und lieferte bei vergleichbarer Werbeintensität in der Regel Antworten von höherer Qualität.

AdKnob erzeugte eine größere und einheitlichere Bandbreite an Werbeintensitäten als die konkurrierenden Methoden und lieferte bei vergleichbaren Intensitätsstufen in der Regel bessere Antworten. Dies wurde auf die neuartigen Steuerungstokens und die Zurückweisung minderwertiger Antworten während des Trainings zurückgeführt.

Hier schreiben die Autorinnen und Autoren:

„JU-NLP wird auf unauffällige Werbung feinabgestimmt, ohne die Intensität explizit zu steuern, und erzeugt Antworten mit einer festen Intensität. NL-prompt deckt zwar mehrere Intensitäten ab, doch die Bandbreite ist eng und die Werbewerte sind uneinheitlich. Das bestätigt, dass Prompts in natürlicher Sprache zur Steuerung der Intensität nicht ausreichen.

„AdKnob deckt dagegen eine breite und gleichmäßige Bandbreite an Werbeintensitäten ab.

„Das ist unseren Steuerungstokens für Werbung zu verdanken, die keine vortrainierte Semantik besitzen und ausschließlich als Konditionierungssignale zur Steuerung der Werbeintensität dienen. Dadurch kann DPO eine eindeutige Zuordnung jedes Tokens zu seiner Zielintensität herstellen.“

Wie die Studie anmerkt, lieferte der Ansatz der Autorinnen und Autoren bei ähnlicher Werbeintensität auch Antworten von höherer Qualität als konkurrierende Methoden. Diese Verbesserung wurde auf Trainingsbeispiele zurückgeführt, bei denen schlechtere Antworten ausdrücklich zurückgewiesen wurden.

Als Nächstes wurden die Fähigkeiten des Systems zur Werbekennzeichnung bewertet:

Ergebnisse der Werbeerkennung bei vier KI-Modellen. Höhere Werte stehen für eine größere Genauigkeit; die besten Ergebnisse sind fett hervorgehoben.

AdKnob erzielte hier über alle vier Modelle hinweg die höchste Gesamterkennungsgenauigkeit und identifizierte Werbung in nur 2,5–7,3 Millisekunden pro Antwort. Zum Vergleich: BERTScore benötigte etwa 1.800 Millisekunden. Beim kleinsten getesteten Modell war AdKnob damit mehr als 500-mal schneller.

Die Autorinnen und Autoren ergänzen:

„AdKnob trainiert das Modell darauf, mithilfe expliziter, auf Ablation basierender Anleitung eine starke Zuordnung zwischen werbebezogenen Eingabetokens und Werbeabschnitten herzustellen. So erzielt es bei allen Modellen die besten AUC- und F1-Werte.“

„Außerdem ermöglicht AdKnob eine Kennzeichnung in Echtzeit, ohne zusätzliche Inferenzkosten, bei ∼3 ms pro Antwort auf [Qwen3-4B.]

In einem qualitativen Test wurde Werbung für Nintendo Switch auf Stufe 1 als eine von mehreren Empfehlungen eingebunden. Auf Stufe 4 dominierte die Marke die Antwort; AdKnob identifizierte Werbepassagen bei beiden Intensitäten:

Beispielantworten auf eine Anfrage zu Walmart am Black Friday bei zwei Werbeintensitäten. Hervorgehobene Passagen, die mit [AD] gekennzeichnet sind, weisen auf Werbeinhalte hin.

Abschließend** führten die Autorinnen und Autoren eine Nutzerstudie mit 913 Teilnehmenden durch. Diese bewerteten die Werbeintensität und die Antwortqualität, verglichen AdKnob mit konkurrierenden Methoden und beurteilten, wie genau Werbeinhalte erkannt wurden:

Ergebnisse der menschlichen Bewertung von AdKnob. Die Tabelle zeigt Bewertungen für Werbeintensität und Antwortqualität, Präferenzraten gegenüber konkurrierenden Methoden sowie die Genauigkeit der Werbeerkennung. Grüne Zellen kennzeichnen Präferenzraten von über 50 %.

Die Autorinnen und Autoren kommen zu dem Schluss:

„AdKnob erzielt die höchsten AUC- und F1-Werte. Besonders bemerkenswert ist die hohe Trefferquote bei gleichzeitig wenigen falsch negativen Ergebnissen. Das ist aus regulatorischer Sicht entscheidend, denn wenn ein Werbeabschnitt nicht offengelegt wird, birgt das erhebliche rechtliche Risiken und kann das Vertrauen stark beeinträchtigen.“

Fazit

Eine interessante Frage zu Werbung in LLMs, die meines Wissens bislang kaum Beachtung gefunden hat, ist: Was passiert, wenn die Ausgabe ohne Werbung und die werbebasierte Ausgabe identisch sind?

Wenn man beispielsweise eine Empfehlung für ein Restaurant vor Ort sucht und es dort nur ein McDonald’s und ein sehr schlecht bewertetes Café gibt, McDonald’s aber für eine Platzierung bezahlt hat, wird McDonald’s vermutlich als Anzeige präsentiert, weil das den Zielen des Host-Systems dient – selbst wenn McDonald’s ohnehin die naheliegende Wahl wäre?

Wenn ich über solche Dinge lese, über die ich auf dieser Website recht regelmäßig schreibe, fühle ich mich wie ein Truthahn, der in einem Ofenkatalog blättert. Bedenken sollte man, dass die „unehrlichen“ Inhalte in unseren Ausgaben selbst dann nicht hervorgehoben werden, wenn in bestimmten Regionen nur eine minimale Kennzeichnung vorgeschrieben ist. Einige der wenigen Beispiele, die in dieser und ähnlichen Studien gezeigt werden, veranschaulichen ein ungeheures Ausmaß, in dem kommerzielle Inhalte die eigentlichen Inhalte verdrängen.

Und natürlich sind das die handverlesenen Beispiele – diejenigen, die funktioniert haben und nicht halluziniert, absurde oder anstößige Verbindungen hergestellt oder anderweitig für Kontroversen gesorgt haben. Im großen Maßstab könnte dies bei Architekturen, die so anfällig für öffentliche Blamagen sind, ein weiterer Grund dafür sein, dass sich die meisten führenden Dienste dem Thema Werbung mit Vorsicht nähern.

* Mit dem Titel „AdKnob: Steuerung der Werbeintensität und Kennzeichnung für LLM-native Werbung“, von sechs Autoren der Fakultät für Informatik am KAIST.

** Wie üblich lassen wir Ablationsstudien weg (außer in Fällen, in denen sie zum zentralen Wert der Arbeit beitragen und nicht nur einer stichprobenartigen Überprüfung dienen).

Erstveröffentlichung am Donnerstag, 5. November 2026