Die Stimme ist derzeit die schlechteste Methode, um mit KI zu kommunizieren

Neue Forschung legt nahe, dass die in der Science-Fiction am häufigsten dargestellte Methode der Schnittstelle mit KI möglicherweise schlechtere Ergebnisse produziert als sogar schlecht getippte Prompts.

Von HAL bis Deep Thought, von C3P0 bis Wall-E, hat die idealisierte Form der menschlichen KI-Beziehungen immer um die Stimmkontrolle gekreist; und dies hat sich in der realen Welt manifestiert, von frühen Assistenzsystemen wie Siri und Alexa bis hin zu sprachbasierten Abfragen und Konversationen mit der aktuellen Reihe von LLMs.

Diese Idee entstand während weniger emanzipierter Epochen, in denen – mit Ausnahme von Autoren und Journalisten – die bloße Tatsache des Tippens als “halbqualifizierte Arbeit” angesehen wurde und fast ausschließlich von Frauen durchgeführt wurde – und die Frauen selbst selten den Inhalt erstellten, den sie tippten.

Macht und Handlungsfähigkeit wurden stattdessen durch Diskurs signifiziert: Meetings und Gipfel. Es schien offensichtlich, dass mit komplexer Sprache Intelligenz bedeutet, die gesprochene Wort würde unweigerlich zu KIs natürlicher Medium werden.

Abgesehen von anderen Überlegungen waren textbasierte Austausche nicht gut an TV und Filme angepasst; selbst mutige SF-Thriller wie Colossus: The Forbin Project (1970), die einen Computer darstellten, der auf menschliche Vokalbefehle in schriftlicher Form reagiert, wechselten schnell zu vollständig vokalisierten Antworten:

Eine Szene aus ‘Colossus: The Forbin Project’ (1970), die einen riesigen Supercomputer zeigt, der schnell die Grenzen der textbasierten Sprache überschreitet und nach der Aktivierung vokal und despotisch wird. Quelle: Universal Pictures

Tippen oder Sprechen?

Trotz der Tatsache, dass die weltweit führenden KI-Modelle native Audio-Schnittstellen für Benutzer anbieten, kam eine neue Studie aus den USA zu dem Schluss, dass das Sprechen mit einer KI wahrscheinlich die wenigste effektive Methode ist, um die gewünschten Ergebnisse zu erzielen – insbesondere wenn Sie bedeutende Ausgaben wie Code in Reaktion auf Ihre Anfrage erwarten.

Laut der Studie produziert das Sprechen zu einer KI wie ChatGPT oder Gemini derzeit schlechtere Ergebnisse als das Tippen eines Prompts oder einer Anfrage, sogar wenn das getippte Prompt gewöhnliche Fehler enthält.

Dies liegt daran, dass gesprochene Eingaben eher durch Transkriptionssysteme umstrukturiert werden, um Informationen zu entfernen, die das Modell benötigt. Dies geschieht, weil die Transkription aus Audio disfluencies wie “äh” und “wie” sowie die Neuanfänge (d. h. “erneutes Starten”) und die Navigation von Unklarheiten in der Grammatik und “lockeren” Konstruktionen (d. h. Sätze, die in neue Sätze übergehen, ohne abgeschlossen zu werden) entfernen muss.

Die Autoren erklären:

‘Das Sprechen ist jetzt ein erster Weg zu einem Sprachmodell und nicht mehr ein Nischenweg. Codierungsagenten wie Claude Code und Codex akzeptieren diktierte Anweisungen. Telefonassistenten wie Google Assistant und Siri leiten eine gesprochene Anfrage an ein LLM-Backend weiter. Diktiereingabefrontends wie Typeless fügen eine weitere LLM-gesteuerte Ebene hinzu, die den gesprochenen Antrag des Benutzers reinigt und neu formatiert, bevor er gesendet wird.

‘In jedem Fall erhält das Modell eine Transkription, und in jedem Fall muss der Sprecher den tatsächlich gesendeten String möglicherweise nicht überprüfen. Was auch immer die Transkriptionspipeline zurücklässt oder umschreibt, ist das, was das Modell beantworten muss.’

Dies widerlegt jede Vorstellung, dass getippte Eingaben überlegen sind, weil sie “natürlich” sind; sie sind nicht natürlich in irgendeinem Sinne, da sie immer entweder heimlich oder offensichtlich in irgendeiner Weise umgestaltet werden, bevor sie an die KI übertragen werden, und b) textbasierte Sprache nur ein Bestandteil des latenten Raums ist, der eine Antwort zurückgibt.

Die Experimente der Studie ergaben, dass gewöhnliche Tippfehler nur einen geringen Einfluss auf die Leistung hatten, während konversationelles Sprechen, aufgeräumte Transkripte und insbesondere KI-komprimierte Transkripte konsistent größere Rückgänge in der Genauigkeit bei Aufgaben wie Argumentation und Code-Generierung verursachten.

Die neue Arbeit trägt den Titel Should We Type or Talk to LLM Agents? A Comprehensive Study of Voice and Keyboard Input Perturbations und stammt von vier Autoren der Santa Monica College und der University of Southern California.

(Hinweis: Diese spezielle Studie verwebt “Methode” und “Tests/Ergebnisse” auf eine Weise, die sich nicht leicht in meine übliche Reihenfolge der Analyse aufteilen lässt. Daher bin ich gezwungen, mit einer schwereren Hand zu komprimieren und auszuwählen, als ich es normalerweise tue.)

Methode

Ein “Perturbations-Set” namens Human Input Variation Engine (HIVE) wurde von den Autoren entwickelt, um die Arten von Fehlern zu simulieren, die entstehen, wenn Menschen entweder Prompts auf einer QWERTY-Tastatur tippen oder sie durch ein Sprach-Transkriptionssystem sprechen:

Konzeptuelles Schema für die Human Input Variation Engine (HIVE). Ein Benutzers Prompt erreicht ein Sprachmodell über Sprache, eine QWERTY-Tastatur oder direktes Kopieren und Einfügen, wobei letzteres als “saubere” Referenz dient. Die Farbe identifiziert den Eingabekanal und nicht die Implementierungsmethode, wobei die Sprachoperatoren eine Kombination aus few-shot-LLM-Style-Transfer und deterministischen Regeln verwenden, während die Tastaturoperatoren sich vollständig auf deterministische Regeln verlassen. Das rechte Panel zeigt den Bereich der Antworten, die ein Modell unter degradiertem Eingabematerial produzieren kann. Quelle

HIVE modelliert drei Wege, auf denen Prompts ein Sprachmodell erreichen: über Sprache; eine QWERTY-Tastatur; oder direktes Kopieren und Einfügen – wobei letzteres als unveränderte Referenz gegenüber allen anderen Eingaben dient. Zwei zusätzliche Operatoren fungieren als experimentelle Kontrollen, indem sie die Frage und ihren Kontext neu anordnen oder die Auswahlmöglichkeiten für Multiple-Choice-Tests permutieren.

Die Perturbations-Operatoren selbst werden durch deterministische Regeln oder few-shot-LLM-Style-Transfer unter Verwendung von Qwen2.5-7B implementiert. Dies ermöglichte es, beide Eingabemethoden unter kontrollierten und direkt vergleichbaren Bedingungen zu bewerten.

Testbedingungen und Ergebnisse

Experimente wurden mit Llama-3.1-8B; Qwen2.5-7B; Qwen3-8B; Mistral-7B-v0.3; und Phi-4 durchgeführt, wobei fünf Samen verwendet wurden. Die sechs Benchmarks, die verwendet wurden, waren GSM8K; GSM-Symbolic; GSM1k; HumanEval; MMLU-Pro STEM; und TruthfulQA MC1.

Der Testdatensatz bestand aus 200 Elementen pro Benchmark, wobei 164 Elemente für den vollständigen HumanEval-Set verwendet wurden. Greedy-Decoding (Auswahl des wahrscheinlichsten nächsten Tokens) wurde verwendet, sodass jeder gestörte Prompt mit seinem eigenen sauberen Gegenstück im gleichen Modelllauf verglichen werden konnte, was 550.000 bewertete Antworten über 17 Prompt-Änderungen und zwei Kontrolltests (Vergleichstests, die verwendet werden, um spezifische Effekte zu isolieren) produzierte.

Maßnahmen wurden ergriffen, um sicherzustellen, dass Testdaten-Kontamination (Überlappung mit Daten, die das Modell während der Ausbildung gesehen haben könnte) nicht auftrat:

Das vollständige Perturbations-Set, das in der Studie verwendet wurde, zeigt, wie sich die Genauigkeit gegenüber sauberen Prompts über Sprachtranskriptions-Änderungen, QWERTY-Tastaturfehler und Kontrolltests ändert. Die erste Zeile gibt die saubere Basisgenauigkeit an, während spätere Zeilen prozentuale Änderungen anzeigen. Rot markiert den schädlichsten Operator in jedem Block und Spalte, Blau den am wenigsten schädlichen.

Das deutlichste Ergebnis der Studie ist, dass die Spracheingabe schädlicher war als die Tastatureingabe bei den Haupttestbedingungen, wobei sprachbasierte Änderungen die Modellgenauigkeit um etwa dreimal so viel verringerten wie Tippfehler. Die schlechtesten Ergebnisse traten auf, wenn gesprochene Anfragen automatisch umgeschrieben wurden, um sauberer und präziser zu klingen, da diese Reinigung oft die Struktur der Anfrage änderte, die das Modell erhielt.

Dies ist wichtig, weil die schlechteren Ergebnisse für die Sprache nicht hauptsächlich durch offensichtliche Sprach-“Abfall” verursacht wurden: Obwohl Füllwörter wie “äh” und “wie” wichtig waren (da das Hinzufügen von Füllwörtern zu sauberen schriftlichen Prompts die Genauigkeit verringerte), führte das Entfernen von Füllwörtern aus gesprochenen Transkripten nicht dazu, die Leistung wiederherzustellen.

Selbsterhaltung

Daher war das größere Problem die Art und Weise, wie gesprochene Prompts vor dem Erreichen des Modells umstrukturiert wurden.

Eine zentrale Frage für die Studie war, ob das Modell immer noch genug vom ursprünglichen Prompt erhielt, um die Absicht des Benutzers zu rekonstruieren; Tippfehler beschädigen oft die “Oberfläche” eines Wortes, ohne es vollständig zu entfernen, so dass der umgebende Kontext dem Modell helfen kann, zu verstehen, was gemeint war.

Im Gegensatz dazu kann eine “gereinigte” Sprachtranskription die ursprüngliche Formulierung des Benutzers durch eine kürzere und glattere Version ersetzen, die die gleichen Beziehungen zwischen Fakten nicht mehr bewahrt.

Dies ist der Grund, warum Tastaturfehler oft weniger schädlich waren: Die Forscher fanden heraus, dass vertauschte Buchstaben, duplizierte Buchstaben, fehlende Leerzeichen und Fehler in benachbarten Tasten normalerweise viel von der ursprünglichen Formulierung übrig ließen, während die Reinigung von Sprache häufiger Informationen entfernte oder umstrukturierte, bevor das Modell sie interpretieren konnte.

Verloren in der Übersetzung

Ein Beispiel dafür, wie ein Bezugspunkt durch Störung auf diesen Reisen vom Benutzer zum LLM “verloren” gehen kann, wurde in der Studie vorgestellt und zeigt, dass der Satz ‘sie gab eine gleiche Menge [Bücher] ihren Kindern’ als Bedeutung “Geld” (anstatt “Bücher”) interpretiert wurde. In diesem Fall wurde der Begriff “Menge” von seinem Bezugspunkt abgekoppelt und fälschlicherweise auf seine häufigste Assoziation (Geld) angewendet:

Wie viel von der ursprünglichen Frage überlebt jede Eingabeänderung. Große Punkte zeigen einzelne Störungstypen, während kleine Punkte stärkere Versionen der gleichen Tastaturfehler anzeigen.

Dieser Effekt war am stärksten, wenn das Modell eine Antwort aufbauen musste, anstatt aus bereits bereitgestellten Optionen auszuwählen: arithmetische und Code-Generierungsaufgaben litten mehr, da sie von der Erhaltung der genauen Beziehungen in der Anfrage abhängig waren, während Multiple-Choice-Tests weniger anfällig für diese Art von Schaden waren.

Die Autoren schlussfolgern:

‘Wir finden heraus, dass das Sprechen der teure Kanal ist, dass das, was Schaden verursacht, darin besteht, wie viel von der ursprünglichen Tokenisierung der Frage es zerstört, und dass weder Testdaten-Kontamination noch leichte Anpassung den Schaden verursacht oder repariert.

‘Mehrere Erkenntnisse folgen. Wenn Sie tippen, absorbiert ein Argumentationsmodell Ihre Fehler. Wenn Sie diktieren, tut es das nicht, also ist die Formulierung, die Sie sprechen, die Formulierung, mit der das Modell arbeitet.

‘Und wenn Sie Diktiereingabefrontends erstellen, sollten Sie das, was der Benutzer sagt, nicht umformatieren oder umstrukturieren: Entfernen Sie Disfluencies minimal und lassen Sie Homophone allein.

‘Letzteres ist am wichtigsten, weil Diktiereingabefrontends zu einer Standardmethode werden, um auf ein Modell zuzugreifen, und ihre Umformungsschicht der größte Schaden ist, den wir messen, und die billigste Sache, die geändert werden kann.’

Schlussfolgerung

Jeder, der jemals eine Transkription eines Interviews manuell erstellen musste (eine häufige und einsame journalistische Plackerei in der Vorgeschichte der KI), weiß, wie interpretiv dieser Prozess sein kann, es sei denn, der Interviewte oder Sprecher ist außergewöhnlich artikuliert oder – wie oft der Fall – einfach seine übliche Reihe von Anekdoten in einer routinierten Weise wiederholt.

Abgesehen von solchen besonderen Fällen berechnen wir, wenn wir mit Menschen sprechen, automatisch Bedeutung und ignorieren Disfluencies. Dies macht nutzbare Transkription notwendigerweise zu einer interpretativen Handlung, die Text erzeugt, der die Absichten des Sprechers besser widerspiegelt, als eine wörtliche, vokalisierte Transliteration es könnte; und es ist interessant zu beachten, dass Audio-Brücken zu LLMs ähnliche Schwierigkeiten haben, die gleiche Bedeutung wie Textäquivalente zu bewahren.

Es ist vernünftig zu erwarten, dass spätere Rahmenbedingungen von weiteren Studien und (hoffentlich) umfangreichen Datensätzen profitieren werden, die dazu beitragen, die Kluft zu überbrücken, die in der neuen Arbeit skizziert wird. Bis dahin zeigt die neue Studie, dass Sprachkommunikation mit KI möglicherweise besser für die Art von kurzen Befehlen geeignet ist, die in Consumer-Level-“Assistenten”-Systemen charakteristisch sind.

Erstveröffentlichung am Mittwoch, 12. August 2026