Alex Smola, Mitgründer von Boson AI – Interviewreihe

Alex Smola ist Mitgründer von Boson AI und arbeitet dort an konversationeller Sprach-KI und multimodalen Systemen. Seine Laufbahn umfasst akademische Forschung an der Carnegie Mellon University und KI-Initiativen in großem Maßstab bei AWS. Diese Verbindung aus Forschungs- und Produkterfahrung bringt er in die Entwicklung von Assistenten ein, die Gesprächssignale verstehen, mit Unterbrechungen umgehen und nützliche Aufgaben erledigen können.

Boson AI entwickelt Basismodelle und Tools für Sprache, Audio und multimodale Interaktion. Das Modell Higgs Realtime ermöglicht direkte Sprach-zu-Sprach-Gespräche, während die umfassendere Plattform ausdrucksstarke Sprachgenerierung, Avatare und Sprachagenten für Unternehmen umfasst. In diesem Interview spricht Smola über konversationelle Intelligenz, mehrsprachige Leistungsfähigkeit, die Wirtschaftlichkeit der Inferenz und die Sicherheitsvorkehrungen, die erforderlich sind, um Sprachagenten in echte Geschäftsabläufe zu integrieren.

Ihre Laufbahn führte Sie von der akademischen Forschung an der Carnegie Mellon University über die Leitung umfangreicher KI-Initiativen bei AWS bis zur Mitgründung von Boson AI. Was hat Sie dazu bewogen, sich auf konversationelle Sprach-KI zu konzentrieren, und welche grundlegenden Einschränkungen der Mensch-KI-Interaktion möchten Sie überwinden?

Menschen kommunizieren mit weit mehr als nur Worten. Man hört die Unsicherheit in der Stimme eines Menschen oder sieht, dass er eine Erklärung nicht verstanden hat. Eine kurze bestätigende Äußerung kann einem signalisieren, dass man weitersprechen soll. Wir nehmen solche Hinweise unbewusst wahr, doch Computern beizubringen, sie zu erkennen, ist noch immer eine Herausforderung.

Genau das macht dieses Gebiet für mich so interessant. Wir verfügen inzwischen über Systeme mit beträchtlicher Intelligenz, doch die Kommunikation mit ihnen kann sich immer noch umständlich anfühlen. Ich möchte, dass Menschen mit eigenen Worten erklären können, was sie brauchen, ohne erst herausfinden zu müssen, wie sie mit der Software sprechen sollen.

Bei AWS habe ich gelernt, genau darauf zu achten, was Kunden erreichen wollten und ob das Produkt ihnen dabei half. Diesen Ansatz haben wir zu Boson mitgebracht – mit der Freiheit, uns parallel zu den Fortschritten in der Forschung schnell weiterzuentwickeln.

Sprache und Video liefern uns zusätzliche Anhaltspunkte. Wenn jemand verwirrt wirkt oder zögert, kann der Assistent reagieren, bevor das Gespräch aus dem Ruder läuft. Solche alltäglichen Interaktionen richtig zu gestalten, ist ein wichtiger Teil unserer Ambition.

Boson AI hat kürzlich Higgs Realtime vorgestellt, ein Modell für natürliche Sprach-zu-Sprach-Interaktionen in Echtzeit. Was unterscheidet diesen Ansatz grundlegend von herkömmlichen Systemen, die Spracherkennung, Sprachmodelle und Sprachsynthese kombinieren, und warum ist dieser Unterschied für die Zukunft von KI-Assistenten wichtig?

In einer herkömmlichen Verarbeitungskette wandelt die Spracherkennung Ihre Worte in Text um, ein Sprachmodell erzeugt eine Antwort und ein Sprachmodell liest sie laut vor. Jeder Schritt hängt vom vorherigen ab, wodurch sich das Gespräch langsam und abgehackt anfühlen kann.

Higgs Realtime ist ein audio-natives Sprach-zu-Sprach-Modell, das für die Interaktion in Echtzeit entwickelt wurde. Sein Training berücksichtigt Gesprächsverhalten, darunter den Wechsel zwischen Gesprächspartnern und den Umgang mit sich ändernden Anfragen. Das unterscheidet sich grundlegend davon, einem Text-Chatbot einfach eine Stimme zu verleihen.

Stellen Sie sich vor, Sie stellen jemandem eine schwierige Frage. Während die Person nach der Antwort sucht, sagt sie vielleicht: „Ich sehe kurz nach.“ Sie wissen dann, dass sie Sie gehört hat und sich darum kümmert. Ein KI-Assistent sollte das Gleiche tun, während er Informationen abruft oder ein Tool verwendet, damit Sie sich nicht fragen müssen, ob er Sie verstanden hat oder nicht mehr arbeitet.

Bei längeren Aufgaben wird das noch wichtiger. Der Assistent muss Sie während der Arbeit auf dem Laufenden halten und reagieren, wenn Sie eine Frage stellen oder Ihre Meinung ändern.

Eine der größten Herausforderungen in der konversationellen KI besteht darin, zu erkennen, wann man sprechen, wann man zuhören und wie man mit Unterbrechungen oder Richtungswechseln umgehen soll. Wie geht Boson AI diese Herausforderungen an, und welche technischen Durchbrüche sind noch nötig, bevor sich KI-Gespräche wirklich natürlich anfühlen?

Eine bestätigende Äußerung und eine Unterbrechung können sehr ähnlich klingen, erfordern aber unterschiedliche Reaktionen. Wenn jemand „ja“ sagt, während Sie sprechen, möchte die Person vielleicht, dass Sie fortfahren. Korrigiert sie eine Ziffer in ihrer Telefonnummer, müssen Sie dagegen innehalten und die richtige Nummer verwenden. Ein KI-Assistent sollte diesen Unterschied erkennen können.

Higgs Realtime nutzt die Bedeutung des Gesagten, um besser einzuschätzen, ob jemand fertig gesprochen hat oder nur eine Pause macht. Schnell zu reagieren ist wichtig, aber ebenso wichtig ist es, richtig zu reagieren.

Das zuverlässig hinzubekommen, ist nach wie vor sehr schwierig. Menschen sprechen nicht in ordentlich abgegrenzten Gesprächsbeiträgen, und dieselben Worte können je nach Gespräch etwas anderes bedeuten. Der Assistent muss verstehen, was sich geändert hat, und sich merken, woran er gerade gearbeitet hat.

Boson AI hat Benchmarks wie IHBench entwickelt, um zu messen, wie Sprachagenten sich von Unterbrechungen erholen. Was haben diese Auswertungen über die Schwächen der derzeit führenden Sprachmodelle gezeigt, und wie sollte die Branche ihre Maßstäbe für konversationelle Intelligenz überdenken?

Wir haben IHBench entwickelt, um zu testen, was passiert, wenn jemand einen Sprachagenten unterbricht. Wenn Sie während einer Buchung etwas korrigieren, sollte der Agent die Korrektur übernehmen und an der richtigen Stelle weitermachen. Sie sollten weder von vorn anfangen noch sich Informationen anhören müssen, die der Agent bereits genannt hat. Die Ergebnisse unterschieden sich stark je nach Modell und Art der Unterbrechung. Ein Ergebnis haben wir nicht besonders gern veröffentlicht: Systeme mit geschlossenen Gewichten kamen im Allgemeinen besser mit Unterbrechungen zurecht und behaupteten sich auch dann besser, wenn die Unterbrechung im Gesprächsverlauf immer später erfolgte.

Das ist eine echte Lücke im Open-Source-Ökosystem, und wir messen sie lieber öffentlich, als so zu tun, als gäbe es sie nicht. Das ist auch der Hauptgrund, warum es den Benchmark gibt. Eine Lücke lässt sich nicht schließen, wenn niemand sich darauf verständigt hat, wie sie gemessen werden soll. Wir haben den Benchmark veröffentlicht, ohne ein eigenes Modell darin zu berücksichtigen. Als wir dann eines einbezogen, erzielte Higgs Realtime bei der Qualität der Wiederaufnahme 71.2 Punkte und lag damit vor GPT Realtime 1.5 mit 65.5 Punkten, GPT Realtime 2 mit 62.4 Punkten und Gemini 3.1 Flash Live mit 61.1 Punkten. Die Lücke lässt sich also schließen – und ein Modell mit offenen Gewichten hat sie geschlossen.

Ich würde das lieber anhand eines Tests zeigen, den wir bewusst anspruchsvoll gestaltet und veröffentlicht haben, bevor wir etwas vorzuweisen hatten. Allgemeiner gesagt glaube ich, dass die Branche die falschen Dinge misst. Eine Stimme kann völlig natürlich klingen und ihre Aufgabe trotzdem nicht erfüllen, denn entscheidend ist, ob der Agent die Aufgabe zu Ende bringt. Wenn Sie ihn ständig daran erinnern müssen, worum es gerade ging, ist es schnell egal, wie gut die Stimme klingt.

Zwischen einer beeindruckenden Vorführung von Sprach-KI und einem autonomen Agenten, der echte Kundeninteraktionen bewältigen kann, besteht ein erheblicher Unterschied. Was unterscheidet die beiden, und welche Fähigkeiten müssen sich verbessern, bevor Unternehmen Sprachagenten mit Zuversicht in geschäftskritischen Arbeitsabläufen einsetzen können?

Wann haben Sie zuletzt gern bei Ihrem Kabelanbieter angerufen? Für die meisten Menschen lautet die Antwort: nie. Man wird von einer Person zur nächsten weitergereicht und muss jedes Mal erneut den eigenen Namen, das Geburtsdatum und das Problem erklären, damit die nächste Person all das noch einmal erfragen kann. Stellen Sie sich also den vierten Anruf zum selben Problem vor. Sie möchten, dass der Agent weiß, was bei den ersten drei Anrufen passiert ist. Wenn ein Neustart des Routers nicht geholfen hat, ist es vielleicht an der Zeit, einen Techniker zu schicken – und Sie sollten das nicht selbst begründen müssen. Damit der Agent das veranlassen kann, benötigt er Zugriff auf Ihren Kontoverlauf und auf das System, über das der Besuchstermin gebucht wird.

Der Agent muss auch damit zurechtkommen, wenn die Buchung fehlschlägt, und erkennen, wann er Sie an eine Person weiterleiten muss, die das Problem tatsächlich beheben kann. Solche Situationen muss ein Unternehmen testen, bevor es einen Agenten für Kundenanrufe einsetzt. Hinzu kommen die Betriebskosten. Ein System, das eine Vorführung hervorragend meistert, kann für Tausende Anrufe pro Tag viel zu teuer im Betrieb sein. Effizienz gehört daher zur Einsatzbereitschaft im Unternehmen und ist keine davon losgelöste Frage.

Seit mehreren Monaten setzen wir genau dieses Szenario gemeinsam mit einem globalen Versicherungsunternehmen um. Es handelt sich nicht um einen Testlauf parallel zum echten System. Der Agent bearbeitet in dessen Contactcenter echte eingehende und ausgehende Kundengespräche – neben den menschlichen Vertriebsmitarbeitern des Unternehmens. Tausende gleichzeitige Anrufe, bei ungefähr einem Drittel der Kosten eines menschlichen Mitarbeiters.

Interessanter als die Kosten finde ich, dass sich das System direkt im laufenden Betrieb verbessert hat. Bei der internen Bewertung des Unternehmens erhielt die Qualität unserer Gespräche zu Beginn 30 Punkte. Fünf Monate später waren es 80 Punkte – der Wert, den das Unternehmen für einen qualifizierten menschlichen Telefonverkäufer ansetzt. GPT-4o Realtime erreichte bei derselben Bewertung 55 Punkte. Dieses Ergebnis haben wir nicht durch Feinabstimmung im Labor erzielt. Das System wurde anhand des tatsächlichen Gesprächsaufkommens besser, das es bearbeitete – und nur eine solche Verbesserung zählt für ein Contactcenter.

Sprachagenten beantworten nicht mehr nur Fragen, sondern führen zunehmend Aufgaben aus, greifen auf Kundeninformationen zu und interagieren mit Unternehmenssystemen. Wie sollten Entwickler Autonomie und menschliche Kontrolle in Einklang bringen? Welche Schutzmaßnahmen sind unerlässlich, um langfristiges Vertrauen in diese Systeme aufzubauen?

Ich würde zunächst fragen, was der Agent tun soll, dem Sie vertrauen. Einen Kontostand abfragen zu lassen, ist etwas ganz anderes, als ihm zu erlauben, Geld zu überweisen oder einen Dienst zu kündigen. Die Berechtigungen sollten diesen Unterschieden Rechnung tragen, und die Systeme, mit denen der Agent verbunden ist, müssen sie durchsetzen. All das lässt sich nicht allein einer Anweisung in einem Prompt überlassen.

Die Menschen sollten außerdem wissen, worauf sie sich einlassen. Bevor ein Agent eine schwer rückgängig zu machende Änderung vornimmt, sollte er die Folgen erklären und um Bestätigung bitten. So sollte es unkompliziert sein, eine Person hinzuzuziehen, wenn der Agent nicht weiterkommt.

Trotzdem wird weiterhin etwas schiefgehen. In solchen Fällen muss nachvollziehbar sein, was der Agent getan hat und an welcher Stelle er nicht weiterkam, damit jemand das Problem beheben kann. Eine selbstsicher klingende Stimme kann den Eindruck erwecken, ein System wisse, was es tue. Dieses Vertrauen muss es sich jedoch durch zuverlässiges Verhalten verdienen.

Higgs Realtime unterstützt mehr als 100 Sprachen und kann während eines Gesprächs zwischen Sprachen wechseln. Was sind die größten technischen Herausforderungen, wenn es darum geht, in verschiedenen Sprachen, Akzenten und Kommunikationsstilen eine konsistente Gesprächsintelligenz zu gewährleisten – insbesondere beim Erfassen des emotionalen Kontexts und der Nutzerabsicht?

Sprachabdeckung klingt nach einer bloßen Liste, ist es aber nicht. Vor einiger Zeit benötigte ein Kunde Unterstützung für Thai. Wir deckten die Sprache teilweise ab, doch als Erstes stellten wir fest, dass wir über Thai selbst so gut wie nichts wussten. So war uns zum Beispiel nicht klar, dass die geschriebene thailändische Sprache praktisch keine Satzzeichen kennt. Dadurch funktionieren die Annahmen über Satzgrenzen nicht mehr, auf denen die meisten Spracherkennungssysteme beruhen. Wir hätten den Markteintritt verschieben können. Stattdessen fanden wir Informatiker, die Thai sprachen, und entwickelten die Sprachverarbeitung von Grund auf neu und richtig.

Etwa sechs Wochen später waren wir in Bangkok und führten das System vor. Während der Vorführung konnte ich nicht einschätzen, wie sie lief – ich hörte Menschen zu, die ein System in einer Sprache testeten, die ich nicht spreche. Anschließend sagten sie, es sei gut gewesen, was eine erhebliche Erleichterung war. Konventionen unterscheiden sich ebenso stark wie der Wortschatz. Im Japanischen geben Zuhörende während des Gesprächs mit kleinen Bestätigungslauten zu erkennen, dass sie folgen. Wenn der Assistent jedes Mal stoppt, um das Wort abzugeben, zerstört das den Gesprächsrhythmus.

Die Worte können perfekt sein und das Gespräch dennoch scheitern. Auch wie man etwas sagt, ist genauso wichtig wie das, was man sagt. Man kann genau dieselben Worte liebevoll oder sarkastisch verwenden – und die passende Reaktion ist völlig unterschiedlich. Tonfall und Kontext beizubehalten, während mitten im Satz die Sprache wechselt, ist ein wesentlicher Teil dessen, was mich daran interessiert.

Unternehmen wie OpenAI und Google investieren massiv in multimodale KI in Echtzeit. Wie kann ein spezialisiertes Unternehmen wie Boson AI mit Organisationen konkurrieren, die über deutlich größere Rechenressourcen verfügen, und wo sehen Sie die größten Möglichkeiten, sich bei Modellarchitektur, Leistung und Inferenzkosten abzuheben?

Mehr Rechenleistung zu haben bedeutet nicht automatisch, sie auch sinnvoll einzusetzen. In einem Live-Gespräch kann man sehr viel Geld dafür ausgeben, ein äußerst leistungsfähiges Modell laufen zu lassen, nur damit es verarbeitet, wie jemand „hm“ oder „ja, wahrscheinlich“ sagt. Das Modell würde einen großen Teil seiner Intelligenz darauf verwenden, Fülllaute anzuhören. Rechenleistung ist teuer und verbraucht viel Energie – ebenso wie Inferenz. Am Ende zahlt der Kunde dafür.

Menschen lösen das, indem sie ihre Aufmerksamkeit aufteilen. Man kann in einem Café ein etwas langweiliges Gespräch führen, während man sich nebenbei überlegt, was man zum Abendessen kochen soll. Der vordere Teil des Denkens folgt dem Gespräch. Dann stellt die andere Person eine wirklich schwierige Frage, und man ist ganz bei der Sache und setzt seine gesamte Aufmerksamkeit dafür ein. Genauso bauen wir Gesprächssysteme.

Ein kostengünstiges Modell übernimmt den vorderen Teil des Gesprächs; aufwendigere Schlussfolgerungen und Tool-Aufrufe kommen erst dann zum Einsatz, wenn die Aufgabe sie tatsächlich erfordert. Die andere Hälfte der Strategie besteht darin, dass wir unsere Rechenkapazität gekauft statt gemietet haben. Die Rechnung ist nicht kompliziert: Man nimmt die stündlichen Kosten einer Cloud-Instanz, multipliziert sie mit den Stunden eines Jahres und kommt damit ungefähr auf den Kaufpreis der Hardware. Wir haben für jede Komponente einzeln den Break-even-Punkt berechnet und darauf aufgebaut. Das war schwieriger, als es klingt, und nicht alles lief perfekt. Aber so bleibt die Möglichkeit brachialer Skalierung außen vor. Das bedeutet, dass jeder Fortschritt auf besseren Daten und einer besseren Architektur beruhen muss. Außerdem erwies sich dieser Ansatz als Schutz für uns: Komponenten, für die uns Angebote von unter 100.000 US-Dollar vorlagen, kosteten sechs Monate später ungefähr das Doppelte. Wir können schnell handeln, weil wir ein kleines Team sind, das sich auf eine Sache konzentriert. Eine Forscherin oder ein Forscher kann eine Idee selbst aufgreifen, testen und ins Produkt integrieren. Außerdem profitieren wir von der offenen Forschungsgemeinschaft und tragen selbst zu ihr bei. So kann ein kleines Team deutlich mehr leisten, als seine Größe vermuten ließe.

Ihre Forschung zu ProactBench untersucht einen wichtigen Aspekt der Gesprächsintelligenz: zu erkennen, was Nutzende brauchen, auch wenn sie nicht ausdrücklich darum gebeten haben. Wie werden sich Sprachagenten Ihrer Ansicht nach von reaktiven Assistenten zu proaktiven Partnern entwickeln, und wo sollten die Grenzen liegen zwischen dem Antizipieren von Bedürfnissen und dem Überschreiten von Grenzen?

Nehmen wir an, Sie vereinbaren einen Arzttermin und erwähnen gleich zu Beginn des Gesprächs, dass Sie nicht Auto fahren können. Ein guter Assistent würde sich das merken und einen Termin per Fernsprechstunde vorschlagen oder Ihnen bei der Organisation einer Fahrt helfen. Sie sollten diese Information nicht wiederholen müssen.

Genau das untersuchen wir mit ProactBench: ob ein Assistent die Informationen, die Sie ihm gegeben haben, nutzen kann, um Ihre Bedürfnisse vorauszusehen und Hilfe anzubieten, um die Sie nicht ausdrücklich gebeten haben.

Natürlich haben Sie vielleicht bereits eine Fahrt zu Ihrem Termin organisiert. Der Assistent sollte die Möglichkeit anbieten und Ihnen die Entscheidung überlassen, statt anzunehmen, er wisse, was Sie vorhaben. Ich möchte, dass solche Systeme Menschen Aufwand ersparen, ihnen aber die Kontrolle darüber lassen, was geschieht.

Glauben Sie mit Blick auf die kommenden fünf Jahre, dass Spracheingabe zur wichtigsten Schnittstelle wird, über die Menschen mit KI und Software interagieren? Falls ja: Wie könnte dieser Wandel herkömmliche Anwendungen, Unternehmenssoftware sowie die Rolle von Bildschirmen und grafischen Benutzeroberflächen verändern?

Ich gehe davon aus, dass wir viel häufiger mit Computern sprechen werden, oft auch mit Video. Wenn man sieht, dass jemand verwirrt dreinschaut, weiß man, dass man etwas möglicherweise anders erklären muss. Unsere Audio-Video-Demo zeigt die ersten Ansätze einer solchen Interaktion: Die KI reagiert sowohl auf das, was sie sieht, als auch auf das, was sie hört.

Beim Schreiben von Code bevorzuge ich weiterhin eine Tastatur. Und wenn ich Informationen vergleiche, möchte ich sie vielleicht auf einem Bildschirm sehen, damit ich sie in meinem eigenen Tempo durchgehen kann.

Bei Unternehmenssoftware kann ich mir vorstellen, eine Aufgabe damit zu beginnen, zu erklären, was ich brauche, anschließend das Ergebnis auf dem Bildschirm zu überprüfen und direkt Änderungen vorzunehmen. In den nächsten fünf Jahren wird es meiner Meinung nach viel einfacher werden, zwischen diesen Arbeitsweisen zu wechseln. Man könnte sprechen, wenn es gerade passt, und den Bildschirm nutzen, wenn Präzision gefragt ist.

Vielen Dank für das großartige Interview. Leserinnen und Leser, die mehr über dialogbasierte Sprach-KI und Sprachagenten für Unternehmen erfahren möchten, sollten Boson AI besuchen.