Phil Marshall, Gründer und CEO von Spoken – Interviewserie

Phil Marshall, Gründer und CEO von Spoken, ist Arzt, Erfinder, Technologieunternehmer und Science‑Fiction‑Autor, dessen Karriere sich über das Gesundheitswesen, digitale Medien, künstliche Intelligenz und Produktinnovation erstreckt hat. Vor dem Start von Spoken im Jahr 2024 gründete Marshall Conversa Health, ein Unternehmen für personalisierte Patientenbindung und konversationale KI, das 2021 von Amwell übernommen wurde und Teil dessen automatisierten virtuellen Pflegedienstes wurde. Früher in seiner Laufbahn verbrachte er mehr als ein Jahrzehnt bei WebMD als Vizepräsident für Produktstrategie, später war er Senior Vice President für Produktmanagement bei Press Ganey Associates und gründete das kollaborative Video‑Technologie‑Startup JumperCut. Seine Arbeit konzentriert sich zunehmend auf die Schnittstelle von KI, Erzählkunst, Gehirn‑Computer‑Schnittstellen und Wissenstechnologien und verbindet seinen Hintergrund als Technologe und Unternehmer mit seinen Interessen an Science‑Fiction und aufkommenden Formen digitaler Interaktion.

Spoken ist eine KI‑gestützte Hörbuchplattform, die Autoren, Verlagen und Rechteinhabern dabei hilft, Manuskripte in professionell produzierte Audios umzuwandeln, ohne auf ein traditionelles Aufnahmestudio zurückgreifen zu müssen. Die Technologie analysiert Sprache, Stil, Erzählstruktur und Figuren eines Manuskripts, bevor sie unterschiedliche Stimmen für Erzählung und Dialog zuweist und dabei Einzel‑, Doppel‑ und Multi‑Cast‑Produktionen unterstützt. Autoren können eigens generierte Stimmen verwenden, aus mehr als 100 bezahlten professionellen Sprecher*innen wählen oder ihre eigene Stimme klonen, wobei sie das Eigentum an ihrem Werk, den Master‑Aufnahmen und den Vertriebsrechten behalten. Spoken bietet zudem eine Application Programming Interface (API) für Verlage, die Hörbücher für umfangreichere Kataloge produzieren möchten, und legt dabei Wert auf ein ethisches KI‑Modell, nach dem geschriebene Werke nicht zum Training der Systeme verwendet werden und teilnehmende menschliche Sprecher*innen vergütet werden.

Ihr Werdegang führte Sie von der Medizin und Produktstrategie bei WebMD über die Gründung von Conversa Health bis hin zu Spoken. Welches Problem bei der Hörbuchproduktion hat Sie überzeugt, Spoken zu gründen, und wie hat Ihre frühere Arbeit im Bereich konversationale KI die heutige Plattform beeinflusst?

Bei Conversa war es unsere Mission, die Stimme des Pflegeteams zu erweitern, indem wir personalisierte Kontaktaufnahmen, Nachfragen und Anleitungen automatisierten, die eine klinische Abteilung eines großen Gesundheitssystems den Patienten telefonisch geben würde, wenn sie Zeit hätten. Anfangs haben wir den Bot mit einer Persona, Cate, anthropomorphisiert, die sich in der ersten Person ansprach. Letztlich entschied ich jedoch, dass das Vortäuschen von Menschlichkeit unehrlich sei. Cate war keine Person, und ich wollte nicht, dass Patienten das denken. Deshalb entfernten wir den Namen der Persona und wechselten zu einem pluralen „Wir“, damit es als Erweiterung des Pflegeteams wahrgenommen wird, was es tatsächlich war. Diese Erfahrung zeigte mir, dass automatisierte Lösungen dennoch wie eine authentische Erweiterung menschlicher Fürsorge wirken können, ohne vorzugeben, menschlich zu sein.

Springen wir zu Spoken, wo wir uns auf authentischen, menschenzentrierten Ausdruck konzentrieren. Das Problem, das wir lösen, ist offensichtlich – die meisten Geschichten können das am schnellsten wachsende Publikum (Hörer) nicht mit ihrem vollen Audio‑Potenzial erreichen, weil Zeit‑ und Kostenbeschränkungen bestehen – doch meine langjährige Philosophie, eine echte Erweiterung des Menschen zu sein, spielte dabei eine große Rolle. Im Gegensatz zu KI‑Podcasts, die Smalltalk erzeugen wollen, oder Agenten, die Mitgefühl simulieren, lässt die Multi‑Cast‑Erzählung von Spoken die wahren Worte eines Autors lebendig werden. Da wir Geschichten erzählen und nicht versuchen, menschliche Interaktionen nachzuahmen, gibt es keine Vortäuschung, dass unsere KI eine Person ist. Es handelt sich um Figuren in einer Geschichte, sodass wir glücklicherweise Verwirrungen und Konflikte vermeiden können.

Als sowohl Hard‑Science‑Fiction‑Autor als auch KI‑Unternehmer, wie haben Sie sich einst die Entwicklung künstlicher Intelligenz vorgestellt, und wo weicht die Realität der KI‑Entwicklung am deutlichsten von Ihrer futuristischen Vorstellung ab?

Diese Frage liegt mir besonders am Herzen. Ich liebe es, an der Schnittstelle von Kunst, Wissenschaft und Technologie zu leben, und automatisierte Systeme in meiner nahen Zukunfts‑Sci‑Fi zu schildern, ist ein gutes Beispiel dafür. Tatsächlich hat jedes zukünftige Unternehmen, über das ich schreibe – und es gibt mehrere – eine Domain, die ich besitze, ein Produkt, das ich entworfen habe, und ein Konzept, von dem ich glaube, dass es eines Tages ein echtes Unternehmen werden könnte. Sogar die Skulptur vor meinem Haus ist nach der modernistischen Form des Logos von The Kite Factory modelliert, einem Unternehmen, von dem ich mir vorstelle, dass es eines Tages die Antischwerkraft‑Technologie entwickelt, die den Planeten transformieren wird!

Im Hinblick auf KI habe ich ein Problem, wenn zukünftige Sci‑Fi nicht thematisiert, wie Menschen Informationen gewinnen, nutzen und teilen. Im Jahr 2100 benutzen sie wirklich noch ein Telefon, um Menschen anzurufen und Faktenfragen zu beantworten? Meine Philosophie beim Schreiben und im realen Leben ist einfach: Was automatisierbar ist, wird automatisiert, und wir werden stets zu Echtzeit‑, kollaborativeren und physisch integrierten Informationen tendieren. Ich muss jedoch hinzufügen, dass ich persönlich Implantaten abgeneigt bin. Deshalb haben wir in der Hintergrundgeschichte meines Buches, als Elon Musk seine Starlink‑Satelliten an seine Neuralink‑Implantate anschloss und Botschaften direkt in die Gehirne der Menschen übertrug, Gehirnimplantate verboten!

Zur Frage der Divergenz: Da ich glaube, dass alles, was automatisierbar ist, automatisiert wird, ist die Automatisierung von Faktenfragen eine einfache Unvermeidlichkeit. Bei Herzensangelegenheiten – Kunst, Musik und Geschichten – gibt es jedoch eine gewisse Abweichung. Da KI auf bereits vorhandenen Mustern trainiert wird, kann sie per Definition niemals etwas wirklich Neues erschaffen. Dennoch schreiben Menschen Geschichten, schaffen Kunst und komponieren Musik mithilfe von KI. Wie ist das möglich? Weil Kunst nicht unbedingt völlig neu oder einzigartig sein muss. Das wird meiner Ansicht nach bedeuten, dass in Zukunft jene Kreationen, die wirklich aus dem Rahmen fallen, umso kostbarer sein werden. Ich hoffe, wir werden weiterhin erkennen können, wann das geschieht.

Die Edison‑Research‑Studie verglich Spoken’s Multi‑Cast‑Produktion mit einer professionell produzierten, von einem einzelnen menschlichen Erzähler vorgetragenen Version. Wie viel von Spoken’s Vorteil schreiben Sie der zugrunde liegenden KI‑Technologie zu und wie viel darauf, dass jeder Figur eine eigene Stimme zugewiesen wird? Wie könnten die Ergebnisse im Vergleich zu einem vollständigen menschlichen Ensemble ausfallen?

Die Analyse der Geschichte und jeder Figur, um deren perfekte Stimme zu ermitteln, ist tatsächlich ein großer Teil unserer KI. Wir durchlaufen einen intensiven agentischen Prozess, um die zugrunde liegenden Schichten der Geschichte abzuleiten, von Grundelementen wie Genre und Sprache über die durch Akzente und Stil bestimmte Kadenz bis hin zur Szenenkohärenz mehrerer interagierender Figuren. All diese KI‑gesteuerten Schichten beeinflussen die eigentliche Stimme der Figuren. Das nennen wir „Magic Mode“ und man kann es mit dem Mischen von Farben vergleichen.

Wie sich die Ergebnisse im Vergleich zu einem vollständigen menschlichen Ensemble unterscheiden, hängt vor allem von Kosten und Arbeitsablauf ab. Ein Klick und ein paar hundert Dollar im Vergleich zu einem kompletten Ensemble sind für Indie‑Autoren und die meisten Verlage nicht zugänglich, weshalb das nicht unser Vergleichspunkt war. Was die Qualität angeht, bin ich jedoch der Meinung, dass wir bereits die Parität mit einem vollen Ensemble erreichen, sodass die Qualität nicht mehr zu unterscheiden sein wird.

Spoken Multi‑Cast erhielt höhere Bewertungen für charaktergetriebene Szenen, während die menschliche Erzählung bei Exposition besser abschnitt. Was macht nicht‑dialogische Passagen besonders schwierig für KI‑Erzählungen, und wie arbeiten Sie daran, diese Lücke zu schließen?

Tatsächlich sind nicht‑dialogische Passagen nicht per se schwierig für die KI‑Erzählung; es liegt lediglich daran, dass die Anzahl der Dynamiken, mit denen die KI arbeiten muss, immer noch geringer ist als die, die ein menschlicher Sprecher zur Verfügung hat. Denken Sie an jede Nuance von Betonung und Darbietung, die ein einzelner Erzähler in einen Abschnitt einbringen kann. Bei Multi‑Cast ist die Anzahl der Dynamiken jedoch deutlich höher, weil die verschiedenen, personalisierten Klangfarben der Figurenstimmen und das Mischen dieser, wiederum wie das Mischen von Farben, einbezogen werden. Das bedeutet, dass Multi‑Cast‑Szenen die Realitätsnähe von Interaktionen zwischen mehreren Personen besser wiedergeben können, als es ein einzelner Erzähler schwerlich schaffen würde.

Um die Lücke zu schließen, wird die Anzahl der Dynamiken, die in der KI‑Erzählung eines einzelnen Erzählers verwendet werden, weiter zunehmen, und die Lücke wird sich weiter verkleinern.

Bevor die Probanden die Beispiele hörten, zeigten nur 31 % Interesse an KI‑erzählten Hörbüchern, doch diese Zahl stieg nach dem Erleben von Spoken Multi‑Cast auf 65 %. Welche Elemente der Performance waren Ihrer Meinung nach am meisten dafür verantwortlich, ihre Wahrnehmung zu verändern?

Tatsächlich war es umgekehrt, und dieses Designelement der Umfrage ist äußerst wichtig. 65 % gaben an, dass sie ein komplettes Hörbuch mit dieser Erzählung hören würden, nachdem sie die Ausschnitte gehört hatten, bevor sie wussten, dass es KI war. Anschließend fragten wir allgemein, ob sie bereit wären, Hörbücher zu hören, die mit KI erzählt werden, und nur 31 % sagten ja. Danach fragten wir, ob sie dachten, das Gehörte sei KI. Nur 39 % derjenigen, die Spoken Multi‑Cast gehört hatten, vermuteten, es könnte KI sein, verglichen mit 35 % derjenigen, die die menschlichen Versionen hörten und dachten, diese könnten KI sein. Das führte zu unserer nächsten Frage: Jetzt, wo Sie … würden Sie ein Hörbuch hören, das mit KI erzählt wird? Diese Bereitschaft stieg nach der Exposition auf 43 %, und wir arbeiten aktiv daran, die Lücke zu unserem Ziel von 65 % zu schließen.

Können Sie uns den agentischen KI‑Workflow erläutern, der ein hochgeladenes Manuskript in ein Mehr‑Stimmen‑Hörbuch verwandelt, einschließlich der Identifizierung von Sprechern, der Interpretation von Figuren, der Zuweisung von Stimmen sowie der Bestimmung von Emotion, Timing und Darbietung?

Angesichts unserer ausstehenden Patente zu diesem Verfahren fasse ich es auf hoher Ebene zusammen: Es handelt sich um einen intensiv agentischen Prozess, der mehrere Schichten liefert. Es ist ein Prozess, den wir über mehr als zwei Jahre verfeinert haben. Die Grundelemente der Geschichte, die Kadenz, die Szenenkohärenz und schließlich die präzisen Figurenstimmen – von mir „die Farbschicht“ genannt – sind alles Teil davon. Die Gestaltung des emotionalen Bogens und des Timings ist entscheidend, und wir arbeiten mehr daran als an allem anderen. Es überrascht oft, dass die KI, die zur Vorbereitung der Erzählung eingesetzt wird, etwa fünfmal so viel Rechenleistung beansprucht wie die KI, die in der eigentlichen Erzählung verwendet wird.

Wie viel kreative Kontrolle behält ein Autor über die Endproduktion, und welche Werkzeuge stehen zur Verfügung, wenn die KI eine Figur, Aussprache, emotionale Nuance oder narrative Intention missversteht?

Der Autor hat die absolute Kontrolle über die Endproduktion. Egal, ob es um emotionale Betonungen, Akzente, Stimmfarbe oder Timing geht, er steuert alles. Unser Ziel ist es, diese mit einem einzigen Klick so nah wie möglich an Perfektion zu bringen. Wenn der Autor, Verlag oder Produzent eine sehr spezifische Vortragsweise eines Abschnitts benötigt, kann er „Speak It“ nutzen, in sein Mikrofon sprechen und demonstrieren, wie er es haben möchte, und die Figurenstimme wird dies wunderschön umsetzen.

Wir sind der Ansicht, dass Autoren das volle Eigentum an ihrem Werk fühlen sollten, bis hin zur Stimme, die in den Eröffnungs‑ und Schlusscredits verwendet wird. Selbst „Made with Spoken“ wird die Stimme ihrer Wahl nutzen, einschließlich ihrer eigenen persönlichen Stimme, falls sie dies wünschen.

Spoken ermöglicht Autoren die Nutzung eigens generierter Stimmen sowie genehmigter Stimmklone von professionellen Erzählern, die für die Nutzung ihrer Stimmen vergütet werden. Wie sind Einwilligung, Eigentum, Vergütung, Widerrufsrechte und der Schutz vor unautorisiertem Klonen in dieses Modell integriert?

Wir arbeiten ausschließlich mit Stimmpartnern, die einem strengen Ethikkodex folgen, der die Erkennung und das Verbot unautorisierter Stimmverwendung beinhaltet (insbesondere wichtig zum Schutz prominenter Stimmen von Prominenten). Zum Beispiel haben wir viele der Top‑Stimmen von ElevenLabs in unserer Bibliothek. Diese Sprecher*innen erhalten für jede Nutzung durch unsere Autoren eine Vergütung.

Sehen Sie die KI‑Erzählung vor allem als Erweiterung des Hörbuchmarktes, indem zuvor unwirtschaftliche Titel rentabel gemacht werden, oder wird sie auch Teile der traditionellen Produktion ersetzen? Welche Rollen werden bei fortschreitender Technologie eindeutig menschlich bleiben?

Wir sehen einen stark erweiterten Hörbuchmarkt, der neue Leser anzieht, insbesondere dank unserer neuen, lebendigen Multi‑Cast‑Funktionen. Letztlich wird dieser erweiterte Markt von einer Mischung aus Technologie und Menschen getragen werden. Die Zeit wird zeigen, aber diese Transformation wird weniger davon abhängen, ob es menschliche Sprecher*innen oder KI sind, sondern mehr vom Workflow der Autor‑/Produzenten‑Kontrolle und den sich ständig ändernden Hörgewohnheiten des Publikums.

Spoken kombiniert Hörbuchproduktion mit Verlagswesen, Entdeckung, Streaming, Community und Monetarisierung. Wie könnte KI letztlich das Erzählen selbst verändern, anstatt lediglich den bestehenden Hörbuchproduktionsprozess schneller und günstiger zu machen?

Was bedeutet es für einen Leser oder Hörer, „in der Geschichte zu versinken“? Darum geht es im Kern: dem Publikum ein immersives Audioerlebnis zu bieten, gerade jetzt, wo die Nachfrage nach charaktergetriebener Fiktion steigt und Audio zur dominierenden Form des Geschichtenkonsums wird. Letztlich, egal ob Kurzgeschichte, persönliches Memoir, Fan‑Fiction oder epische Fantasy, werden die Geschwindigkeit und die geringen Kosten zur Erstellung lebendiger, natürlicher Darbietungen tiefgreifende langfristige Auswirkungen haben. Der aktuelle Hörbuchmarkt ist die kurzfristige Chance, doch Kurzformen, vertikale Shorts, Serien, Fan‑Fiction und zahlreiche Ableger werden dadurch gedeihen. Und wenn sie das tun, möchten wir, dass Spoken Multi‑Cast^TM ihr Herzstück ist.

Vielen Dank für das großartige Interview, Leser*innen, die mehr erfahren möchten, sollten Spoken besuchen.