Phil Marshall, grunnlegger og administrerende direktør i Spoken – Intervjuserie

Phil Marshall, grunnlegger og administrerende direktør i Spoken, er lege, oppfinner, teknologientreprenør og science fiction‑forfatter hvis karriere har omfattet helsevesen, digitale medier, kunstig intelligens og produktinnovasjon. Før han lanserte Spoken i 2024, var Marshall medstifter av Conversa Health, et personlig pasientengasjement‑ og konversasjons‑AI‑selskap som ble kjøpt opp av Amwell i 2021 og ble en del av deres automatiserte virtuelle omsorgsvirksomhet. Tidligere i karrieren tilbrakte han mer enn et tiår i WebMD som visepresident for produktstrategi, senere som senior visepresident for produktledelse i Press Ganey Associates, og grunnla oppstartsbedriften for samarbeids‑videoteknologi JumperCut. Arbeidet hans fokuserer i økende grad på skjæringspunktet mellom AI, historiefortelling, hjerne‑datamaskin‑grensesnitt og kunnskapsteknologier, og kombinerer hans bakgrunn som teknolog og entreprenør med hans interesse for science fiction og nye former for digital interaksjon.

Spoken er en AI‑drevet lydbokplattform designet for å hjelpe forfattere, forlag og rettighetshavere med å omforme manuskript til profesjonelt produserte lydbøker uten å måtte bruke et tradisjonelt innspillingsstudio. Teknologien analyserer språk, stil, narrativ struktur og karakterer i et manuskript før den tildeler ulike stemmer for fortelling og dialog, og støtter enkelt‑forteller, dobbel‑forteller og multi‑cast‑produksjoner. Forfattere kan bruke egendefinerte genererte stemmer, velge blant mer enn 100 betalte profesjonelle stemmeskuespillere, eller klone sin egen stemme, samtidig som de beholder eierskap til arbeidet, master‑filer og distribusjonsrettigheter. Spoken tilbyr også et programmeringsgrensesnitt (API) rettet mot forlag som ønsker å produsere lydbøker for større kataloger, samtidig som de understreker en etisk AI‑modell der de hevder at skrevne verk ikke brukes til å trene systemene deres og at menneskelige stemmeskuespillere blir kompensert.

Din karriere har tatt deg fra medisin og produktstrategi i WebMD til å grunnlegge Conversa Health og nå Spoken. Hvilket problem i lydbokproduksjon overbeviste deg om å starte Spoken, og hvordan påvirket ditt tidligere arbeid med konversasjons‑AI plattformen du bygger i dag?

Med Conversa var vårt oppdrag å utvide pleieteamets stemme ved å automatisere personlig kontakt, oppfølgingsspørsmål og veiledning som en klinisk avdeling i et stort helsesystem ville gitt direkte til pasienter via telefon, hvis de hadde tid. I starten ga vi boten en personlighet, Cate, som refererte til seg selv i første person. Til slutt innså jeg imidlertid at det å late som om den var menneskelig var uærlig. Cate var ikke en person, og jeg ønsket ikke at pasientene skulle tro det. Derfor fjernet vi personnavnet og gikk over til flertallsformen «Vi» slik at den ble sett på som en forlengelse av pleieteamet, noe den faktisk var. Erfaringen lærte meg at automatiserte løsninger fortsatt kan føles som en autentisk forlengelse av menneskelig omsorg uten å late som om de er mennesker.

Raskt videre til Spoken, hvor vi fokuserer på autentisk, menneskesentrert uttrykk. Problemet vi hjelper med å løse er åpenbart – de fleste historier kan ikke nå det raskest voksende publikumet (lytterne) med sitt fulle lydpotensial på grunn av tids‑ og kostnadsbegrensninger – men min langvarige filosofi om å være en ekte forlengelse av mennesker har spilt en stor rolle. I motsetning til AI‑podcaster som prøver å fabrikkere småprat eller agenter som simulerer medfølelse, gir Spoken‑s Multi‑Cast‑fortelling forfatterens ekte ord liv. Fordi vi forteller historier, ikke prøver å etterligne menneskelige interaksjoner, er det ingen påskudd om at vår AI er en person. Dette er karakterer i en historie, så vi er heldige som unngår forvirring og konflikt.

Som både hard science‑fiction‑forfatter og AI‑entreprenør, hvordan forventet du at kunstig intelligens skulle utvikle seg, og hvor har realiteten i AI‑utviklingen avveket mest markant fra fremtiden du forestilte deg?

Dette spørsmålet står mitt hjerte nær. Jeg elsker å leve i skjæringspunktet mellom kunst, vitenskap og teknologi, og å skildre automatiserte systemer i min nær‑framtidssci‑fi er et godt eksempel på dette. Faktisk har hvert fremtidsselskap jeg skriver om – og det er flere – et domene jeg har eid, et produkt jeg har designet, og et konsept jeg tror kan bli et reelt selskap en dag. Selv skulpturen foran huset mitt er modellert etter den modernistiske formen i The Kite Factory‑logoen, et selskap jeg forestiller meg vil en dag skape anti‑gravitasjonsteknologi som vil forandre planeten!

Når jeg fokuserer på AI, har jeg et problem når framtidig sci‑fi ikke tar opp hvordan folk henter, bruker og deler informasjon. I år 2100, bruker de fortsatt en telefon for å ringe folk for å svare på faktaspørsmål? Min filosofi i skriving og i virkeligheten er enkel: Det som kan automatiseres, vil bli automatisert, og vi vil alltid bevege oss mot mer sanntids‑, mer samarbeids‑ og mer fysisk integrert informasjon. Jeg må imidlertid legge til at jeg personlig har en aversjon mot implantater. Derfor, i bakhistorien til boken min, da Elon Musk koblet sine Starlink‑satellitter til sine Neuralink‑implantater og begynte å sende meldinger direkte inn i folks hjerner, forbød vi hjerne‑implantater!

Til spørsmålet om avvik: fordi jeg tror at det som kan automatiseres, vil bli automatisert, skjer automatisering av faktaspørsmål som en enkel uunngåelighet. Når det gjelder hjertets saker – kunst, musikk og historier – har det imidlertid vært et lite avvik. Siden AI er trent på eksisterende mønstre, vil den per definisjon aldri kunne skape noe virkelig nytt. Likevel skriver folk historier, lager kunst og komponerer musikk ved hjelp av AI. Hvordan er det mulig? Fordi kunst ikke trenger å være helt ny eller unik. Det vil, tror jeg, bety at i fremtiden vil de verkene som bryter normen bli enda mer verdifulle. Jeg håper vi fortsatt vil kunne gjenkjenne når det skjer.

En nylig Edison Research‑studie sammenlignet Spokens multi‑cast‑produksjon med en profesjonelt produsert, enkelt‑forteller‑versjon med menneskelig stemme. Hvor mye av Spokens fordel tilskriver du den underliggende AI‑teknologien, og hvor mye kommer fra at hver karakter får en distinkt stemme? Hvordan kan resultatene avvike mot en fullstendig menneskelig rollebesetning?

Å analysere historien og hver karakter for å finne deres perfekte stemme er faktisk en stor del av vår AI. Vi går gjennom en intensiv agentisk prosess for å avlede de underliggende lagene i historien, fra grunnleggende elementer som sjanger og språk til rytmen som bestemmes av aksenter og stil, samt scenekohesjonen mellom flere interagerende karakterer. Alle disse AI‑drevne lagene informerer den faktiske karakterstemme‑fortellingen. Det er det vi kaller «Magic Mode», og du kan tenke på det som å blande malingsfarger.

Når det gjelder hvordan resultatene kan avvike fra en full menneskelig rollebesetning, handler det egentlig om kostnad og arbeidsflyt. Ett klikk og noen hundre dollar, sammenlignet med en full besetning, er ikke tilgjengelig for indie‑forfattere og de fleste forlag, og derfor var det ikke vårt sammenligningsgrunnlag. Når det gjelder kvalitet, tror jeg imidlertid at vi allerede nærmer oss likhet med en full besetning, så kvaliteten vil være umerkelig forskjellig.

Spoken Multi‑Cast fikk høyere rangeringer for karakter‑drevne scener, mens menneskelig fortelling presterte bedre under eksposisjon. Hva gjør ikke‑dialogpassasjer spesielt vanskelige for AI‑fortelling, og hvordan jobber dere med å redusere dette gapet?

Faktisk er det ikke slik at ikke‑dialogpassasjer er vanskelige for AI‑fortelling; det er bare at antallet dynamikker AI må håndtere fortsatt er mindre enn det en menneskelig stemmeskuespiller har. Tenk på hver nyanse av intonasjon og levering som en enkelt forteller kan tilføre en passage. Med multi‑cast er antallet dynamikker imidlertid langt større på grunn av de varierte, personlige klangfargene i karakterstemmene og prosessen med å blande dem, igjen som malingsfarger. Det betyr at multi‑cast‑scener kan fremheve realismen i interaksjoner mellom flere personer på en måte som en enkelt forteller vil ha vanskelig for å matche.

For å redusere gapet vil antallet dynamikker brukt i AI‑fortelling med enkelt‑forteller fortsette å øke, og gapet vil fortsette å krympe.

Før de hørte på prøvene, uttrykte kun 31 % av deltakerne interesse for AI‑fortalte lydbøker, men tallet steg til 65 % etter at de opplevde Spoken Multi‑Cast. Hvilke elementer i fremføringen tror du var mest ansvarlige for å endre deres oppfatning?

Faktisk var det omvendt, og dette designelementet i undersøkelsen er svært viktig. 65 % sa at de ville lytte til en hel lydbok med denne fortellingen etter å ha hørt utdragene, før de visste at den var AI. Deretter spurte vi, mer generelt, om de ville være villige til å lytte til lydbøker fortalt med AI, og kun 31 % svarte ja. Neste spurte vi om de trodde det de hadde hørt var AI. Kun 39 % av de som hørte Spoken Multi‑Cast mistenkte at det kunne være AI, sammenlignet med 35 % av de som hørte de menneskelige versjonene og trodde deres kunne være AI. Dette fikk vår neste spørsmål til å poppe: Nå som du vet dette, ville du være villig til å lytte til en lydbok fortalt med AI? Den viljen steg til 43 % etter eksponeringen, og vi optimaliserer aktivt for å redusere gapet mot vårt mål på 65 %.

Kan du gå gjennom den agentiske AI‑arbeidsflyten som forvandler et opplastet manuskript til en lydbok med flere stemmer, inkludert hvordan systemet identifiserer talere, tolker karakterer, tildeler stemmer, og bestemmer følelser, timing og levering?

Gitt våre pågående patenter på prosessen, vil jeg bare oppsummere på et høyt nivå at det er en intens agentisk prosess som leverer flere lag. Det er en prosess vi har finpusset i over to år. Historienes grunnleggende elementer, historierytmen, scenekohesjonen, og til slutt de presise karakterstemmene, eller som jeg liker å kalle dem, «malingslaget», er alle en del av den. Å få tak i den emosjonelle leveringsbuen og timingen er kritisk, og vi jobber med det mer enn noe annet. Det overrasker ofte folk at AI‑en som brukes til å forberede fortellingen er omtrent fem ganger så mye som AI‑en som brukes i selve fortellingen.

Hvor mye kreativ kontroll har en forfatter over den endelige produksjonen, og hvilke verktøy er tilgjengelige når AI misforstår en karakter, uttale, emosjonelt slag eller narrativ intensjon?

Forfatteren har absolutt kontroll over den endelige produksjonen. Enten det gjelder emosjonelle nyanser, aksenter, stemmeklang eller timing, kontrollerer de alt. Målet vårt er å få dem så nær perfeksjon som mulig med ett enkelt klikk. Hvis forfatteren, forlaget eller produsenten trenger en svært spesifikk levering av en passage, kan de bruke «Speak It» for å snakke inn i mikrofonen og demonstrere hvordan de vil ha den levert, og karakterstemmen vil følge vakre.

Vi mener forfattere skal føle full eierskap til sitt verk, helt ned til stemmen som brukes i deres åpne og avsluttende kreditter. Selv «Made with Spoken» vil bruke stemmen de velger, inkludert deres egen personlige stemme hvis de ønsker det.

Spoken lar forfattere bruke egendefinerte genererte stemmer samt godkjente stemmeklone fra profesjonelle fortellere som kompenseres når stemmene deres brukes. Hvordan er samtykke, eierskap, kompensasjon, tilbakekallingsrett og beskyttelse mot uautorisert kloning bygget inn i denne modellen?

Vi bruker kun stemmepartnere som følger en streng etisk kodeks, som inkluderer oppdagelse og forbud mot uautorisert bruk av en stemme (spesielt viktig for å beskytte kjente stemmer fra kjendiser). For eksempel har vi mange av de beste stemmene fra ElevenLabs i vårt bibliotek. Disse stemmeskuespillerne får betalt for hver gang de brukes av våre forfattere.

Ser du AI‑fortelling primært som en måte å utvide lydbokmarkedet på ved å gjøre tidligere uøkonomiske titler levedyktige, eller vil den også erstatte deler av tradisjonell produksjon? Hvilke roller vil forbli tydelig menneskelige etter hvert som teknologien modnes?

Vi ser for oss et kraftig utvidet lydbokmarked som tiltrekker nye lesere, spesielt med våre nye, levende multi‑cast‑muligheter. Til slutt vil dette utvidede markedet bli drevet av en hybrid av teknologi og mennesker. Tiden vil vise, men denne transformasjonen kan handle mindre om hvorvidt det er menneskelig stemmetalent eller AI, og mer om arbeidsflyten for forfatter‑/produsentkontroll og de stadig skiftende lyttevanene hos publikum.

Spoken kombinerer lydbokproduksjon med publisering, oppdagelse, streaming, fellesskap og inntektsgenerering. Hvordan kan AI til slutt endre selve historiefortellingen, i stedet for bare å gjøre den eksisterende lydbokproduksjonsprosessen raskere og billigere?

Hva betyr det for en leser eller lytter å «bli oppslukt av historien»? Det er egentlig det dette handler om: å gi publikum en oppslukende lydopplevelse i en tid hvor etterspørselen etter karakter‑drevet fiksjon vokser og lyd blir den dominerende måten å konsumere historier på. Til slutt, enten det er en novelle, personlig memoar, fanfic eller episk fantasy, vil hastigheten og lave kostnaden ved å skape levende, naturlig levering ha dype langsiktige konsekvenser. Det nåværende lydbokmarkedet er den kortsiktige muligheten, men kortform, vertikale korte videoer, serier, fan‑fic og en rekke andre avleggere vil blomstre som følge av dette. Og når de gjør det, vil vi at Spoken Multi‑Cast^TM skal være i hjertet av dem.

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke Spoken.