Phil Marshall, Spokenin perustaja ja toimitusjohtaja – Haastattelusarja

Phil Marshall, Spokenin perustaja ja toimitusjohtaja, on lääkäri, keksijä, teknologiayrittäjä ja tieteiskirjailija, jonka ura on kattaa terveydenhuollon, digitaalisen median, tekoälyn ja tuoteinnovaatiot. Ennen Spokenin lanseeraamista vuonna 2024 Marshall perusti Conversa Healthin, personoitua potilassitoutumista ja keskustelevaa AI-yritystä, jonka Amwell osti vuonna 2021 ja joka tuli osaksi sen automatisoitua virtuaalista hoitopalvelua. Aikaisemmin urallaan hän vietti yli kymmenen vuotta WebMD:ssä tuotestrategian varatoimitusjohtajana, toimi myöhemmin Press Ganey Associatesin vanhempana varatoimitusjohtajana tuotehallinnossa, ja perusti yhteistyöllisen videoteknologian startupin JumperCut. Hänen työnsä keskittyy yhä enemmän tekoälyn, tarinankerronnan, aivo‑tietokone‑rajapintojen ja tietämyksen teknologioiden leikkauspisteeseen, yhdistäen teknologian ja yrittäjyyden taustansa tieteiskirjallisuuden ja digitaalisen vuorovaikutuksen nousevien muotojen kiinnostuksiin.

Spoken on tekoälyllä toimiva äänikirja-alusta, jonka tarkoituksena on auttaa kirjailijoita, kustantajia ja oikeuksien haltijoita muuntamaan käsikirjoitukset ammattilaisille tasoiseksi äänitallenteeksi ilman perinteistä äänitysstudiota. Sen teknologia analysoi käsikirjoituksen kieltä, tyyliä, narratiivirakennetta ja hahmoja ennen kuin se määrittää erilliset äänet kertojalle ja dialogille, tukien yhden kertojan, kahden kertojan ja monikertojatuotantoja. Kirjailijat voivat käyttää räätälöityjä ääniä, valita yli 100 maksullisen ammattilaisnäyttelijän joukosta tai kloonata oman äänensä, säilyttäen samalla työnsä, master‑tiedostojen ja jakeluoikeuksien omistajuuden. Spoken tarjoaa myös sovellusohjelmointirajapinnan (API), joka on suunnattu kustantajille, jotka haluavat tuottaa äänikirjoja laajemmista katalogeista, korostaen eettistä AI-mallia, jonka mukaan kirjallisia teoksia ei käytetä sen järjestelmien kouluttamiseen ja ihmisen ääniä käyttävät näyttelijät saavat korvauksen.

Uraasi on kulkenut lääketieteestä ja tuotestrategiasta WebMD:ssä Conversa Healthin perustamiseen ja nyt Spokeniin. Mikä ongelma äänikirjojen luomisessa vakuutti sinut perustamaan Spokenin, ja miten aikaisempi työsi keskustelevan tekoälyn parissa on vaikuttanut nykyisen alustan rakentamiseen?

Conversa:ssa tehtävämme oli laajentaa hoitotiimin ääntä automatisoimalla personoituja yhteydenottoja, jatkokysymyksiä ja ohjausta, jonka suuri terveydenhuoltojärjestelmän kliininen osasto tarjoaisi suoraan potilaille puhelimitse, jos sillä olisi aikaa. Aluksi personoimme botin persoonallisuudella, Cate, joka viittasi itseensä ensimmäisessä persoonassa. Lopulta kuitenkin päätin, että ihmisenä esiintyminen oli epäaitoa. Cate ei ollut henkilö, eikä halunnut potilaiden ajatella sitä. Poistimme siis persoonanimen ja siirryimme monikolliseen “Me”-muotoon, jotta se nähtäisiin hoitotiimin jatkeena, mikä se olikin. Kokemus opetti minulle, että automatisoidut ratkaisut voivat silti tuntua aidolta ihmisen hoidon jatkeelta ilman, että ne teeskentelevät ihmisyyttä.

Siirrymme nyt Spokeniin, jossa keskitymme aitoon, ihmiskeskeiseen ilmaisun. Ongelma, jonka autamme ratkaisemaan, on ilmeinen – useimmat tarinat eivät pääse nopeimmin kasvavan yleisön (kuuntelijoiden) äärelle täyden äänipotentiaalinsa vuoksi, koska aika‑ ja kustannusrajoitteet rajoittavat niitä – mutta pitkäaikainen filosofiani olla aito ihmisten jatke on vaikuttanut merkittävästi. Toisin kuin AI‑podcastit, jotka yrittävät luoda kevyttä jutustelua tai agentit, jotka jäljittelevät myötätuntoa, Spokenin Multi‑Cast‑kerronta tuo kirjailijan todelliset sanat eloon. Koska kerromme tarinoita, emme yritä jäljitellä ihmisten vuorovaikutusta, eikä AI:lla ole esittäytymistä henkilönä. Nämä ovat tarinan hahmoja, joten voimme välttää sekaannuksia ja ristiriitoja.

Kirjailijana, joka kirjoittaa kovaa tieteiskirjallisuutta, ja AI‑yrittäjänä, miten odotit tekoälyn kehittyvän, ja missä AI:n kehityksen todellisuus on poikennut eniten kuvittelemastasi tulevaisuudesta?

Tämä kysymys on minulle rakas. Rakastan elää taiteen, tieteen ja teknologian leikkauspisteessä, ja automatisoitujen järjestelmien kuvaaminen lähitulevaisuuden sci‑fi‑kirjoissani on loistava esimerkki siitä. Itse asiassa jokainen tulevaisuuden yritys, josta kirjoitan – ja niitä on useita – omistaa minulla toimialan, jonka olen suunnitellut, tuotteen, jonka olen luonut, ja konseptin, jonka uskon voivan joskus muuttua oikeaksi yritykseksi. Jopa taloni edessä oleva veistos on mallinnettu modernistisen The Kite Factory -logon muotoon, yritykseen, jonka uskon jonain päivänä kehittävän anti‑painovoisuutta, joka muuttaa planeetan!

Keskittyessäni tekoälyyn, minulla on ongelma, kun tulevaisuuden sci‑fi ei käsittele, miten ihmiset hankkivat, käyttävät ja jakavat tietoa. Vuonna 2100, soittavatko he edelleen puhelimella soittaakseen ihmisiä ja saadakseen faktatietoja? Kirjoittamisen ja todellisen elämän filosofiani on yksinkertainen: Mitä voidaan automatisoida, se automatisoidaan, ja me suuntaudumme aina kohti reaaliaikaisempaa, yhteistyökykyisempää ja fyysisesti integroitua tietoa. On kuitenkin lisättävä, että minulla on henkilökohtainen vastenmielisyys implantteihin. Tästä syystä, kirjani taustatarinassa, kun Elon Musk kytki Starlink‑satelliittinsa Neuralink‑implanteihinsa ja alkoi lähettää viestejä suoraan ihmisten aivoihin, kielsimme aivoimplanteista!

Kysymykseen poikkeamasta: koska uskon, että mitä voidaan automatisoida, se automatisoidaan, faktatietojen automatisointi tapahtuu yksinkertaisena väistämättömyytenä. Kuitenkin sydämen asioissa – taide, musiikki ja tarinat – on tapahtunut jonkin verran poikkeamaa. Koska AI on koulutettu olemassa oleviin malleihin, se ei koskaan pysty luomaan jotain täysin uutta. Silti ihmiset kirjoittavat tarinoita, luovat taidetta ja säveltävät musiikkia tekoälyn avulla. Miten se on mahdollista? Koska taiteen ei tarvitse olla täysin uutta tai ainutlaatuista. Uskon, että tulevaisuudessa ne luomukset, jotka rikkovat kaavan, ovat entistä arvokkaampia. Toivon, että pystymme edelleen tunnistamaan, kun näin tapahtuu.

Äskettäinen Edison Research -tutkimus vertasi Spokenin monikertojatuotantoa ammattilaisen tuottamaan, yhden kertojan ihmiskertojan versioon. Kuinka suuri osa Spokenin edusta johtuu taustalla olevasta tekoälyteknologiasta, ja kuinka suuri osa johtuu siitä, että jokaiselle hahmolle annetaan oma ääni? Miten tulokset voisivat poiketa täyden ihmiskokoonpanon kanssa?

Tarina ja jokaisen hahmon täydellisen äänen analysointi on itse asiassa suuri osa AI:ta. Käymme läpi intensiivisen agenttiprosessin, jonka avulla johdamme tarinan taustakerrokset, alkeista kuten genre ja kieli, rytmiin, jonka aksentit ja tyyli määräävät, sekä monen hahmon vuorovaikutuksen kohtauksellista yhtenäisyyttä. Kaikki nämä AI‑ohjatut kerrokset vaikuttavat hahmon äänenkerrontaan. Tätä kutsumme “Magic Modeksi”, ja sen voi ajatella kuin maalin sekoittamista.

Kun tarkastellaan, miten tulokset voisivat poiketa täyden ihmiskokoonpanon kanssa, se lopulta riippuu kustannuksista ja työnkulusta. Yhden klikkauksen ja satojen dollarien hinta verrattuna täyteen kokoonpanoon ei ole indie‑kirjailijoiden ja suurimpien kustantajien ulottuvilla, minkä vuoksi se ei ollut vertailupisteemme. Laadun osalta uskon kuitenkin, että olemme jo lähestymässä tasoa täyden kokoonpanon kanssa, joten laatu on erottamatonta.

Spoken Multi‑Cast sai korkeampia arvosteluja hahmoihin perustuvissa kohtauksissa, kun taas ihmiskerronta suoriutui paremmin eksposiosta. Mikä tekee ei‑dialogiokoista erityisen vaikeita AI‑kerronnalle, ja miten pyritte kaventamaan tätä eroa?

Itse asiassa ei ole niin, että ei‑dialogiokohdat olisivat vaikeita AI‑kerronnalle; kyse on siitä, että AI:n on käytettävissä olevien dynamiikkojen määrä on edelleen pienempi kuin ihmisen ääni­näyttelijän. Ajattele kaikkia sävyjen ja esitystapojen nyansseja, joita yksi kertojan voi tuoda kohtaukseen. Multi‑castissa dynamiikkojen määrä on kuitenkin paljon suurempi, koska hahmojen äänet ovat monipuolisia ja personoituja, ja niiden sekoittaminen on kuin maalin sekoittamista. Tämä tarkoittaa, että monikertojakohtaukset voivat tuoda esiin useiden ihmisten vuorovaikutuksen realismia tavalla, johon yksi kertojan olisi vaikea vastata.

Mitä tulee eron kaventamiseen, yhden kertojan AI‑kerronnassa käytettävien dynamiikkojen määrä jatkaa kasvuaan, ja ero kaventuu edelleen.

Ennen näytteiden kuulemista vain 31 % osallistujista oli kiinnostunut AI‑kerratuista äänikirjoista, mutta luku nousi 65 %:iin sen jälkeen, kun he kokivat Spoken Multi‑Castin. Mitkä esityksen elementit uskot vaikuttaneen eniten heidän käsitystensä muuttumiseen?

Itse asiassa tilanne oli päinvastainen, ja tämä kyselyn suunnitteluelementti on erittäin tärkeä. 65 % sanoi, että he kuuntelisivat koko äänikirjan tällä kerronnalla kuultuaan otteita, ennen kuin tietäisivät sen olevan AI. Kyselimme sitten yleisemmin, olisivatko he valmiita kuuntelemaan AI‑kerrattuja äänikirjoja, ja vain 31 % vastasi myöntävästi. Seuraavaksi kysyimme, luulivatko he kuulevansa AI‑kerrontaa. Vain 39 % niistä, jotka kuulivat Spoken Multi‑Castia, epäili sen olevan AI, verrattuna 35 %:iin, jotka kuulivat ihmiskerrontaa ja ajattelivat senkin saattavan olla AI. Tämä sai seuraavan kysymyksen esiin: Nyt kun tiedät tämän, olisitko valmis kuuntelemaan AI:n kertomaa äänikirjaa? Tämä halukkuus nousi 43 %:iin altistuksen jälkeen, ja pyrimme aktiivisesti kaventamaan eroa kohti 65 %:n tavoitetta.

Voisitko käydä läpi agenttipohjaisen AI‑työnkulun, joka muuntaa ladatun käsikirjoituksen moniääniseksi äänikirjaksi, mukaan lukien miten järjestelmä tunnistaa puhujat, tulkitsee hahmot, jakaa äänet ja määrittää tunteen, ajoituksen ja esitystavan?

Koska prosessiin liittyvät patenttimme ovat vielä vireillä, tiivistän sen korkealla tasolla sanomalla, että se on intensiivinen agenttiprosessi, joka tuottaa useita kerroksia. Se on prosessi, jonka olemme hiouttaneet yli kahden vuoden aikana. Tarinan alkeet, tarinan rytmi, kohtauksen yhtenäisyys ja lopulta tarkat hahmoäänet, tai kuten pidän niitä, “maalipinnoitteena”, ovat kaikki osa sitä. Tunne‑ ja ajoituskäyrän saaminen on kriittistä, ja panostamme siihen eniten. Usein yllättää, että AI, jota käytetään valmisteluun, on noin viisi kertaa enemmän kuin AI, jota käytetään varsinaisessa kerronnassa.

Kuinka paljon luova kontrolli säilyy kirjailijalla lopullisessa tuotannossa, ja mitä työkaluja on saatavilla, kun AI tulkitsee hahmon, ääntämisen, tunne‑iskun tai narratiivisen tarkoituksen väärin?

Kirjailijalla on täysi hallinta lopulliseen tuotantoon. Olipa kyse tunne‑inflaatioista, aksenteista, äänen värityksestä tai ajoituksesta, hän hallitsee kaikkea. Tavoitteenamme on saada se mahdollisimman lähellä täydellisyyttä yhdellä napsautuksella. Jos kirjailija, kustantaja tai tuottaja tarvitsee hyvin tarkkaa kohtauksen esittämistä, he voivat käyttää “Speak It” -toimintoa puhuakseen mikrofonin kautta ja näyttää, miten haluavat sen esitettävän, ja hahmoääni tottelee kauniisti.

Uskomme, että kirjailijoiden tulisi tuntea täysi omistusoikeus työhönsä, mukaan lukien heidän avaus‑ ja lopetus‑krediittinsä äänet. Jopa “Made with Spoken” käyttää valitsemaansa ääntä, myös heidän omaa henkilökohtaista ääntä, jos he niin haluavat.

Spoken mahdollistaa kirjailijoille räätälöityjen äänien sekä hyväksyttyjen äänikloonien käytön ammattilaisnäyttelijöiltä, jotka saavat korvauksen äänensä käytöstä. Miten suostumus, omistajuus, korvaus, peruutusoikeus ja suoja luvattomaa kloonausta vastaan on sisällytetty tähän malliin?

Käytämme ainoastaan äänikumppaneita, jotka noudattavat tiukkaa eettistä ohjetta, joka sisältää äänien luvattoman käytön havaitsemisen ja estämisen (erityisen tärkeä suojata tunnettujen julkkisten äänet). Esimerkiksi meillä on kirjastoissamme monia ElevenLabsin huippuääniä. Nämä ääninäyttelijät saavat maksun jokaisesta kirjailijoidemme käyttökerrasta.

Näetkö AI‑kerronnan ensisijaisesti laajentavan äänikirjamarkkinoita tekemällä aiemmin taloudellisesti kannattamattomat teokset mahdollisiksi, vai korvaako se myös perinteisen tuotannon osia? Mitkä roolit pysyvät selvästi ihmisenä teknologian kehittyessä?

Kuvittelemme valtavasti laajentunutta äänikirjamarkkinaa, joka houkuttelee uusia lukijoita, erityisesti uuden, elävän monikertojakapasiteetin ansiosta. Lopulta tämä laajentunut markkina-alue ohjautuu teknologian ja ihmisten hybridin kautta. Aika näyttää, mutta tämä muutos ei ehkä liity siihen, onko ääni ihmisen tai AI:n tuottama, vaan enemmänkin kirjailijan/tuottajan hallinnan työnkulkuun ja yleisön kuuntelutottumusten jatkuvaan muutokseen.

Spoken yhdistää äänikirjatuotannon julkaisuun, löytöön, suoratoistoon, yhteisöön ja ansaintamalliin. Miten AI voisi lopulta muuttaa itse tarinankerrontaa sen sijaan, että se vain nopeuttaisi ja tekisi olemassa olevan äänikirjatuotantoprosessin edullisemmaksi?

Mitä se merkitsee lukijalle tai kuuntelijalle, kun “hukuttautuu tarinaan”? Tässä on koko asian ydin: tarjota yleisölle immersiivinen äänikokemus aikana, jolloin kysyntä hahmoihin perustuville fiktiolle kasvaa ja ääni on nouseva tarinoiden kulutustapa. Lopulta, olipa kyseessä lyhyt tarina, henkilökohtainen muistelma, fanfic tai eeppinen fantasia, nopeus ja alhaiset kustannukset elävän, luonnollisen esityksen luomisessa tulevat vaikuttamaan syvästi pitkän aikavälin seurauksiin. Nykyinen äänikirjamarkkina on lyhyen aikavälin mahdollisuus, mutta lyhytmuotoiset, pystysuorat lyhytvideot, sarjat, fanfic ja lukuisat sivuhaarat kukoistavat sen seurauksena. Ja kun ne tekevät niin, haluamme Spoken Multi‑Cast^TM olla niiden ytimessä.

Kiitos loistavasta haastattelusta, lukijat, jotka haluavat oppia lisää, tulisi vierailla Spoken.