Phil Marshall, założyciel i dyrektor generalny Spoken – seria wywiadów

Phil Marshall, założyciel i dyrektor generalny Spoken, jest lekarzem, wynalazcą, przedsiębiorcą technologicznym i pisarzem science‑fiction, którego kariera obejmuje opiekę zdrowotną, media cyfrowe, sztuczną inteligencję i innowacje produktowe. Przed uruchomieniem Spoken w 2024 roku Marshall współzałożył Conversa Health, firmę zajmującą się spersonalizowanym zaangażowaniem pacjentów i konwersacyjną sztuczną inteligencją, którą w 2021 roku przejęło Amwell i stała się częścią jego zautomatyzowanego wirtualnego systemu opieki. Wcześniej spędził ponad dekadę w WebMD jako wiceprezes ds. strategii produktu, później pełnił funkcję starszego wiceprezesa ds. zarządzania produktem w Press Ganey Associates oraz założył startup technologii wideo współpracy JumperCut. Jego praca coraz bardziej koncentruje się na przecięciu AI, opowiadania historii, interfejsów mózg‑komputer oraz technologii wiedzy, łącząc doświadczenie technologa i przedsiębiorcy z zainteresowaniami science‑fiction i nowymi formami interakcji cyfrowej.

Spoken to platforma audiobooków napędzana sztuczną inteligencją, zaprojektowana, aby pomóc autorom, wydawcom i posiadaczom praw przekształcić rękopisy w profesjonalnie wyprodukowane nagrania audio bez konieczności korzystania z tradycyjnego studia nagraniowego. Jej technologia analizuje język, styl, strukturę narracji i postacie w rękopisie, po czym przydziela odrębne głosy do narracji i dialogu, obsługując produkcje z pojedynczym narratorem, podwójnym narratorem oraz wielogłosowe (multi‑cast). Autorzy mogą korzystać z niestandardowo wygenerowanych głosów, wybierać spośród ponad 100 płatnych profesjonalnych aktorów głosowych lub klonować własny głos, zachowując przy tym własność swojej pracy, masterów i praw dystrybucyjnych. Spoken oferuje także interfejs programistyczny (API) skierowany do wydawców, którzy chcą tworzyć audiobooki w większych katalogach, podkreślając przy tym etyczny model AI, w którym, jak podkreśla firma, teksty nie są wykorzystywane do trenowania systemów, a uczestniczący ludzcy aktorzy głosowi są wynagradzani.

Twoja kariera przeniosła Cię z medycyny i strategii produktu w WebMD, przez założenie Conversa Health, aż po Spoken. Jaki problem w tworzeniu audiobooków przekonał Cię do założenia Spoken i w jaki sposób Twoja wcześniejsza praca nad konwersacyjną sztuczną inteligencją wpłynęła na platformę, którą budujesz dzisiaj?

Z Conversa naszą misją było rozszerzenie głosu zespołu opieki poprzez automatyzację spersonalizowanego kontaktu, pytań kontrolnych i wskazówek, które kliniczny departament w dużym systemie opieki zdrowotnej przekazywałby pacjentom telefonicznie, gdyby miał na to czas. Początkowo antropomorfizowaliśmy bota, nadając mu osobowość o imieniu Cate, które odnosiło się do siebie w pierwszej osobie. Ostatecznie jednak uznałem, że udawanie człowieczeństwa jest nieuczciwe. Cate nie była osobą i nie chciałem, aby pacjenci tak myśleli. Dlatego usunęliśmy imię persony i przeszliśmy na liczbę mnogą „My”, aby było postrzegane jako rozszerzenie zespołu opieki, czym rzeczywiście było. To doświadczenie nauczyło mnie, że rozwiązania automatyczne mogą nadal sprawiać wrażenie autentycznego rozszerzenia ludzkiej opieki, nie udając przy tym człowieka.

Przechodząc do Spoken, koncentrujemy się na autentycznym, człowieczeńskim wyrazie. Problem, który pomagamy rozwiązać, jest oczywisty – większość opowieści nie może dotrzeć do najszybciej rosnącej publiczności (słuchaczy) z pełnym potencjałem audio ze względu na ograniczenia czasowe i kosztowe – ale moja długoletnia filozofia bycia prawdziwym rozszerzeniem ludzi odegrała w tym dużą rolę. W przeciwieństwie do podcastów AI, które próbują wymyślać pogawędki, czy agentów symulujących współczucie, narracja Multi‑Cast Spoken ożywia prawdziwe słowa autora. Ponieważ opowiadamy historie, a nie staramy się naśladować ludzkie interakcje, nie udajemy, że nasza AI jest osobą. To są postacie w historii, więc mamy szczęście uniknąć wszelkich nieporozumień i konfliktów.

Jako autor hard science‑fiction i przedsiębiorca AI, jak kiedyś spodziewałeś się, że sztuczna inteligencja będzie się rozwijać i w którym miejscu rzeczywistość rozwoju AI najbardziej odbiega od wyobrażonej przez Ciebie przyszłości?

To pytanie jest mi bardzo bliskie. Uwielbiam żyć na przecięciu sztuki, nauki i technologii, a przedstawianie zautomatyzowanych systemów w mojej bliskiej przyszłości science‑fiction jest tego doskonałym przykładem. W rzeczywistości każda przyszła firma, o której piszę – a jest ich kilka – posiada domenę, którą posiadam, produkt, który zaprojektowałem, oraz koncepcję, którą uważam, że może kiedyś stać się prawdziwą firmą. Nawet rzeźba przed moim domem jest wzorowana na nowoczesnym kształcie logo The Kite Factory, firmy, którą wyobrażam sobie jako twórcę technologii antygrawitacyjnej, która przekształci planetę!

Skupiając się na AI, mam problem, gdy futurystyczna sci‑fic nie porusza kwestii, w jaki sposób ludzie pozyskują, wykorzystują i udostępniają informacje. W roku 2100, czy naprawdę nadal będą używać telefonu, by dzwonić do ludzi i odpowiadać na pytania faktograficzne? Moja filozofia w pisaniu i w życiu jest prosta: to, co można zautomatyzować, zostanie zautomatyzowane, a my zawsze będziemy zmierzać w kierunku bardziej rzeczywistych, bardziej współpracujących i bardziej fizycznie zintegrowanych informacji. Muszę jednak dodać, że osobiście nie przepadam za implantami. Dlatego w tle mojej książki, gdy Elon Musk podłączył swoje satelity Starlink do implantów Neuralink i zaczął transmitować wiadomości bezpośrednio do mózgów ludzi, zakazaliśmy implantów mózgowych!

Jeśli chodzi o punkt rozbieżności: ponieważ wierzę, że to, co można zautomatyzować, zostanie zautomatyzowane, automatyzacja pytań faktograficznych jest po prostu nieunikniona. Jednak w kwestiach serca – sztuki, muzyki i opowieści – pojawiła się pewna rozbieżność. Ponieważ AI jest trenowane na istniejących wzorcach, z definicji nie będzie w stanie stworzyć czegoś naprawdę nowego. Mimo to ludzie piszą historie, tworzą sztukę i komponują muzykę przy użyciu AI. Jak to możliwe? Ponieważ sztuka nie musi być naprawdę nowa czy unikalna. Wierzę, że w przyszłości te dzieła, które przełamią schemat, będą jeszcze cenniejsze. Mam nadzieję, że nadal będziemy w stanie rozpoznać, kiedy tak się stanie.

Niedawne badanie Edison Research porównało produkcję multi‑cast Spoken z profesjonalnie wyprodukowaną, jednokrotnego narratora wersją ludzką. Jak dużą część przewagi Spoken przypisujesz podstawowej technologii AI, a jaką część wynika z przydzielenia każdej postaci odrębnego głosu? Jak wyniki mogłyby się różnić w porównaniu do pełnej ludzkiej obsady?

Analiza historii i każdej postaci w celu wypracowania ich idealnego głosu jest w rzeczywistości dużą częścią naszego AI. Przechodzimy przez intensywny proces agentowy, aby wyodrębnić podstawowe warstwy opowieści, od podstawowych elementów, takich jak gatunek i język, po rytm narzucony akcentami i stylem, a także spójność sceny z wieloma interakcjami postaci. Wszystkie te warstwy napędzane przez AI wpływają na rzeczywistą narrację głosu postaci. Nazywamy to „Trybem Magicznym” i można to porównać do mieszania kolorów farby.

Jeśli chodzi o to, jak wyniki mogłyby różnić się od pełnej ludzkiej obsady, wszystko sprowadza się do kosztów i przepływu pracy. Jedno kliknięcie i kilkaset dolarów, w porównaniu do pełnej obsady, nie jest dostępne dla niezależnych autorów i większości wydawców, dlatego nie był to nasz punkt odniesienia. Co do jakości, uważam jednak, że już zbliżamy się do równości z pełną obsadą, więc jakość będzie nieodróżnialna.

Spoken Multi‑Cast otrzymał wyższe oceny za sceny skoncentrowane na postaciach, podczas gdy ludzka narracja wypadała lepiej w części eksponującej. Co sprawia, że fragmenty pozanarracyjne są szczególnie trudne dla narracji AI i jak pracujecie nad zmniejszeniem tej różnicy?

W rzeczywistości nie chodzi o to, że fragmenty pozanarracyjne są trudne dla narracji AI; po prostu liczba dynamik, z którymi AI musi pracować, jest wciąż mniejsza niż w przypadku ludzkiego aktora głosowego. Pomyśl o każdej niuansie intonacji i wykonania, które pojedynczy narrator może wnieść do fragmentu. W przypadku multi‑cast liczba dynamik jest jednak znacznie większa ze względu na różnorodne, spersonalizowane barwy głosów postaci i proces ich mieszania, ponownie jak mieszanie farb. Oznacza to, że sceny multi‑cast mogą przybliżać realizm interakcji między wieloma osobami w sposób, którego pojedynczy narrator miałby trudność osiągnąć.

Jeśli chodzi o zmniejszanie tej różnicy, liczba dynamik używanych w narracji AI z pojedynczym narratorem będzie nadal rosnąć, a przepaść będzie się stopniowo zmniejszać.

Przed odsłuchaniem próbek jedynie 31 % uczestników wyraziło zainteresowanie audiobookami narrowanymi przez AI, ale po doświadczeniu Spoken Multi‑Cast odsetek ten wzrósł do 65 %. Które elementy występujące w prezentacji uważasz za najważniejsze w zmianie ich percepcji?

W rzeczywistości było odwrotnie i ten element projektowy ankiety jest niezwykle istotny. 65 % stwierdziło, że po odsłuchaniu fragmentów posłuchałoby całego audiobooka z taką narracją, zanim dowiedzieli się, że to AI. Następnie zapytaliśmy, ogólnie, czy byliby gotowi słuchać audiobooków narrowanych przy użyciu AI, i jedynie 31 % odpowiedziało twierdząco. Potem zapytaliśmy, czy uważają, że to, co usłyszeli, było AI. Tylko 39 % osób, które usłyszały Spoken Multi‑Cast, podejrzewało, że to może być AI, w porównaniu do 35 % słuchających wersji ludzkich, które myślały, że ich wersja może być AI. To spowodowało, że nasze kolejne pytanie wydało się oczywiste: Teraz, gdy już to wiesz, czy byłbyś skłonny posłuchać audiobooka narrowanego przez AI? Gotowość wzrosła do 43 % po ekspozycji i aktywnie optymalizujemy się, aby zbliżyć się do naszego benchmarku 65 %.

Czy możesz przeprowadzić nas przez agentowy przepływ pracy AI, który przekształca przesłany rękopis w audiobook wielogłosowy, w tym jak system identyfikuje mówców, interpretuje postacie, przydziela głosy oraz określa emocje, timing i sposób wykonania?

Biorąc pod uwagę nasze oczekujące patenty na ten proces, podsumuję go na wysokim poziomie, mówiąc, że jest to intensywnie agentowy proces dostarczający wiele warstw. To proces, który udoskonalaliśmy ponad dwa lata. Podstawy historii, rytm opowieści, spójność sceny oraz ostatecznie precyzyjne głosy postaci, które lubię nazywać „powłoką farby”, są jego elementami. Uzyskanie łuku emocjonalnego oraz timing jest kluczowe i pracujemy nad tym najintensywniej. Często ludzie są zaskoczeni, że AI używane do przygotowania narracji jest około 5‑krotnie większe niż AI używane w samej narracji.

Jak dużą kontrolę twórczą zachowuje autor nad ostateczną produkcją i jakie narzędzia są dostępne, gdy AI błędnie interpretuje postać, wymowę, emocjonalny rytm lub intencję narracyjną?

Autor ma pełną kontrolę nad ostateczną produkcją. Niezależnie czy chodzi o emocjonalne infleksje, akcenty, barwę głosu czy timing, kontroluje to wszystko. Naszym celem jest uzyskanie jak najdoskonalszego efektu jednym kliknięciem. Jeśli autor, wydawca lub producent potrzebuje bardzo konkretnego wykonania fragmentu, może użyć funkcji „Speak It”, aby mówić do mikrofonu i pokazać, jak ma być dostarczone, a głos postaci będzie pięknie podążał za instrukcją.

Wierzymy, że autorzy powinni czuć pełną własność swojej pracy, aż po głos użyty w otwierających i zamykających napisach. Nawet „Made with Spoken” użyje wybranego przez nich głosu, w tym ich własnego, jeśli tak zdecydują.

Spoken umożliwia autorom korzystanie z niestandardowo generowanych głosów oraz zatwierdzonych klonów głosowych od profesjonalnych narratorów, którzy są wynagradzani za użycie ich głosów. Jak w tym modelu uwzględniono zgodę, własność, wynagrodzenie, prawa do odwołania oraz ochronę przed nieautoryzowanym klonowaniem?

Używamy wyłącznie partnerów głosowych, którzy przestrzegają ścisłego kodeksu etyki, obejmującego wykrywanie i zakazywanie nieautoryzowanego użycia głosu (co jest szczególnie ważne w ochronie rozpoznawalnych głosów celebrytów). Na przykład w naszej bibliotece znajduje się wiele czołowych głosów z ElevenLabs. Ci aktorzy głosowi otrzymują wynagrodzenie za każde użycie ich głosu przez naszych autorów.

Czy uważasz, że narracja AI przede wszystkim rozszerzy rynek audiobooków, czyniąc opłacalnymi wcześniej nieopłacalne tytuły, czy też zastąpi części tradycyjnej produkcji? Które role pozostaną wyraźnie ludzkie w miarę dojrzewania technologii?

Wyobrażamy sobie znacznie rozszerzony rynek audiobooków, który przyciągnie nowych czytelników, szczególnie dzięki naszym nowym, żywym możliwościom multi‑cast. Ostatecznie ten rozszerzony rynek będzie napędzany hybrydą technologii i ludzi. Czas pokaże, ale ta transformacja może mniej dotyczyć tego, czy to ludzka talent głosowy czy AI, a bardziej przepływu pracy autor/producent oraz nieustannie zmieniających się nawyków słuchania publiczności.

Spoken łączy produkcję audiobooków z publikacją, odkrywaniem, streamingiem, społecznością i monetyzacją. W jaki sposób AI ostatecznie może zmienić samo opowiadanie historii, a nie tylko przyspieszyć i obniżyć koszty istniejącego procesu produkcji audiobooków?

Co to znaczy, że czytelnik lub słuchacz „zanurza się w historii”? O to właśnie w całości chodzi: zapewnienie odbiorcom immersyjnego doświadczenia audio w czasie, gdy rośnie zapotrzebowanie na fikcję skoncentrowaną na postaciach, a audio staje się dominującą formą konsumowania opowieści. Ostatecznie, niezależnie czy to opowiadanie, osobista pamiętnik, fanfic czy epicka fantasy, szybkość i niskie koszty tworzenia żywej, naturalnej narracji będą miały głębokie, długoterminowe konsekwencje. Obecny rynek audiobooków to krótkoterminowa szansa, ale krótkie formy, pionowe krótkie filmy, seriale, fanfic i liczne odnośne projekty będą w tym prosperować. A kiedy tak się stanie, chcemy, aby Spoken Multi‑Cast™ był ich sercem.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Spoken.