Phil Marshall, fondateur et PDG de Spoken – Série d’interviews

Phil Marshall, fondateur et PDG de Spoken, est médecin, inventeur, entrepreneur technologique et écrivain de science-fiction dont la carrière a traversé les secteurs de la santé, des médias numériques, de l’intelligence artificielle et de l’innovation produit. Avant de lancer Spoken en 2024, Marshall a cofondé Conversa Health, une société d’engagement personnalisé des patients et d’IA conversationnelle qui a été acquise par Amwell en 2021 et intégrée à son activité de soins virtuels automatisés. Au début de sa carrière, il a passé plus d’une décennie chez WebMD en tant que vice-président de la stratégie produit, a ensuite occupé le poste de vice-président principal de la gestion produit chez Press Ganey Associates, et a fondé la start‑up de technologie vidéo collaborative JumperCut. Son travail se concentre de plus en plus sur l’intersection de l’IA, de la narration, des interfaces cerveau‑ordinateur et des technologies du savoir, combinant son expérience de technologue et d’entrepreneur avec ses intérêts pour la science‑fiction et les formes émergentes d’interaction numérique.

Spoken est une plateforme de livres audio propulsée par l’IA, conçue pour aider les auteurs, éditeurs et détenteurs de droits à transformer des manuscrits en audio professionnel sans recourir à un studio d’enregistrement traditionnel. Sa technologie analyse la langue, le style, la structure narrative et les personnages d’un manuscrit avant d’attribuer des voix distinctes pour la narration et les dialogues, prenant en charge les productions à narrateur unique, double narrateur et multi‑cast. Les auteurs peuvent utiliser des voix générées sur mesure, choisir parmi plus de 100 acteurs vocaux professionnels payants, ou cloner leur propre voix, tout en conservant la propriété de leur œuvre, des masters et des droits de distribution. Spoken propose également une interface de programmation d’applications (API) destinée aux éditeurs souhaitant produire des livres audio pour de plus grands catalogues, tout en mettant l’accent sur un modèle d’IA éthique selon lequel les œuvres écrites ne sont pas utilisées pour entraîner ses systèmes et les acteurs vocaux humains participants sont rémunérés.

Votre carrière vous a conduit de la médecine et de la stratégie produit chez WebMD à la création de Conversa Health et maintenant à Spoken. Quel problème dans la création de livres audio vous a convaincu de fonder Spoken, et comment votre travail précédent en IA conversationnelle a-t-il influencé la plateforme que vous construisez aujourd’hui ?

Avec Conversa, notre mission était d’étendre la voix de l’équipe de soins en automatisant des contacts personnalisés, des questions de suivi et des conseils qu’un service clinique d’un grand système de santé fournirait directement aux patients par téléphone, s’ils en avaient le temps. Au départ, nous avons anthropomorphisé le bot avec une persona, Cate, qui se référait à elle-même à la première personne. Finalement, j’ai décidé que feindre l’humanité était trompeur. Cate n’était pas une personne, et je ne voulais pas que les patients le croient. Nous avons donc retiré le nom de la persona et adopté le pluriel « Nous » afin qu’il soit perçu comme une extension de l’équipe de soins, ce qui était le cas. Cette expérience m’a montré que les solutions automatisées peuvent toujours se sentir comme une véritable extension des soins humains sans prétendre être humaines.

En avançant rapidement vers Spoken, nous nous concentrons sur une expression authentique et centrée sur l’humain. Le problème que nous aidons à résoudre est évident : la plupart des histoires ne peuvent pas atteindre le public à la croissance la plus rapide (les auditeurs) avec tout leur potentiel audio en raison de contraintes de temps et de coût, mais ma philosophie de longue date d’être une véritable extension des humains a joué un rôle majeur. Contrairement aux podcasts IA qui tentent de fabriquer du bavardage ou aux agents qui simulent la compassion, la narration Multi‑Cast de Spoken donne vie aux véritables mots d’un auteur. Parce que nous racontons des histoires, sans essayer de reproduire les interactions humaines, il n’y a aucune prétention que notre IA soit une personne. Ce sont des personnages d’une histoire, nous sommes donc heureux d’éviter toute confusion ou conflit.

En tant qu’écrivain de hard science‑fiction et entrepreneur en IA, comment imaginiez‑vous l’évolution de l’intelligence artificielle, et où la réalité du développement de l’IA a‑t‑elle divergé le plus nettement de votre futur imaginaire ?

Cette question me tient à cœur. J’adore évoluer à l’intersection de l’art, de la science et de la technologie, et dépeindre des systèmes automatisés dans ma science‑fiction proche est un excellent exemple de cela. En fait, chaque entreprise futuriste dont je parle – et il y en a plusieurs – possède un domaine que j’ai détenu, un produit que j’ai conçu, et un concept que je crois pouvoir devenir un jour une vraie société. Même la sculpture devant ma maison est inspirée de la forme moderniste du logo de The Kite Factory, une entreprise que j’imagine créer un jour la technologie d’anti‑gravité qui transformera la planète !

En me concentrant sur l’IA, je constate un problème lorsque la science‑fiction future ne traite pas de la manière dont les gens obtiennent, utilisent et partagent l’information. En l’an 2100, utilisent‑ils encore un téléphone pour appeler les gens afin de répondre à des questions factuelles ? Ma philosophie en écriture, et dans la vie réelle, est simple : ce qui peut être automatisé sera automatisé, et nous tendrons toujours vers une information plus en temps réel, plus collaborative et plus intégrée physiquement. Je dois toutefois ajouter que j’ai une aversion personnelle pour les implants. C’est pourquoi, dans le contexte de mon livre, lorsque Elon Musk a relié ses satellites Starlink à ses implants Neuralink et a commencé à diffuser des messages directement dans le cerveau des personnes, nous avons interdit les implants cérébraux !

En réponse à la question de la divergence : comme je crois que ce qui peut être automatisé sera automatisé, l’automatisation des questions factuelles se produit comme une simple inévitabilité. Cependant, en ce qui concerne les questions de cœur – l’art, la musique et les histoires – il y a eu une certaine divergence. Parce que l’IA est entraînée sur des schémas préexistants, elle ne pourra jamais créer quelque chose de réellement nouveau. Pourtant, les gens écrivent des histoires, créent de l’art et composent de la musique en utilisant l’IA. Comment cela est‑il possible ? Parce que l’art n’a pas besoin d’être véritablement nouveau ou unique. Je crois que cela signifiera que, à l’avenir, les créations qui brisent réellement les moules seront encore plus précieuses. J’espère que nous serons toujours capables de reconnaître quand cela se produit.

L’étude d’Edison Research a comparé la production multi‑cast de Spoken à une version humaine professionnelle à narrateur unique. À quel point attribuez‑vous l’avantage de Spoken à la technologie d’IA sous‑jacente, et à quel point provient‑il du fait d’attribuer à chaque personnage une voix distincte ? En quoi les résultats pourraient‑ils différer d’un casting humain complet ?

Analyser l’histoire et chaque personnage afin de déterminer leur voix parfaite constitue en fait une grande partie de notre IA. Nous suivons un processus intensif et agentique pour extraire les couches sous‑jacentes de l’histoire, des rudiments comme le genre et la langue à la cadence dictée par les accents et le style, ainsi que la cohésion des scènes avec plusieurs personnages interagissant. Toutes ces couches pilotées par l’IA alimentent la narration vocale réelle du personnage. C’est ce que nous appelons le « Magic Mode », que l’on peut imaginer comme le mélange de couleurs de peinture.

Quant à la façon dont les résultats pourraient différer d’un casting humain complet, cela revient essentiellement aux coûts et au flux de travail. Un clic unique et quelques centaines de dollars, comparé à un casting complet, n’est pas accessible aux auteurs indépendants et à la plupart des éditeurs, c’est pourquoi ce n’était pas notre point de comparaison. En ce qui concerne la qualité, cependant, je crois que nous nous rapprochons déjà de la parité avec un casting complet, de sorte que la qualité sera indiscernable.

Spoken Multi‑Cast a reçu des notes plus élevées pour les scènes centrées sur les personnages, tandis que la narration humaine a mieux performé lors de l’exposition. Qu’est‑ce qui rend les passages non dialogués particulièrement difficiles pour la narration IA, et comment travaillez‑vous à combler cet écart ?

En réalité, ce n’est pas que les passages non dialogués soient difficiles pour la narration IA ; c’est simplement que le nombre de dynamiques dont l’IA dispose est encore inférieur à celui dont dispose un acteur vocal humain. Imaginez chaque nuance d’inflexion et de livraison qu’un narrateur unique peut apporter à un passage. Avec le multi‑cast, cependant, le nombre de dynamiques est bien plus grand grâce aux timbres variés et personnalisés des voix des personnages et au processus de les mélanger, encore une fois, comme des couleurs de peinture. Cela signifie que les scènes multi‑cast peuvent faire ressortir le réalisme des interactions entre plusieurs personnes d’une manière qu’un narrateur unique aurait du mal à égaler.

En ce qui concerne la réduction de l’écart, le nombre de dynamiques utilisées dans la narration IA à narrateur unique continuera d’augmenter, et l’écart continuera de se réduire.

Avant d’écouter les extraits, seulement 31 % des participants manifestaient de l’intérêt pour les livres audio narrés par IA, mais ce chiffre est passé à 65 % après avoir découvert Spoken Multi‑Cast. Quels éléments de la performance pensez‑vous être les plus responsables de ce changement de perception ?

En réalité, c’est l’inverse, et cet élément de conception du sondage est très important. 65 % ont déclaré qu’ils écouteraient un livre audio complet avec cette narration après avoir entendu les extraits, avant de savoir qu’il s’agissait d’une IA. Nous avons ensuite demandé, de façon plus générale, s’ils seraient prêts à écouter des livres audio narrés par IA, et seulement 31 % ont répondu oui. Ensuite, nous avons demandé s’ils pensaient que ce qu’ils avaient entendu était une IA. Seulement 39 % de ceux qui ont entendu Spoken Multi‑Cast soupçonnaient qu’il pouvait s’agir d’une IA, contre 35 % de ceux qui ont entendu les versions humaines et pensaient que les leurs pouvaient être IA. Cela a fait surgir notre prochaine question : maintenant que vous le savez, seriez‑vous prêt à écouter un livre audio narré par IA ? Cette volonté est passée à 43 % après exposition, et nous travaillons activement à réduire l’écart pour atteindre notre référence de 65 %.

Pouvez‑vous nous expliquer le flux de travail agentique de l’IA qui transforme un manuscrit téléchargé en un livre audio à voix multiples, y compris comment le système identifie les locuteurs, interprète les personnages, attribue les voix et détermine l’émotion, le timing et la livraison ?

Étant donné nos brevets en cours sur le processus, je me contenterai d’en résumer les grandes lignes en disant qu’il s’agit d’un processus intensément agentique qui délivre plusieurs couches. C’est un processus que nous avons affiné pendant plus de deux ans. Les rudiments de l’histoire, la cadence de l’histoire, la cohésion des scènes, et enfin les voix précises des personnages, ou comme j’aime les appeler « la couche de peinture », font tous partie du processus. Obtenir l’arc de la livraison émotionnelle et le timing est crucial, et nous y travaillons plus que tout. Il surprend souvent les gens que l’IA utilisée pour préparer la narration représente environ 5 fois la quantité d’IA utilisée dans la narration proprement dite.

Quel degré de contrôle créatif un auteur conserve‑t‑il sur la production finale, et quels outils sont disponibles lorsque l’IA interprète mal un personnage, une prononciation, un battement émotionnel ou une intention narrative ?

L’auteur possède un contrôle absolu sur la production finale. Qu’il s’agisse des inflexions émotionnelles, des accents, du timbre de la voix ou du timing, il contrôle tout. Notre objectif est de les rendre aussi exquis qu’un simple clic le permet. Si l’auteur, l’éditeur ou le producteur a besoin d’une livraison très précise d’un passage, il peut utiliser « Speak It » pour parler dans son microphone et montrer comment il souhaite que cela soit délivré, et la voix du personnage obéira magnifiquement.

Nous pensons que les auteurs doivent ressentir une pleine propriété de leur œuvre, jusqu’à la voix utilisée dans leurs génériques d’ouverture et de clôture. Même « Made with Spoken » utilisera la voix de leur choix, y compris leur propre voix personnelle s’ils le souhaitent.

Spoken permet aux auteurs d’utiliser des voix générées sur mesure ainsi que des clones vocaux approuvés provenant de narrateurs professionnels qui sont rémunérés lorsque leurs voix sont utilisées. Comment le consentement, la propriété, la rémunération, les droits de révocation et la protection contre le clonage non autorisé sont‑ils intégrés dans ce modèle ?

Nous n’utilisons que des partenaires vocaux qui respectent un code d’éthique strict, incluant la détection et l’interdiction d’utilisation non autorisée d’une voix (particulièrement important pour protéger les voix notables de célébrités). Par exemple, nous disposons de nombreuses voix de premier plan provenant d’ElevenLabs dans notre bibliothèque. Ces acteurs vocaux sont rémunérés à chaque utilisation par nos auteurs.

Voyez‑vous la narration IA principalement comme un moyen d’élargir le marché du livre audio en rendant viables des titres auparavant non économiques, ou remplacera‑t‑elle également des parties de la production traditionnelle ? Quels rôles resteront clairement humains à mesure que la technologie mûrit ?

Nous envisageons un marché du livre audio largement élargi qui attire de nouveaux lecteurs, notamment grâce à nos nouvelles capacités de multi‑cast vivantes. En fin de compte, ce marché étendu sera propulsé par un hybride de technologie et d’humains. Le temps le dira, mais cette transformation portera peut‑être moins sur la question du talent vocal humain versus l’IA, et davantage sur le flux de travail de contrôle auteur/producteur et les habitudes d’écoute en constante évolution du public.

Spoken combine la production de livres audio avec l’édition, la découverte, le streaming, la communauté et la monétisation. Comment l’IA pourrait‑elle finalement transformer la narration elle‑même, plutôt que de simplement rendre le processus de production de livres audio existant plus rapide et moins coûteux ?

Que signifie pour un lecteur ou un auditeur « se perdre dans l’histoire » ? C’est vraiment le cœur du sujet : offrir au public une expérience audio immersive à un moment où la demande pour la fiction centrée sur les personnages augmente et où l’audio devient la modalité dominante de consommation d’histoires. En fin de compte, qu’il s’agisse d’une nouvelle, d’un mémoire personnel, d’un fan‑fic ou d’une épopée fantastique, la rapidité et le faible coût de création d’une livraison vive et naturelle auront des répercussions profondes à long terme. Le marché actuel du livre audio constitue l’opportunité à court terme, mais les formats courts, les courts métrages verticaux, les séries, les fan‑fic et de nombreuses dérivés prospéreront en conséquence. Et lorsqu’ils le feront, nous voulons que Spoken Multi‑Cast^TM soit au cœur de ceux‑ci.

Merci pour cette excellente interview, les lecteurs qui souhaitent en savoir plus devraient visiter Spoken.