Tomer Aharoni, PDG et co-fondateur de Nagish – Série d’entretiens

Tomer Aharoni, PDG et co-fondateur de Nagish, réunit une solide formation technique issue de son travail en tant qu’ingénieur logiciel chez Bloomberg, de recherches en NLP et IoT à l’Université Columbia, ainsi que d’expériences antérieures dans des rôles de renseignement technologique au sein des forces de défense israéliennes, le tout animé par sa passion pour l’accessibilité et l’intersection de la technologie et de la communication.

Nagish est une plateforme de communication alimentée par l’IA conçue pour rendre les appels téléphoniques entièrement accessibles aux personnes sourdes ou malentendantes. L’application offre une sous-titrage en temps réel et des capacités de texte-à-parole tout en permettant aux utilisateurs de conserver leur numéro de téléphone existant, de maintenir une totale confidentialité et de gérer les conversations grâce à des fonctionnalités telles que des dictionnaires personnalisés, des transcripts enregistrés et une intégration transparente des appareils.

Vous avez travaillé chez Bloomberg et mené des recherches en NLP à Columbia, quel moment ou quelle révélation vous a conduit à canaliser cette expérience dans la création de Nagish ?

Pendant mes études de premier cycle à Columbia, je me trouvais un jour en classe lorsque j’ai reçu un appel téléphonique. Je n’ai pas pu répondre car cela aurait interrompu toute la classe, ce qui m’a fait réfléchir à la façon dont on peut passer un appel téléphonique si l’on ne peut pas entendre ou parler ? Cette pensée a conduit à une question plus large : comment les personnes sourdes ou malentendantes communiquent-elles au téléphone ?

C’était en 2019, et nous (Alon Ezer, mon co-fondateur, et moi) avons découvert que la communauté sourde dépendait fortement d’interprètes et d’assistants de sous-titrage. Nous avons trouvé cela incroyable, nous avons donc commencé à contacter des personnes de la communauté sourde locale, et ce que nous avons entendu était vraiment surprenant pour nous. « Je raccroche lorsque quelqu’un m’appelle », « Je n’utilise pas le téléphone », ou « Je demande à mon frère d’appeler pour moi », étaient quelques-unes des réponses que nous avons obtenues lorsque nous avons demandé aux gens comment ils utilisaient le téléphone.

Plus tard, cet été-là, j’ai effectué un stage en tant qu’ingénieur logiciel chez Bloomberg. Dans mon équipe, nous avions un autre stagiaire qui était sourd. Chaque fois que je voulais le rencontrer, j’ai dû coordonner les horaires avec lui et deux interprètes. Le « sautons sur un appel rapide pour régler cela » était tout simplement impossible. Après avoir discuté avec les ressources humaines à ce sujet, j’ai appris que trouver ces deux interprètes qui connaissaient le jargon technique était presque impossible et que nous les utilisions chaque fois qu’ils étaient disponibles, mais qu’ils n’étaient pas disponibles à plein temps.

Au fur et à mesure que nous apprenions davantage, il est devenu clair que ces désagréments n’étaient pas isolés mais faisaient partie d’un modèle beaucoup plus large. Même aujourd’hui, avec les progrès qui ont amélioré l’accessibilité, il existe encore de nombreux défis et domaines qui nécessitent une attention. Chez Nagish, nous avons récemment mené une enquête et publié un rapport, L’impact de la technologie de communication dans l’autonomisation des sourds et des malentendants, qui a révélé que 65 % des personnes sourdes ont déclaré avoir besoin de l’aide d’une personne entendante au moins une fois par semaine pour communiquer efficacement. Cette dépendance crée de véritables obstacles dans les milieux professionnels, comme en témoigne le fait que 62 % des répondants sourds ont déclaré que les défis de communication avaient influencé leurs décisions de carrière et limité leur capacité à poursuivre ou à progresser dans certains rôles.

Ces expériences, ainsi que mes liens croissants avec des personnes sourdes, m’ont conduit à créer la première version de Nagish. Nous avons une conviction qui n’a pas changé : la communication devrait être accessible et privée.

Alon et moi avons créé un prototype, et la réponse a été incroyable. Nous avons réalisé à quel point Nagish pouvait être transformateur. Puis la COVID est arrivée, et le besoin a explosé car le monde est devenu distant, et le manque d’accessibilité dans la façon dont les gens communiquent est vraiment devenu apparent.

Pouvez-vous partager ce que les premiers jours de Nagish ont été, et quels défis vous avez rencontrés en fusionnant les objectifs d’accessibilité avec la technologie AI de pointe ?

Les premiers jours de Nagish ont coïncidé avec la pandémie, il ne se passait donc pas grand-chose dans nos vies en dehors du travail. Alon et moi habitions à proximité l’un de l’autre et avions beaucoup de temps pour réfléchir, créer des prototypes et mettre en œuvre les dernières technologies. Nous avons travaillé à partir de nos appartements pendant plus de 12 heures par jour pendant des mois.

Avoir autant de temps à disposition nous a permis de passer beaucoup de temps à discuter avec nos utilisateurs et à comprendre leurs besoins. Nous ne voulions pas faire d’hypothèses. À ce stade, nous n’avions toujours pas l’intention de créer une entreprise. Ce qui nous a donné l’élan, c’était d’entendre les utilisateurs parler de leurs difficultés et de savoir que nous avions la chance de les résoudre avec la technologie.

Comment la technologie AI de Nagish relie-t-elle la communication entre les personnes sourdes ou malentendantes et le monde des entendants de manière que les outils existants ne peuvent pas ?

Nagish utilise l’IA pour combler les lacunes de communication. Nos moteurs transforment la parole en texte, le texte en parole et la langue des signes en texte (et vice versa) en temps réel. Cela signifie qu’une personne sourde ou malentendante peut simplement voir ce qui est dit lors d’un appel et répondre en tapant ou en parlant, tandis que la personne entendant à l’autre bout de la ligne vit une expérience standard d’appel téléphonique. Avant que ce type d’IA n’existe, les gens devaient compter sur des services de relais gérés par des humains où une tierce personne était sur la ligne et faisait toute la transcription.

Avec Nagish, il n’y a pas d’opérateur de relais, pas d’interprète à planifier et pas d’attente pour que quelqu’un d’autre soit disponible. L’application rend l’immediateté, la confidentialité et l’indépendance aux appels téléphoniques, quelque chose que les services de relais traditionnels ne peuvent tout simplement pas offrir.

Étant donné que Nagish est alimenté par l’IA, il peut s’adapter à chaque type d’appel : réunions de travail, contacts familiaux, situations d’urgence et appels de service client. L’application est conçue pour s’intégrer facilement dans la vie quotidienne : les utilisateurs peuvent conserver leur propre numéro, obtenir des sous-titres en temps réel et utiliser la même application pour les appels téléphoniques et les conversations en personne. L’expérience entière est conçue pour réduire les frictions et rendre la communication aussi naturelle et transparente que possible.

De quelle manière votre plateforme va-t-elle au-delà de la transcription ou du sous-titrage standard pour rendre les interactions plus naturelles et inclusives ?

Nous savons que le langage ne se limite pas aux mots, mais également à la culture, à l’identité et à la nuance. C’est particulièrement vrai pour les langues des signes, qui s’appuient sur l’expression faciale, l’émotion et la variation régionale. Pour rendre les interactions naturelles et non mécaniques, nous collaborons directement avec des linguistes sourds et des experts en langue des signes. Ils aident à façonner la façon dont notre IA apprend et se comporte, de sorte que la technologie soit construite avec la communauté, et non simplement formée sur leurs données.

Les outils de transcription standard s’arrêtent souvent à « voici les mots qui ont été dits ». Notre objectif est de soutenir une conversation réelle. Nous mettons en œuvre des agents IA qui peuvent fournir un contexte et gérer le flux de l’appel au-delà de la simple fourniture de sous-titres ou de lecture de texte à voix haute. En outre, Nagish propose des sous-titres en temps réel optimisés pour le flux de conversation, avec des fonctionnalités telles que des polices ajustables, un filtrage des spams, une transcription de la messagerie vocale et la possibilité d’enregistrer et de revoir les transcripts sur votre propre appareil lorsque vous le choisissez. Tout cela crée une expérience équivalente à celle que les personnes entendant ont sur les appels téléphoniques.

Quel rôle le traitement automatique du langage naturel joue-t-il pour garantir que votre plateforme capture non seulement les mots mais également l’intention et le ton ?

Le traitement automatique du langage naturel et la compréhension du langage naturel sont au cœur de la façon dont Nagish capture non seulement ce que quelqu’un dit, mais ce qu’il veut dire. La parole est pleine de signaux qui ajoutent du contexte, comme le ton, l’accent et plus encore, et nos modèles de PNL sont conçus pour capter ces couches afin que les utilisateurs obtiennent plus qu’un simple transcript. L’objectif est de rendre les sous-titres aussi proches que possible d’une conversation naturelle.

Parce que Nagish est conçu pour des situations du monde réel, telles que des appels médicaux, des réunions de travail et même des situations d’urgence, nos modèles sont formés pour gérer un langage rapide, des voix superposées et des nuances émotionnelles. La conscience du contexte est une grande raison pour laquelle nous surpassons souvent à la fois les transcripteurs humains et les autres outils IA. Le système ne devine pas simplement les mots ; il utilise le flux de la conversation pour comprendre l’intention.

Comment Nagish aide-t-il les employeurs à créer des lieux de travail plus inclusifs tout en abordant les barrières financières et logistiques qui ont longtemps limité l’accessibilité ?

Chez Nagish, nous aidons les employeurs à créer des lieux de travail plus inclusifs en éliminant les barrières financières et logistiques qui ont rendu l’accessibilité difficile à mettre à l’échelle. Traditionnellement, la création d’un lieu de travail accessible signifiait s’appuyer sur des interprètes planifiés, qui sont essentiels mais pas toujours pratiques pour une communication quotidienne, telle que des appels rapides, des réunions impromptues ou des tâches sensibles au temps. Ces limites créent des retards, ajoutent des coûts et peuvent involontairement exclure les employés sourds ou malentendants du flux de travail.

Nagish travaille à changer cette dynamique, en donnant aux employés la capacité de communiquer de manière indépendante et à la demande. Lorsque les entreprises suppriment ces barrières, les gens peuvent participer pleinement, ce qui conduit à des équipes plus fortes, à une meilleure rétention et à un lieu de travail plus équitable.

Selon une enquête récente que nous avons menée, plus de 60 % des répondants sourds ou malentendants ont déclaré que les barrières de communication avaient eu un impact sur leurs décisions de carrière et leur croissance professionnelle. C’est un défi grave qui, même avec tous les progrès réalisés au cours des dernières années, montre qu’il reste encore beaucoup à faire.

Nous permettons aux employeurs de passer d’une approche réactive d’adaptation à une inclusion proactive, créant des lieux de travail où chaque employé peut contribuer de manière indépendante et avec confiance.

Quel type de retour avez-vous reçu des utilisateurs sourds ou malentendants, et comment cela a-t-il influencé l’évolution du produit ?

Nous avons construit Nagish avec la communauté sourde dès le premier jour, et depuis, nous avons reçu un mélange d’enthousiasme, de curiosité et, dans de rares cas, d’hésitation, ce qui est exactement comme il faut. La communauté sourde est très attentive et curieuse à l’égard de la nouvelle technologie, et à juste titre. Ils ont entendu tant de promesses excessives dans le passé, et nous essayons d’éviter cela. Nous privilégions les progrès par rapport à la perfection, ce qui prend du temps – mais notre objectif final est la perfection.

Cette mentalité axée sur la communauté est renforcée par ce que nous avons appris dans notre rapport récent. Après l’adoption de la technologie d’assistance, les utilisateurs ont montré une augmentation importante de l’indépendance quotidienne : le nombre de personnes qui pouvaient communiquer de manière indépendante est passé de 37 % à 60 % pour les utilisateurs sourds, et de 32,9 % à 63 % pour les utilisateurs malentendants. Ce changement reflète les commentaires que nous entendons chaque jour : les gens veulent des outils qui rendent la communication plus facile, plus cohérente et disponible dans les moments où les interprètes ne sont pas accessibles ou lorsqu’ils préfèrent la confidentialité.

Lorsqu’il s’agit de notre recherche sur la création de meilleures technologies d’interprétation de la langue des signes, notre objectif n’est pas de remplacer les interprètes humains ou les méthodes de communication existantes, mais d’ajouter une autre option, un outil qui rend l’accessibilité plus constante et disponible partout, à tout moment. Les commentaires des utilisateurs ont renforcé l’importance d’une « autre option », en particulier dans les moments où un interprète n’est pas disponible ou lorsqu’une personne souhaite simplement la confidentialité et l’indépendance. Pour beaucoup, cela crée des situations où la communication aurait autrement semblé inconvenante, retardée ou hors de portée.

Nous adoptons une approche axée sur la communauté pour nous assurer que la technologie semble authentique, précise et respectueuse. Tant que nous continuons à construire avec les utilisateurs de la langue des signes, nous croyons que cela sera perçu comme un pas en avant émancipateur.

La confidentialité est une préoccupation clé dans les technologies d’accessibilité — comment Nagish gère-t-elle les conversations sensibles et maintient-elle la confiance des utilisateurs ?

La confidentialité est essentielle à la mission de Nagish pour autonomiser les utilisateurs sourds ou malentendants. La première chose à mentionner est que, avec Nagish, vous pouvez déjà éliminer le besoin d’un transcripteur en direct, il y a donc déjà un sentiment de confidentialité qui n’était pas possible auparavant.

Sur le plan technique, Nagish est conçu pour être privé. Nous n’enregistrons pas les appels et ne stockons jamais les transcripts d’appel sur nos serveurs au-delà de la durée de l’appel. Nous n’utilisons aucune donnée d’appel à des fins de formation. Lorsque les utilisateurs choisissent d’enregistrer des transcripts, ils sont stockés localement sur leur appareil plutôt que dans un nuage partagé. Des fonctionnalités telles que le sous-titrage sécurisé de bout en bout et le stockage local des transcripts sont là spécifiquement pour protéger les conversations très sensibles – qu’elles soient liées à la santé, à l’emploi ou à des relations personnelles.

Comment voyez-vous l’IA remodeler l’accessibilité au cours de la prochaine décennie, et quels lacunes subsistent pour que la technologie les comble ?

L’un des plus grands problèmes de l’accessibilité numérique est le manque d’éducation et d’observabilité : les ingénieurs ne mettent pas en œuvre le texte alternatif, les designers choisissent des couleurs inaccessibles car elles ont l’air bonnes, et les responsables de produits prennent des décisions de produit pour les KPI.

À mesure que l’IA est de plus en plus impliquée dans chaque aspect du développement de produits, de l’ingénierie à la conception en passant par la rédaction, nous voyons une approche proactive en matière d’accessibilité. L’IA pourrait changer l’accessibilité de quelque chose de réactif et « corrigé » en quelque chose de proactif et ambiant. Nous allons également voir une nouvelle vague d’outils qui augmenteront la communication dans divers contextes – pas seulement les appels, mais les lieux de travail, les salles de classe, les transports et les services publics – de sorte que les personnes handicapées, et les personnes sourdes ou malentendantes en particulier, n’aient pas à demander constamment des accommodements ; ils seront simplement là par défaut.

Comment voyez-vous l’évolution de la collaboration entre les interprètes humains et l’IA – l’un remplacera-t-il finalement l’autre, ou se renforcent-ils mutuellement ?

Les interprètes de la langue des signes font un travail incroyable. Ils sont essentiels pour la communauté, l’accessibilité et la communication. Mais la réalité est qu’il n’y en a simplement pas assez. Aux États-Unis, par exemple, il y a plus de 500 000 personnes qui utilisent la langue des signes américaine comme langue principale, et seulement environ 10 000 interprètes certifiés. Cela signifie qu’un grand nombre de situations – des visites médicales, des réunions de parents et d’enseignants, des entretiens d’embauche et plus encore – manquent souvent de communication accessible.

Même lorsque les interprètes sont disponibles, il y a des défis liés à la planification, au coût et à la géographie. Quelqu’un qui vit dans une zone rurale aurait beaucoup plus de mal à obtenir un interprète, et ce retard peut avoir des conséquences réelles, en particulier dans les contextes de soins de santé ou d’urgence.

L’IA peut aider à combler ce fossé. Ce que nous construisons n’est pas destiné à remplacer les interprètes, mais à compléter leur travail et à rendre l’accessibilité plus évolutive. Pensez-y comme un outil qui intervient lorsque l’interprète humain n’est pas disponible.

Google Translate n’a pas remplacé les traducteurs professionnels, mais il a rendu possible de combler les lacunes de communication au quotidien.

Avec les progrès de la vision par ordinateur et du traitement automatique du langage naturel, l’IA holds la promesse de commencer à interpréter la langue des signes en temps réel. Cela signifie que plus de gens peuvent communiquer instantanément, que ce soit via un appel vidéo, un kiosque public ou un service d’urgence.

Je vous remercie pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter Nagish.