Tomer Aharoni, PDG et co-fondateur de Nagish – Série d’entretiens

Tomer Aharoni, PDG et co-fondateur de Nagish, réunit une solide formation technique issue de son travail en tant qu’ingénieur logiciel chez Bloomberg, de ses recherches en NLP et IoT à l’Université de Columbia, ainsi que de son expérience antérieure dans les rôles de renseignement technologique au sein des forces de défense israéliennes, le tout animé par sa passion pour l’accessibilité et l’intersection de la technologie et de la communication.

Nagish est une plateforme de communication alimentée par l’IA conçue pour rendre les appels téléphoniques entièrement accessibles aux personnes sourdes ou malentendantes. L’application offre des sous-titres en temps réel et des capacités de texte à parole tout en permettant aux utilisateurs de conserver leur numéro de téléphone existant, de maintenir une totale confidentialité et de gérer les conversations grâce à des fonctionnalités telles que des dictionnaires personnalisés, des transcripts enregistrés et une intégration transparente des appareils.

Quel moment ou quelle révélation vous a conduit à canaliser cette expérience dans la création de Nagish ?

Pendant mes études de premier cycle à Columbia, je me trouvais un jour en classe lorsque j’ai reçu un appel téléphonique. Je n’ai pas pu répondre car cela aurait interrompu toute la classe, ce qui m’a fait réfléchir à la façon dont on peut passer un appel téléphonique si l’on ne peut pas entendre ou parler ? Cette réflexion a conduit à une question plus large : comment les personnes sourdes ou malentendantes communiquent-elles au téléphone ?

C’était en 2019, et nous (Alon Ezer, mon co-fondateur, et moi) avons découvert que la communauté sourde dépendait fortement d’interprètes et d’assistants de sous-titrage. Nous avons trouvé cela incroyable, nous avons donc commencé à nous mettre en contact avec des personnes de la communauté sourde locale, et ce que nous avons entendu était vraiment surprenant pour nous. « Je raccroche lorsque quelqu’un m’appelle », « Je n’utilise pas le téléphone », ou « Je demande à mon frère de téléphoner pour moi », étaient quelques-unes des réponses que nous avons reçues lorsque nous avons demandé aux gens comment ils utilisaient le téléphone.

Plus tard cet été-là, j’ai effectué un stage en tant qu’ingénieur logiciel chez Bloomberg. Dans mon équipe, nous avions un autre stagiaire qui était sourd. Chaque fois que je voulais discuter avec elle, j’ai dû coordonner les horaires avec elle et avec deux interprètes. Le simple « sautons sur un appel rapide pour régler cela » était tout simplement impossible. Après avoir discuté avec les ressources humaines à ce sujet, j’ai appris que trouver ces deux interprètes qui connaissaient le jargon technique était presque impossible et que nous les utilisions chaque fois qu’ils étaient disponibles, mais qu’ils n’étaient pas disponibles à plein temps.

Au fur et à mesure que nous apprenions davantage, il est devenu clair que ces désagréments n’étaient pas isolés mais faisaient partie d’un modèle beaucoup plus large. Même aujourd’hui, avec les progrès qui ont amélioré l’accessibilité, il existe encore de nombreux défis et domaines qui doivent être abordés. Chez Nagish, nous avons récemment mené une enquête et publié un rapport, L’impact de la technologie de communication dans l’autonomisation des personnes sourdes ou malentendantes, qui a révélé que 65 % des personnes sourdes ont déclaré avoir besoin d’aide d’une personne entendante au moins une fois par semaine pour communiquer efficacement. Cette dépendance crée de véritables obstacles dans les milieux professionnels, reflétés dans le fait que 62 % des répondants sourds ont déclaré que les défis de communication avaient influencé leurs décisions de carrière et limité leur capacité à poursuivre ou à progresser dans certains rôles.

Ces expériences, ainsi que mes liens croissants avec des personnes sourdes, m’ont conduit à créer la première version de Nagish. Nous avons une croyance qui n’a pas changé – la communication devrait être accessible et privée.

Alon et moi avons construit un prototype, et la réponse a été incroyable. Nous avons réalisé à quel point Nagish pouvait être transformateur. Puis la COVID est arrivée, et le besoin a explosé car le monde est devenu distant, et le manque d’accessibilité dans la façon dont les gens communiquent est vraiment devenu apparent.

Pouvez-vous partager ce que les premiers jours de Nagish ont été, et quels défis avez-vous rencontrés en fusionnant les objectifs d’accessibilité avec la technologie d’IA de pointe ?

Les premiers jours de Nagish ont coïncidé avec la pandémie, il n’y avait donc pas grand-chose d’autre dans notre vie que le travail. Alon et moi habitions à proximité l’un de l’autre et avions beaucoup de temps pour réfléchir, créer des prototypes et mettre en œuvre les dernières technologies. Nous avons travaillé hors de nos appartements pendant 12 heures par jour pendant des mois.

Avoir autant de temps à disposition nous a permis de passer beaucoup de temps à discuter avec nos utilisateurs et à comprendre leurs besoins. Nous ne voulions pas faire d’hypothèses. À ce stade, nous n’avions toujours pas l’intention de créer une entreprise. Ce qui nous a donné l’élan, c’était d’entendre les utilisateurs parler de leurs difficultés et de savoir que nous avions la chance de les résoudre avec la technologie.

Comment la technologie d’IA de Nagish relie-t-elle la communication entre les personnes sourdes ou malentendantes et le monde des personnes entendantes de manière que les outils existants ne peuvent pas ?

Nagish utilise l’IA pour combler les lacunes de communication. Nos moteurs transforment la parole en texte, le texte en parole, et la langue des signes en texte (et vice versa) en temps réel. Cela signifie qu’une personne sourde ou malentendante peut simplement voir ce qui est dit lors d’un appel et répondre en tapant ou en parlant, tandis que la personne entendante à l’autre bout de la ligne vit une expérience standard d’appel téléphonique. Avant l’existence de ce type d’IA, les gens devaient compter sur des services de relais gérés par des humains où une tierce personne était présente sur la ligne et effectuait toute la transcription.

Avec Nagish, il n’y a pas d’opérateur de relais, pas d’interprète à planifier, et pas d’attente pour que quelqu’un d’autre soit disponible. L’application rend l’immédiateté, la confidentialité et l’indépendance aux appels téléphoniques, quelque chose que les services de relais traditionnels ne peuvent pas offrir.

Étant donné que Nagish est alimenté par l’IA, il peut être adapté à chaque type d’appel : réunions de travail, vérifications familiales, situations d’urgence et appels de service à la clientèle. L’application est conçue pour s’intégrer facilement dans la vie quotidienne : les utilisateurs peuvent conserver leur propre numéro, obtenir des sous-titres en temps réel et utiliser la même application pour les appels téléphoniques et les conversations en personne. L’ensemble de l’expérience est conçu pour réduire les frictions et rendre la communication aussi naturelle et transparente que possible.

De quelle manière votre plateforme va-t-elle au-delà de la transcription ou du sous-titrage standard pour rendre les interactions plus naturelles et inclusives ?

Nous savons que le langage n’est pas seulement des mots, mais aussi de la culture, de l’identité et de la nuance. C’est particulièrement vrai pour les langues des signes, qui s’appuient sur l’expression faciale, l’émotion et les variations régionales. Pour rendre les interactions naturelles et non mécaniques, nous collaborons directement avec des linguistes sourds et des experts en langue des signes. Ils aident à façonner la façon dont notre IA apprend et se comporte, de sorte que la technologie est construite avec la communauté, et non simplement formée sur leurs données.

Les outils de transcription standard s’arrêtent souvent à « voici les mots qui ont été dits ». Notre objectif est de soutenir une conversation réelle. Nous mettons en œuvre des agents IA qui peuvent fournir du contexte et gérer le flux de l’appel au-delà de la simple fourniture de sous-titres ou de lecture de texte à voix haute. De plus, Nagish propose des sous-titres en temps réel optimisés pour le flux conversationnel, avec des fonctionnalités telles que des polices ajustables, un filtrage des spams, une transcription de la messagerie vocale et la possibilité d’enregistrer et de revoir les transcripts sur votre propre appareil lorsque vous le choisissez. Tout cela crée une expérience équivalente à celle que les personnes entendantes ont sur les appels téléphoniques.

Quel rôle le traitement automatique du langage naturel joue-t-il pour garantir que votre plateforme capte non seulement les mots mais également l’intention et le ton ?

Le traitement automatique du langage naturel et la compréhension du langage naturel sont au cœur de la façon dont Nagish capte non seulement ce que quelqu’un dit, mais ce qu’il veut dire. La parole est pleine de signaux qui ajoutent du contexte, comme le ton, l’accent, et plus encore, et nos modèles de PNL sont conçus pour capter ces couches afin que les utilisateurs obtiennent plus qu’un simple transcript. L’objectif est de rendre les sous-titres aussi proches que possible d’une conversation naturelle.

Puisque Nagish est conçu pour des situations du monde réel, telles que des appels médicaux, des réunions de travail et même des situations d’urgence, nos modèles sont formés pour gérer un discours rapide, des voix superposées et des nuances émotionnelles. La conscience du contexte est une grande raison pour laquelle nous surpassons souvent à la fois les transcripteurs humains et les autres outils d’IA. Le système ne devine pas simplement les mots ; il utilise le flux de la conversation pour comprendre l’intention.

Comment Nagish aide-t-il les employeurs à créer des lieux de travail plus inclusifs tout en abordant les barrières financières et logistiques qui ont longtemps limité l’accessibilité ?

Chez Nagish, nous aidons les employeurs à créer des lieux de travail plus inclusifs en éliminant les barrières financières et logistiques qui ont rendu l’accessibilité difficile à mettre à l’échelle. Traditionnellement, créer un lieu de travail accessible signifiait s’appuyer sur des interprètes planifiés, qui sont essentiels mais pas toujours pratiques pour une communication quotidienne, telle que des appels rapides, des réunions impromptues ou des tâches sensibles au temps. Ces limites créent des retards, ajoutent des coûts et peuvent involontairement exclure les employés sourds ou malentendants du flux de travail.

Nagish travaille à changer cette dynamique, en donnant aux employés la capacité de communiquer de manière indépendante et à la demande. Lorsque les entreprises suppriment ces barrières, les gens peuvent participer pleinement, ce qui conduit à des équipes plus solides, à une meilleure rétention et à un lieu de travail plus équitable.

Selon une enquête récente que nous avons menée, plus de 60 % des répondants sourds ou malentendants ont déclaré que les barrières de communication avaient eu un impact sur leurs décisions de carrière et leur croissance professionnelle. C’est un défi sérieux qui, même avec tous les progrès réalisés au cours des dernières années, montre qu’il reste encore beaucoup à faire.

Nous permettons aux employeurs de passer d’adaptations réactives à une inclusion proactive, créant des lieux de travail où chaque employé peut contribuer de manière indépendante et avec confiance.

Quel type de retour avez-vous reçu des utilisateurs sourds ou malentendants, et comment cela a-t-il influencé l’évolution du produit ?

Nous avons construit Nagish avec la communauté sourde dès le premier jour, et depuis, nous avons reçu un mélange d’enthousiasme, de curiosité et, dans de rares cas, d’hésitation, ce qui est exactement comme il faut. La communauté sourde est très attentive et curieuse quant à la nouvelle technologie, et avec bonne raison. Ils ont entendu tant de promesses excessives dans le passé, et nous essayons d’éviter cela. Nous privilégions les progrès par rapport à la perfection, ce qui prend du temps – mais notre objectif final est la perfection.

Cette mentalité axée sur la communauté est renforcée par ce que nous avons appris dans notre rapport récent. Après avoir adopté la technologie d’assistance, les utilisateurs ont montré une augmentation significative de l’indépendance quotidienne : le nombre de personnes capables de communiquer de manière indépendante est passé de 37 % à 60 % pour les utilisateurs sourds, et de 32,9 % à 63 % pour les utilisateurs malentendants. Ce changement reflète les commentaires que nous entendons chaque jour : les gens veulent des outils qui rendent la communication plus facile, plus cohérente et disponibles dans les moments où les interprètes ne sont pas accessibles ou lorsqu’ils préfèrent la confidentialité.

Lorsqu’il s’agit de notre recherche sur la création de meilleures technologies d’interprétation de la langue des signes, notre objectif n’est pas de remplacer les interprètes humains ou les méthodes de communication existantes, mais d’ajouter une autre option, un outil qui rend l’accessibilité plus constante et disponible partout, à tout moment. Les commentaires des utilisateurs ont renforcé l’importance d’une « autre option », en particulier dans les moments où un interprète n’est pas disponible ou lorsqu’une personne souhaite simplement de la confidentialité et de l’indépendance. Pour beaucoup, cela crée des situations où la communication aurait autrement semblé inconvenante, retardée ou hors de portée.

Nous adoptons une approche axée sur la communauté pour nous assurer que la technologie se sente authentique, précise et respectueuse. Tant que nous continuons à construire avec les utilisateurs de la langue des signes, nous croyons que cela sera perçu comme un pas en avant émancipateur.

La confidentialité est une préoccupation clé dans la technologie d’accessibilité — comment Nagish gère-t-elle les conversations sensibles et maintient-elle la confiance des utilisateurs ?

La confidentialité est cruciale pour la mission de Nagish visant à autonomiser les utilisateurs sourds ou malentendants. La première chose à mentionner est que avec Nagish, vous pouvez déjà éliminer le besoin d’un transcripteur en direct, il y a donc déjà un sentiment de confidentialité qui n’était pas possible auparavant.

Sur le plan technique, Nagish est conçu pour être privé. Nous n’enregistrons pas les appels et ne stockons pas les transcripts d’appel sur nos serveurs au-delà de la durée de l’appel. Nous n’utilisons aucune données d’appel à des fins de formation. Lorsque les utilisateurs choisissent d’enregistrer des transcripts, ils sont stockés localement sur leur appareil plutôt que dans un nuage partagé. Des fonctionnalités telles que le sous-titrage sécurisé de bout en bout et le stockage local des transcripts sont là pour protéger les conversations très sensibles – qu’il s’agisse de santé, d’emploi ou de relations personnelles.

Comment voyez-vous l’IA façonnant l’accessibilité au cours de la prochaine décennie, et quels lacunes subsistent pour que la technologie les comble ?

L’un des plus grands problèmes de l’accessibilité numérique est le manque d’éducation et d’observabilité : les ingénieurs ne mettent pas en œuvre le texte alternatif, les designers choisissent des couleurs inaccessibles parce qu’elles ont l’air bien, et les responsables de produits prennent des décisions de produit pour les indicateurs de performance clés.

À mesure que l’IA est de plus en plus impliquée dans chaque aspect du développement de produits, de l’ingénierie à la conception en passant par la rédaction, nous voyons une approche proactive de l’accessibilité. L’IA pourrait transformer l’accessibilité de quelque chose de réactif et « corrigé » en quelque chose de proactif et ambiant. Nous allons également voir une nouvelle vague d’outils qui augmenteront la communication dans divers contextes – pas seulement les appels, mais les lieux de travail, les salles de classe, les transports et les services publics – de sorte que les personnes handicapées, et les personnes sourdes ou malentendantes en particulier, n’aient pas à demander constamment des accommodements ; ils seront simplement là par défaut.

Comment voyez-vous l’évolution de la collaboration entre les interprètes humains et l’IA – l’un remplacera-t-il finalement l’autre, ou se renforcent-ils mutuellement ?

Les interprètes de la langue des signes font un travail incroyable. Ils sont essentiels pour la communauté, l’accessibilité et la communication. Mais la réalité est qu’il n’y en a simplement pas assez. Aux États-Unis, par exemple, il y a plus de 500 000 personnes qui utilisent la langue des signes américaine comme langue principale, et seulement environ 10 000 interprètes certifiés. Cela signifie qu’un grand nombre de situations – des visites médicales, des réunions parents-enseignants, des entretiens d’embauche, etc. – manquent souvent de communication accessible.

Même lorsque les interprètes sont disponibles, il y a des défis liés à la planification, au coût et à la géographie. Quelqu’un vivant dans une zone rurale aurait beaucoup plus de mal à obtenir un interprète, et ce retard peut avoir des conséquences réelles, en particulier dans les soins de santé ou les situations d’urgence.

L’IA peut aider à combler ce fossé. Ce que nous construisons n’est pas destiné à remplacer les interprètes, mais à compléter leur travail et à rendre l’accessibilité plus évolutive. Pensez-y comme un outil qui intervient lorsque l’interprète humain n’est pas disponible.

Google Translate n’a pas remplacé les traducteurs professionnels, mais il a rendu possible de combler les lacunes de communication au quotidien.

Avec les progrès de la vision par ordinateur et du traitement automatique du langage naturel, l’IA offre la promesse de commencer à interpréter la langue des signes en temps réel. Cela signifie que plus de gens peuvent communiquer instantanément, que ce soit par appel vidéo, par kiosque public ou par service d’urgence.