Tomer Aharoni, administrerende direktør og medstifter af Nagish – Intervju-serie

Tomer Aharoni, administrerende direktør og medstifter af Nagish, samler en stærk teknisk grund fra sit arbejde som softwareingeniør hos Bloomberg, forskning i NLP og IoT på Columbia University, og tidligere erfaring med teknologi-intelligence-roller inden for Israels forsvar, alt drevet af hans passion for tilgængelighed og intersectionen mellem teknologi og kommunikation.

Nagish er en AI-drevet kommunikationsplatform designet til at gøre telefonopkald fuldt tilgængelige for mennesker, der er døve eller hørehæmmede. Appen tilbyder realtids-transkription og tekst-til-tale-funktioner, samtidig med at brugerne kan beholde deres eksisterende telefonnummer, opretholde fuld privatliv og styre samtaler gennem funktioner som personlige ordbøger, gemte transkriptioner og ubesværet enhedsintegration.

Hvad var det, der fik dig til at kanalisere din erfaring til at skabe Nagish?

Under min bacheloruddannelse på Columbia sad jeg en dag i klassen, da jeg fik et telefonopkald. Jeg kunne ikke tage det, fordi det ville have afbrudt hele klassen, og det fik mig til at tænke over, hvordan man kan føre en telefonopkald, hvis man ikke kan høre eller tale? Denne tanke førte til en større spørgsmål: Hvordan kommunikerer døve og hørehæmmede mennesker på telefonen?

Dette var i 2019, og vi (Alon Ezer, min medstifter, og jeg) opdagede, at døvesamfundet var stærkt afhængigt af tolke og transkriptionsassistenter. Vi fandt det vanvittigt, så vi begyndte at kontakte folk fra det lokale døvesamfund, og det, vi hørte, var virkelig overraskende for os. “Jeg lægger bare på, når nogen ringer til mig”, “Jeg bruger ikke telefonen”, eller “Jeg beder min bror om at ringe for mig”, var blot nogle af svarene, vi fik, da vi spurgte mennesker, hvordan de bruger telefonen.

Senere samme sommer var jeg praktikant som softwareingeniør hos Bloomberg. På mit hold havde vi en anden praktikant, der var døv. Hver gang jeg ville mødes med hende, måtte jeg koordinere med hende og to tolke. Den afslappede “lad os hoppe på et hurtigt opkald for at løse dette” var simpelthen umulig. Efter at have talt med HR om det, lærte jeg, at det at finde disse to tolke, der var fortrolige med teknisk jargon, var næsten umuligt, og at vi bruger dem, når de er tilgængelige, men de er ikke tilgængelige på fuld tid.

Jo mere vi lærte, blev det klart, at disse ikke var isolerede ulemper, men en del af et langt større mønster. Selv i dag, med de fremskridt, der har forbedret tilgængelighed, er der stadig mange udfordringer og områder, der skal løses. Hos Nagish har vi nyligt gennemført en undersøgelse og udgivet en rapport, Impact of Communication Technology in Empowering the Deaf and Hard-of-Hearing, som fandt, at 65% af døve mennesker sagde, de havde brug for hjælp fra en hørende person mindst én gang om ugen for at kommunikere effektivt. Den afhængighed skaber reelle barrierer på arbejdspladsen, som afspejles i, at 62% af døve respondenter sagde, kommunikationsudfordringer havde påvirket deres karrierebeslutninger og begrænsede deres evne til at forfølge eller avancere i bestemte roller.

Disse oplevelser og mine voksende forbindelser med døve mennesker førte til, at jeg byggede den første iteration af Nagish. Vi har en enkelt overbevisning, der ikke har ændret sig – kommunikation skal være tilgængelig og privat.

Alon og jeg byggede en prototype, og responsen var fantastisk. Vi indså, hvor livsforandrende Nagish kunne være. Så ramte COVID os, og behovet eksploderede, da verden gik online, og manglen på tilgængelighed i, hvordan mennesker kommunikerer, blev virkelig tydelig.

Kan du dele, hvad de tidlige dage af Nagish var som, og hvilke udfordringer du stod over for i at kombinere tilgængelighedsmål med avanceret AI-teknologi?

De tidlige dage af Nagish var under pandemien, så der skete ikke meget andet i vores liv end arbejde. Alon og jeg boede omkring blokken fra hinanden og havde masser af tid til at brainstorme, prototypere og implementere de seneste teknologier. Vi arbejdede ud af vores lejligheder i 12+ timer om dagen i måneder.

At have denne mængde tid på vores hænder lod os tilbringe en masse tid med at tale med vores brugere og forstå deres behov. Vi ville ikke gøre antagelser. På dette tidspunkt havde vi stadig ingen intentioner om at gøre det til et firma. Det, der gav os drivkraften, var at høre fra brugerne om deres kamp og vide, at vi havde en chance for at løse dem med teknologi.

Hvordan fungerer Nagish’s AI-teknologi til at brokke kommunikationskløfter mellem døve eller hørehæmmede mennesker og den hørende verden på måder, som eksisterende værktøjer ikke kan?

Nagish bruger AI til at brokke kommunikationskløfter. Vores motorer omdanner tale til tekst, tekst tilbage til tale og tegnsprog til tekst (og omvendt) i realtid. Det betyder, at et døvt eller hørehæmmet menneske kan se, hvad der bliver sagt på et opkald, og svare ved at skrive eller tale, mens den hørende person på den anden side blot oplever et standardtelefonopkald. Før denne type AI eksisterede, var mennesker afhængige af menneske-baserede relay-tjenester, hvor en tredje person sad på linjen og gjorde al transkription.

Med Nagish er der ingen relay-operatør, ingen tolk at koordinere, og ingen venten på, at nogen andre er tilgængelige. Appen giver umiddelbarhed, privatliv og uafhængighed tilbage til telefonopkald, noget traditionelle relay-tjenester ikke kan tilbyde.

Siden Nagish er AI-drevet, kan det skala til enhver type opkald: arbejdsmøder, familiebesøg, nødsituationer og kundeservice-opkald. Appen er designet til at integrere let i det daglige liv: brugere kan beholde deres eget nummer, få realtids-transkription og bruge samme app på telefonopkald og fysisk nærvær. Hele oplevelsen er designet til at reducere friktion og gøre kommunikation føles så naturlig og ubesværet som muligt.

På hvilke måder går din platform ud over standard-transkription eller -transkription til at gøre interaktioner mere naturlige og inkluderende?

Vi ved, at sprog ikke kun er ord, men også kultur, identitet og nuance. Det er især sandt for tegnsprog, der afhænger af ansigtsudtryk, emotion og regional variation. For at gøre interaktioner føles naturlige i stedet for mekaniske samarbejder vi direkte med døve lingvister og tegnsprogseksperter. De hjælper med at forme, hvordan vores AI lærer og opfører sig, så teknologien er bygget med samfundet, ikke kun trænet på deres data.

Standard-transkriptionsværktøjer stopper ofte ved “her er ordene, der blev sagt”. Vores mål er at støtte en reel samtale. Vi implementerer AI-agenter, der kan give kontekst og styre opkaldsflowet ud over blot at give transkription eller læse tekst til tale. Derudover tilbyder Nagish realtids-transkription optimeret til samtaleflow, med funktioner som justerbare skrifttyper, spam-filtrering, voicemail-transkription og mulighed for at gemme og gennemse transkriptioner på din egen enhed, når du vælger det. Alt det skaber en oplevelse, der er lig med den, hørende mennesker har på telefonopkald.

Hvad er rollen af naturlig sprogbehandling i at sikre, at din platform fanger ikke kun ord, men også intention og tone?

Naturlig sprogbehandling og naturlig sprogforståelse er centralt for, hvordan Nagish fanger ikke kun, hvad nogen siger, men hvad de mener. Tale er fuld af signaler, der tilføjer kontekst, som tone, betoning og mere, og vores NLP-modeller er designet til at fange disse lag, så brugerne får mere end en grundlæggende transkription. Målet er at gøre transkriptionerne føles så naturlige som muligt.

Fordi Nagish er bygget til virkelige situationer, såsom medicinske opkald, arbejdsmøder og endda nødsituationer, er vores modeller trænet til at håndtere hurtig tale, overlappende stemmer og emotionel nuance. Kontekstbevidsthed er en stor grund til, at vi ofte overgår både menneskelige transkriptionsagenter og andre AI-værktøjer. Systemet gætter ikke blot på ord; det bruger samtaleflowet til at forstå intention.

Hvordan hjælper Nagish arbejdsgivere med at bygge mere inklusive arbejdspladser, samtidig med at de løser de finansielle og logistiske barrierer, der har begrænset tilgængelighed i lang tid?

Hos Nagish hjælper vi arbejdsgivere med at bygge mere inklusive arbejdspladser ved at fjerne de finansielle og logistiske barrierer, der har gjort tilgængelighed svær at skala. Traditionelt har skabelse af en tilgængelig arbejdsplads betydet at afhænge af planlagte tolke, der er essentielle, men ikke altid praktiske til hverdagskommunikation, såsom hurtige opkald, improviserede møder eller tidskritiske opgaver. Disse begrænsninger skaber forsinkelser, tilføjer omkostninger og kan utilsigtet udelukke døve og hørehæmmede medarbejdere fra arbejdsgangen.

Nagish arbejder på at ændre denne dynamik, ved at give medarbejderne mulighed for at kommunikere uafhængigt og påkrævet. Når virksomheder fjerner disse barrierer, kan mennesker deltage fuldt ud, hvilket fører til stærkere hold, bedre fastholdelse og en mere ligelig arbejdsplads.

Ifølge en nylig undersøgelse, vi har gennemført, sagde mere end 60% af døve og hørehæmmede respondenter, at kommunikationsbarrierer havde påvirket deres karrierebeslutninger og professionelle vækst. Det er en alvorlig udfordring, der, selv med alle de fremskridt, der er gjort i de sidste par år, viser, at der stadig er meget arbejde at gøre.

Vi giver arbejdsgivere mulighed for at gå fra reaktive tilpasninger til proaktive inklusioner, hvilket skaber arbejdspladser, hvor hver medarbejder kan bidrage uafhængigt og selvstændigt.

Hvad slags feedback har du fået fra døve og hørehæmmede brugere, og hvordan har det påvirket produktets udvikling?

Vi byggede Nagish med døvesamfundet fra dag én, og siden da har vi fået en blanding af begejstring, nysgerrighed og i sjældne tilfælde, noget tøven, hvilket er præcis, hvordan det skal være. Døvesamfundet er meget bevidst og nysgerrigt omkring ny teknologi, og med god grund. De har hørt så mange over-lofter i fortiden, og vi prøver at undgå det. Vi prioriterer fremskridt over perfektion, hvilket tager tid – men vores endemål er perfektion.

Dette fællesskabs-orienterede mindset støttes af, hvad vi lærte i vores nylige rapport. Efter at have adopteret hjælpemidler, viste brugerne en markant stigning i daglig uafhængighed: antallet af mennesker, der kunne kommunikere uafhængigt, steg fra 37% til 60% for døve brugere og fra 32,9% til 63% for hørehæmmede brugere. Den ændring spejler den feedback, vi hører hver dag: mennesker ønsker værktøjer, der gør kommunikation lettere, mere konsekvent og tilgængelig i øjeblikke, hvor tolke ikke er tilgængelige eller hvor de foretrækker privatliv.

Hvordan ser du på samarbejdet mellem menneskelige tolke og AI udvikle sig — vil den ene til sidst erstatte den anden, eller styrker de hinanden?

Tegnsprogstolkere udfører fantastisk arbejde. De er essentielle for samfundet, tilgængelighed og kommunikation. Men virkeligheden er, at der simpelthen ikke er nok af dem. I USA, for eksempel, er der over 500.000 mennesker, der bruger amerikansk tegnsprog som deres primære sprog, og kun omkring 10.000 certificerede tolke. Det betyder, at et stort antal situationer – fra lægebesøg, forældre-lærermøder, jobsamtaler og mere – ofte mangler tilgængelig kommunikation.

Even når tolke er tilgængelige, er der udfordringer omkring planlægning, omkostninger og geografi. Nogen, der bor i et landdistrikt, ville have en meget sværere tid med at få en tolk, og den forsinkelse kan have reelle konsekvenser, især i sundheds- eller nødsituationer.

AI kan hjælpe med at brokke denne kløft. Det, vi bygger, er ikke meant til at erstatte tolke, men til at supplere deres arbejde og gøre tilgængelighed mere skalerbar. Tænk på det som et værktøj, der træder til, når en menneskelig tolk ikke er tilgængelig.

Google Translate erstattede ikke professionelle oversættere, men gjorde det muligt at brokke kommunikationskløfter på en dag-til-dag-basis.

Med fremskridt i computer-vision og naturlig sprogbehandling holder AI løftet om at kunne begynde at fortolke tegnsprog i realtid. Det betyder, at flere mennesker kan kommunikere øjeblikkeligt, enten det er gennem en videoopkald, en offentlig kiosk eller en nødservice.