Tomer Aharoni, CEO a spoluzakladatel Nagish – rozhovor

Tomer Aharoni, CEO a spoluzakladatel Nagish, spojuje silný technický základ ze své práce jako softwarový inženýr v Bloombergu, výzkum v oblasti NLP a IoT na Kolumbijské univerzitě a dřívější zkušenosti v rolích technologického zpravodajství v Izraelských obranných silách, vše poháněno jeho vášní pro přístupnost a propojením technologie a komunikace.

Nagish je komunikační platforma poháněná umělou inteligencí, navržená tak, aby telefonní hovory byly plně přístupné pro lidi, kteří jsou hluchí nebo mají sluchové postižení. Aplikace poskytuje přepis mluveného textu v reálném čase a text-to-speech schopnosti, zatímco uživatelé si mohou ponechat své stávající telefonní číslo, udržet kompletní soukromí a spravovat konverzace pomocí funkcí, jako jsou personalizované slovníky, uložené přepisy a bezproblémová integrace zařízení.

Jaký okamžik nebo poznání vás vedlo k tomu, abyste své zkušenosti z Bloombergu a výzkumu NLP na Kolumbijské univerzitě využili pro vytvoření Nagish?

Během mého bakalářského studia na Kolumbijské univerzitě jsem jednou dostal telefonní hovor. Nemohl jsem ho zvednout, protože by to přerušilo celou třídu, a to mě vedlo k zamyšlení, jak lze uskutečnit telefonní hovor, pokud člověk neslyší nebo nemluví? To mě vedlo k širší otázce: jak se lidé, kteří jsou hluchí nebo mají sluchové postižení, komunikují po telefonu?

To bylo v roce 2019 a my (Alon Ezer, můj spoluzakladatel, a já) jsme zjistili, že komunita hluchých lidí silně závisí na tlumočnících a asistentech přepisu. Považovali jsme to za šílené, a tak jsme začali kontaktovat lidi z místní komunity hluchých a to, co jsme slyšeli, nás opravdu překvapilo. „Jen zavěsíme, když někdo zavolá,“ „Nepoužívám telefon,“ nebo „Požádám svého bratra, aby za mě zavolal,“ byly některé odpovědi, které jsme dostali, když jsme se ptali, jak lidé používají telefon.

Později toho léta jsem pracoval jako stážista softwarového inženýra v Bloombergu. V našem týmu jsme měli jiného stážistu, který byl hluchý. Každýkrát, když jsem s ním chtěl mluvit, musel jsem sladit naše rozvrhy s ním a se dvěma tlumočníky. Jednoduché „pojďme si rychle zavolat a vyřešit to“ bylo prostě nemožné. Po rozhovoru s HR jsem se dozvěděl, že najít tyto dva tlumočníky, kteří byli seznámeni s technickým žargonem, bylo téměř nemožné a že je používáme, kdykoli jsou k dispozici, ale nejsou k dispozici na plný úvazek.

Čím více jsme se učili, tím více bylo zřejmé, že tyto nebyly izolované nepříjemnosti, ale součást mnohem širšího vzorce. I dnes, s pokroky, které zlepšily přístupnost, stále existují mnoho výzev a oblastí, které je třeba řešit. V Nagish jsme nedávno provedli průzkum a vydali zprávu, Dopad komunikačních technologií na podporu hluchých a sluchově postižených, která zjistila, že 65 % hluchých jedinců uvedlo, že potřebují pomoc od slyšící osoby alespoň jednou týdně, aby se mohli účinně komunikovat. Tato závislost vytváří skutečné bariéry v profesionálních prostředích, jak je patrné z faktu, že 62 % hluchých respondentů uvedlo, že komunikační výzvy ovlivnily jejich kariérní rozhodnutí a omezily jejich schopnost sledovat nebo pokročit v určitých rolích.

Těmito zkušenostmi a rostoucími kontakty s hluchými jedinci mě vedly k vybudování první verze Nagish. Máme jeden základní názor, který se nezměnil – komunikace by měla být přístupná a soukromá.

Alon a já jsme vytvořili prototyp a reakce byly úžasné. Dozvěděli jsme se, jak může Nagish změnit životy. Poté přišla COVID a potřeba explodovala, protože svět se stal vzdáleným a nedostatek přístupnosti v komunikaci se真的 stal zřejmým.

Můžete sdílet, jaké byly rané dny Nagish a jaké výzvy jste čelili při spojení cílů přístupnosti s nejmodernější technologií AI?

Rané dny Nagish byly během pandemie, takže se toho ve našich životech nedělo mnoho kromě práce. Alon a já jsme bydleli kousek od sebe a měli jsme spoustu času na brainstorming, prototypování a implementaci nejnovějších technologií. Pracovali jsme z našich bytů 12 a více hodin denně po měsíce.

Mít tolik času na našich rukou nám umožnilo strávit spoustu času mluvením s našimi uživateli a pochopením jejich potřeb. Nechtěli jsme dělat žádné předpoklady. V té době jsme ještě neměli v úmyslu založit společnost. Co nás pohánělo, bylo slyšet od uživatelů o jejich problémech a vědět, že máme šanci je vyřešit pomocí technologií.

Jak technologie Nagish mostí komunikační mezery mezi hluchými nebo sluchově postiženými jedinci a slyšícím světem způsoby, které stávající nástroje nemohou?

Nagish používá umělou inteligenci k mostění komunikačních mezer. Naše motory převádějí řeč na text, text zpět na řeč a znakovou řeč na text (a naopak) v reálném čase. To znamená, že hluchý nebo sluchově postižený člověk může jednoduše vidět, co je řečeno během hovoru, a odpovědět psaním nebo mluvením, zatímco slyšící osoba na druhém konci zažívá standardní telefonní hovor. Předtím, než existovala tato umělá inteligence, lidé museli spoléhat na lidské přepisovače, kteří seděli na lince a dělali veškerý přepis.

S Nagish není potřeba žádný přepisovač, žádný tlumočník, kterého je třeba naplánovat, a není třeba čekat na někoho jiného, aby byl k dispozici. Aplikace vrací okamžitost, soukromí a nezávislost do telefonních hovorů, něco, co tradiční přepisovačské služby nemohou nabídnout.

Protože Nagish je poháněn umělou inteligencí, může se škálovat na každý typ hovoru: pracovní schůzky, rodinná setkání, nouzové situace a zákaznické služby. Aplikace je navržena tak, aby se snadno integrovala do běžného života: uživatelé si mohou ponechat své vlastní číslo, získat přepis v reálném čase a použít stejnou aplikaci pro telefonní hovory a osobní konverzace. Celá zkušenost je navržena tak, aby snížila tření a učinit komunikaci cítit se jako přirozená a bezproblémová, jak je to možné.

Jakým způsobem vaše platforma překračuje standardní přepis nebo titulkování, aby interakce byly více přirozené a inkluzivní?

Víme, že jazyk není pouze slovy, ale také kulturou, identitou a nuancí. To je zejména pravda pro znakové jazyky, které spoléhají na mimiku, emoce a regionální variace. Abychom udělali interakce cítit přirozeně a ne mechanicky, spolupracujeme přímo s hluchými lingvisty a odborníky na znakové jazyky. Oni pomáhají formovat, jak naše umělá inteligence učí a chová, takže technologie je postavena s komunitou, ne pouze trénována na jejich datech.

Standardní přepisové nástroje často zastavují u „zde jsou slova, která byla řečena“. Naším cílem je podporovat skutečnou konverzaci. Implementujeme umělou inteligenci, která může poskytnout kontext a spravovat tok hovoru za hranice pouze poskytování titulků nebo čtení textu. Kromě toho Nagish nabízí přepis v reálném čase optimalizovaný pro konverzační tok, s funkcemi, jako jsou nastavitelné fonty, filtrování spamu, přepis hlasové pošty a možnost uložit a prohlédnout přepisy na vašem zařízení, kdykoli si to zvolíte. To vše vytváří ekvivalentní zkušenost, jakou mají slyšící lidé během telefonních hovorů.

Jaká role hraje zpracování přirozeného jazyka při zajišťování, že vaše platforma zachycuje nejen slova, ale také záměr a tón?

Zpracování přirozeného jazyka a porozumění přirozenému jazyku jsou jádrem toho, jak Nagish zachycuje nejen to, co někdo říká, ale také to, co míní. Řeč je plná signálů, které přidávají kontext, jako je tón, důraz a další, a naše modely NLP jsou navrženy tak, aby zachycovaly tyto vrstvy, aby uživatelé dostali více než základní přepis. Cílem je učinit titulkování cítit se co nejblíže přirozené konverzaci.

Protože Nagish je postaven pro reálné situace, jako jsou lékařské hovory, pracovní schůzky a dokonce i nouzové situace, naše modely jsou trénovány na zpracování rychlé řeči, překrývajících se hlasů a emocionálních nuancí. Vědomí kontextu je velkým důvodem, proč často předčímáme lidské přepisovače a další nástroje AI. Systém nejen hádá slova, ale používá tok konverzace, aby pochopil záměr.

Jak Nagish pomáhá zaměstnavatelům budovat více inkluzivní pracovní prostředí, zatímco řeší finanční a logistické bariéry, které dlouho omezovaly přístupnost?

V Nagish pomáháme zaměstnavatelům budovat více inkluzivní pracovní prostředí odstraňováním finančních a logistických bariér, které činily přístupnost obtížnou škálovat. Tradičně vytváření přístupného pracovního prostředí znamenalo spoléhat se na naplánované tlumočníky, kteří jsou sice nezbytní, ale nejsou vždy praktičtí pro každodenní komunikaci, jako jsou rychlé hovory, neplánované schůzky nebo časově kritické úkoly. Tyto omezení vytvářejí zpoždění, přidávají náklady a mohou neúmyslně vyloučit hluché a sluchově postižené zaměstnance z toku práce.

Nagish mění tuto dynamiku, poskytujíc zaměstnancům schopnost komunikovat nezávisle a na vyžádání. Když společnosti odstraní tyto bariéry, lidé mohou plně participovat, což vede k silnějším týmům, lepší retenci a více rovnocennému pracovnímu prostředí.

Podle našeho nedávného průzkumu uvedlo více než 60 % hluchých a sluchově postižených respondentů, že komunikační bariéry ovlivnily jejich kariérní rozhodnutí a profesní růst. Je to vážná výzva, která, i přes veškerý pokrok učiněný v posledních letech, ukazuje, že masih je mnoho práce, která musí být provedena.

Pomáháme zaměstnavatelům přecházet z reakčních úprav na proaktivní inkluzi, vytvářet pracovní prostředí, kde každý zaměstnanec může přispívat nezávisle a sebevědomě.

Jaký druh zpětné vazby jste obdržel od hluchých a sluchově postižených uživatelů a jak ovlivnila vývoj produktu?

Postavili jsme Nagish s komunitou hluchých od samého začátku a od té doby jsme dostávali mix emocí, zvědavosti a v některých případech i jisté rezervovanosti, což je přesně tak, jak by to mělo být. Komunita hluchých je velmi uvědomělá a zvědavá ohledně nových technologií a my se snažíme vyhnout přecenění. Prioritizujeme pokrok nad dokonalostí, což vyžaduje čas, ale náš konečný cíl je dokonalost.

Tento komunitně zaměřený přístup je posílen tím, co jsme se dozvěděli v naší nedávné zprávě. Po přijetí asistivní technologie uživatelé ukázali významný nárůst denní nezávislosti: počet lidí, kteří mohli komunikovat nezávisle, se zvýšil z 37 % na 60 % pro hluché uživatele a z 32,9 % na 63 % pro sluchově postižené uživatele. Tato změna odráží zpětnou vazbu, kterou slyšíme každý den: lidé chtějí nástroje, které činí komunikaci snadnější, konzistentnější a dostupnější v okamžicích, kdy tlumočníci nejsou dostupní nebo kdy preferují soukromí.

Když se jedná o náš výzkum vytváření lepších technologií pro interpretaci znakového jazyka, náš cíl není nahradit lidské tlumočníky nebo stávající komunikační metody, ale přidat další možnost, nástroj, který činí přístupnost více konzistentní a dostupnou kdekoliv a kdykoliv. Zpětná vazba od uživatelů potvrdila, jak důležitá je „další možnost“, zejména v situacích, kdy tlumočník není dostupný nebo kdy někdo prostě chce soukromí a nezávislost. Pro mnohé to vytváří situace, ve kterých by komunikace jinak felt nepříjemná, zpožděná nebo nedostupná.

Držíme se komunitně zaměřeného přístupu, abychom zajistili, že technologie feels autentická, přesná a respektující. Dokud budeme stavět s uživateli znakového jazyka, věříme, že toto bude přijato jako osvobozující krok vpřed.

Privátnost je klíčovým problémem v přístupných technologiích – jak Nagish zpracovává citlivé konverzace a udržuje důvěru uživatelů?

Privátnost je kritická pro misi Nagish, aby mohla umožnit hluchým a sluchově postiženým uživatelům. První věc, kterou je třeba zmínit, je, že s Nagish můžete již odstranit potřebu živého přepisovače, takže hned máte pocit soukromí, který nebyl dříve možný.

Z technického hlediska je Nagish soukromý designem. Nezaznamenáváme hovory a nikdy neukládáme přepisy hovorů na našich serverech déle, než je délka hovoru. Také nepoužíváme žádná data z hovorů pro tréninkové účely. Když uživatelé zvolí uložení přepisů, jsou uloženy místně na jejich zařízení, nikoliv v sdíleném cloudu. Funkce, jako je zabezpečené titulkování a místní uložení přepisů, jsou zde specificky k ochraně vysoce citlivých konverzací – ať už se jedná o zdraví, zaměstnání nebo osobní vztahy.

Jak vidíte budoucnost umělé inteligence v přístupnosti v příštím desetiletí a jaké mezery ještě zůstávají, aby technologie mohla zaplnit?

Jedním z největších problémů s digitální přístupností je nedostatek vzdělávání a pozorovatelnosti: inženýři neimplementují alt-text, designéři vybírají nepřístupné barvy, protože vypadají dobře, a produktoví manažeři dělají produktová rozhodnutí pro KPI. Jak se umělá inteligence stává stále více zapojena do každého aspektu vývoje produktu, od inženýrství po design a copywriting, vidíme proaktivní přístup k přístupnosti. Umělá inteligence by mohla změnit přístupnost z něčeho reaktivního a „opraveného“ na něco proaktivního a ambientního. Uvidíme novou vlnu nástrojů, které budou zesilovat komunikaci v různých prostředích – ne pouze hovory, ale pracovní prostředí, třídy, dopravu a veřejné služby – aby lidé se zdravotním postižením, a zejména hluchí a sluchově postižené osoby, nemuseli neustále žádat o úpravy; budou tam prostě automaticky.

Jak si představujete spolupráci mezi lidskými tlumočníky a umělou inteligencí – bude jedna nakonec nahradit druhou, nebo se budou navzájem posilovat?

Tlumočníci znakového jazyka dělají úžasnou práci. Jsou nezbytní pro komunitu, přístupnost a komunikaci. Ale realita je taková, že prostě není dostatek tlumočníků. V USA, například, je přes 500 000 lidí, kteří používají americký znakový jazyk jako svůj primární jazyk, a pouze asi 10 000 certifikovaných tlumočníků. To znamená, že obrovské množství situací – od návštěv u lékaře, setkání rodičů a učitelů, pracovních pohovorů a dalších – často postrádá přístupnou komunikaci.

Even when interpreters are available, there are challenges around scheduling, cost, and geography. Someone living in a rural area would have a much harder time getting an interpreter, and that delay can have real-world consequences, especially in healthcare or emergency settings.

Umělá inteligence může pomoci mostovat tuto mezeru. Co stavíme, není určeno k nahrazení tlumočníků, ale k doplnění jejich práce a učinění přístupnosti více škálovatelnou. Myslete si to jako nástroj, který vstupuje do situace, kdy lidský tlumočník není k dispozici.

Google Translate didn’t replace professional translators, but it made it possible to bridge communication gaps on a day-to-day basis.

With advances in computer vision and natural language processing, AI holds the promise of being able to begin to interpret sign language in real time. This means more people can communicate instantly, whether it’s through a video call, a public kiosk, or an emergency service.