Kan NLP snart inkludere tegnspråk?

Naturlig språkbehandling (NLP) er ett av de viktigste underfeltene innen kunstig intelligens (AI). Det innebærer at datamaskiner kan analysere og forstå menneskelig språk, og det brukes ofte i oversettelsesprogramvare, chatboter, stemmekontrollerte assistenter og ulike verktøy i mange bransjer. Imidlertid fokuserer det ofte på talebaserte språk, noe som betyr at det ikke omfatter de over 200 tegnspråkene som nesten 70 millioner mennesker avhenger av over hele verden.

Dette kan snart endre seg, da ny forskning tar opp problemet. Masterstudenten i Language Technologies Institute Kayo Yin er medforfatter av en ny artikkel som ser på NLP for tegnspråk.

Å inkludere tegnspråk i NLP

Artikkelen med tittelen “Å inkludere tegnspråk i naturlig språkbehandling” fikk prisen for beste temapapir på den 59. årlige møtet i Association for Computational Linguistics. De andre medforfatterne inkluderte Amit Moryossef fra Bar-Ilan University i Israel; Julie Hochgesang fra Gallaudet University; Yoav Goldberg fra Bar-Ilan University og Allen Institute for AI; og Malihe Alikhani fra University of Pittsburghs School of Computing and Information.

“Tegnspråk, selv om de er en betydelig del av språkene som brukes i verden, er ikke inkludert,” sa Yin. “Det er et behov og en viktighet i å ha teknologi som kan håndtere tegnspråk.”

Ifølge forfatterne har samfunnene som bruker tegnspråk kjempet i tiår for å lære og bruke språkene og for å få dem anerkjent som gyldige.

Undertrykkingen av tegnspråk

“Imidlertid, i et overveiende muntlig samfunn, oppmuntres døve mennesker konstant til å bruke talebaserte språk gjennom lesekyndighet eller tekstbasert kommunikasjon,” het det i artikkelen. “Utelaten av tegnspråk fra moderne språkteknologier undertrykker videre tegnspråk til fordel for talebaserte språk.”

Yins interesse for tegnspråk dukket først opp mens hun gjorde outreach-arbeid på et hjemløshus som bachelorstudent ved École Polytechnique i Paris. Hun erkjente vanskelighetene døve mennesker hadde med å etablere forbindelser med andre, så Yin begynte å lære fransk tegnspråk og gjorde tegnspråkoversettelse til ett av fokusområdene i sin bacheloroppgave.

Tegnspråk, som i hovedsak baserer seg på håndbevegelser, ansiktsuttrykk og hode- og kroppbevegelser, gjør det mulig å overføre flere ord samtidig, i motsetning til talebaserte språk. Tegnspråk bruker også forkortelser, som fungerer lignende som pronomen i talebaserte språk. NLP-behandlingsverktøy er ekstremt effektive til å håndtere komplekst språk, mye bedre enn datamaskinsynsmodeller.

“Vi trenger forskere i begge feltene til å arbeide hånd i hånd,” sa Yin. “Vi kan ikke fullt ut forstå tegnspråk hvis vi bare ser på de visuelle aspektene.”

Ifølge Hochgesang, en døv lingvist som fokuserer på tegnspråk, var de knapt til stede i litteraturen, lingvistiske klasser og forskning hun møtte i forbindelse med sin utdannelse. Når det gjelder utdannelse, omfatter språk bare tale.

“På en personlig skala, gjorde dette vondt. Det ignorerte fullstendig min måte å være på,” sa Hochgesang. “Når jeg var student, så jeg ikke meg selv i dataene som ble beskrevet, og det gjorde det svært vanskelig for meg å knytte til. At det fortsatt ikke har bedret seg mye i dag er uheldig. Den eneste måten dette kan endre seg er hvis vi blir inkludert mer.”

Yin sier at artikkelen er et stort skritt fremover i å motivere individer og bringe samfunn sammen.

“Det er virkelig spennende å se en artikkel jeg skrev motivere mennesker, og jeg håper det kan skape en endring i disse samfunnene,” sa Yin.