Inteligența Artificială Generativă Nu Este O Sentință De Moarte Pentru Limbile În Pericol

Conform UNESCO, până la jumătate din limbi ar putea dispărea până în 2100. Mulți oameni spun că inteligența artificială generativă contribuie la acest proces.

Declinul diversității lingvistice nu a început cu IA sau cu Internetul. Dar IA este într-o poziție de a accelera dispariția limbilor indigene și a celor cu resurse limitate.

Majoritatea celor peste 7.000 de limbi din lume nu au resurse suficiente pentru a antrena modele de IA – și multe lipsesc de o formă scrisă. Acest lucru înseamnă că câteva limbi majore domină stocul de date de antrenare pentru IA, în timp ce majoritatea riscă să fie lăsate în urmă în revoluția IA – și ar putea dispărea complet.

Motivul simplu este că majoritatea datelor de antrenare disponibile pentru IA sunt în engleză. Engleza este principalul motor al modelelor de limbă mare (LLM), iar persoanele care vorbesc limbi mai puțin comune se găsesc subreprezentate în tehnologia IA.

Luați în considerare aceste statistici de la Forumul Economic Mondial:

• Două treimi din toate site-urile web sunt în engleză.
• Marea majoritate a datelor pe care GenIA le învață provine de pe web.
• Sub 20% din populația lumii vorbește engleza.

Pe măsură ce IA devine mai integrată în viețile noastre de zi cu zi, ar trebui să ne gândim cu toții la echitatea lingvistică. IA are un potențial fără precedent de a rezolva probleme la scară largă, iar promisiunea sa nu ar trebui să fie limitată la lumea vorbitoare de engleză. IA creează facilități și instrumente care îmbunătățesc viețile personale și profesionale ale oamenilor din țările dezvoltate.

Vorbitorii de limbi cu resurse limitate sunt obișnuiți să găsească o lipsă de reprezentare în tehnologie – de la lipsa de site-uri web în limba lor la lipsa de recunoaștere a dialectului lor de către Siri. Multe dintre textele care sunt disponibile pentru a antrena IA în limbile cu resurse mai puțin importante sunt de calitate slabă (traduse cu acuratețe îndoielnică) și înguste în scop.

Cum poate societatea să se asigure că limbile cu resurse limitate nu sunt lăsate în urmă în ecuația IA? Cum putem asigura că limba nu este o barieră pentru promisiunea IA?

Într-un efort de incluziune lingvistică, unii mari jucători din tehnologie au inițiative de a antrena modele de limbă multilingvă (MLM) uriașe. Microsoft (MSFT ) Translate, de exemplu, s-a angajat să sprijine “fiecare limbă, peste tot”. Și Meta are o promisiune “Nicio limbă lăsată în urmă”. Acestea sunt lăudabile, dar sunt realiste?

Aspirând spre un model care gestionează fiecare limbă din lume favorizează privilegiații, deoarece există volume mult mai mari de date din limbile majore ale lumii. Când începem să ne ocupăm de limbile cu resurse limitate și de limbile cu caractere non-latine, antrenarea modelelor de IA devine mai dificilă, mai consumatoare de timp – și mai scumpă. Gândiți-vă la acesta ca la o taxă neintenționată pe limbile subreprezentate.

Progrese în Tehnologia Vorbirii

Modelele de IA sunt în mare parte antrenate pe text, ceea ce favorizează în mod natural limbile cu depozite mai adânci de conținut text. Diversitatea lingvistică ar fi mai bine susținută de sisteme care nu depind de text. Interacțiunea umană a fost la un moment dat complet bazată pe vorbire, iar multe culturi păstrează acest focus oral. Pentru a deservi mai bine o audiență globală, industria IA trebuie să progreseze de la date text la date vorbite.

Cercetarea face pași uriași în tehnologia vorbirii, dar încă rămâne în urmă tehnologiilor bazate pe text. Cercetarea în procesarea vorbirii progresează, dar tehnologia directă vorbire-vorbire este departe de a fi matură. Realitatea este că industria are tendința de a se mișca cu prudență și doar odată ce o tehnologie progresează la un anumit nivel.

Platforma de interpretare GlobalLink Live, lansată recent de TransPerfect, utilizează formele mai mature ale tehnologiei vorbirii – recunoașterea automată a vorbirii (ASR) și text-vorbire (TTS) – din nou, deoarece sistemele directe vorbire-vorbire nu sunt suficient de mature în acest moment. Cu toate acestea, echipele noastre de cercetare se pregătesc pentru ziua în care conductele de vorbire-vorbire completă vor fi gata pentru prim-plan.

Modelele de traducere vorbire-vorbire oferă o promisiune uriașă în conservarea limbilor orale. În 2022, Meta a anunțat primul sistem de traducere vorbire-vorbire bazat pe IA pentru Hokkien, o limbă vorbită în principal de aproximativ 46 de milioane de oameni din diaspora chineză. Acesta face parte din proiectul Universal Speech Translator al Meta, care dezvoltă noi modele de IA care, speră, vor permite traducerea în timp real vorbire-vorbire în multe limbi. Meta a ales să facă modelul de traducere Hokkien, seturile de date de evaluare și lucrările de cercetare deschise, astfel încât alții să poată reproduce și să construiască pe baza muncii sale.

Învățarea cu Mai Puțin

Faptul că, ca comunitate globală, lipsește resursele din jurul anumitor limbi nu este o sentință de moarte pentru acele limbi. Aici se află avantajul modelelor multilingve, și anume că limbile învață unele de la altele. Toate limbile urmează modele. Din cauza transferului de cunoștințe între limbi, nevoia de date de antrenare este diminuată.

Să presupunem că aveți un model care învață 90 de limbi și doriți să adăugați Inuit (un grup de limbi indigene nord-americane). Din cauza transferului de cunoștințe, veți avea nevoie de mai puține date Inuit. Găsim modalități de a învăța cu mai puțin. Cantitatea de date necesare pentru a ajusta motoarele este mai mică.

Sunt optimist cu privire la un viitor cu o IA mai incluzivă. Nu cred că suntem sortiți să vedem dispariția a multor limbi – nici nu cred că IA va rămâne domeniul lumii vorbitoare de engleză. Deja, vedem o conștientizare mai mare a problemei echității lingvistice. De la colecția de date mai diversă la construirea de modele lingvistice specifice, facem progrese.

Luati în considerare Fon, o limbă vorbită de aproximativ 4 milioane de oameni în Benin și în țările africane vecine. Nu demult, un model de IA popular a descris Fon ca o limbă fictivă. Un om de știință pe nume Bonaventure Dosseau, a cărui mamă vorbește Fon, era obișnuit cu acest tip de excludere. Dosseau, care vorbește franceza, a crescut fără niciun program de traducere care să-l ajute să comunice cu mama sa. Astăzi, el poate comunica cu mama sa mulțumită unui translator Fon-Franceza pe care l-a construit cu greu. Astăzi, există și o Wikipedia Fon în curs de dezvoltare.

Într-un efort de a utiliza tehnologia pentru a conserva limbile, artistul turc Refik Anadol a inițiat crearea unui instrument de IA deschis pentru popoarele indigene. La Summitul Economic Mondial, el a întrebat: “Cum putem crea un IA care să nu cunoască întreaga omenire?”

Nu putem, și nu vom face acest lucru.