L’intelligenza artificiale generativa non è una condanna a morte per le lingue in pericolo

Secondo l’UNESCO, fino alla metà delle lingue potrebbe essere estinta entro il 2100. Molte persone dicono che l’intelligenza artificiale generativa sta contribuendo a questo processo.

La diminuzione della diversità linguistica non è iniziata con l’AI – o con Internet. Ma l’AI è in una posizione per accelerare il declino delle lingue indigene e a bassa risorsa.

La maggior parte delle 7.000+ lingue del mondo non hanno risorse sufficienti per addestrare i modelli di intelligenza artificiale – e molte mancano di una forma scritta. Ciò significa che poche lingue principali dominano il patrimonio di potenziali dati di addestramento per l’intelligenza artificiale, mentre la maggior parte rischia di essere lasciata indietro nella rivoluzione dell’intelligenza artificiale – e potrebbe scomparire completamente.

Il motivo semplice è che la maggior parte dei dati di addestramento per l’intelligenza artificiale disponibili sono in inglese. L’inglese è il principale motore dei grandi modelli linguistici (LLM), e le persone che parlano lingue meno comuni si trovano sottorappresentate nella tecnologia dell’intelligenza artificiale.

Considerate queste statistiche dal World Economic Forum:

• Due terzi di tutti i siti web sono in inglese.
• Molto dei dati che GenAI apprende proviene da web scraping.
• Meno del 20% della popolazione mondiale parla inglese.

Mentre l’intelligenza artificiale si integra sempre più nelle nostre vite quotidiane, dovremmo tutti pensare all’equità linguistica. L’intelligenza artificiale ha un potenziale senza precedenti per risolvere problemi su larga scala, e la sua promessa non dovrebbe essere limitata al mondo di lingua inglese. L’intelligenza artificiale sta creando comodità e strumenti che migliorano la vita personale e professionale delle persone nei paesi ricchi e sviluppati.

I parlanti di lingue a bassa risorsa sono abituati a trovare una carenza di rappresentanza nella tecnologia – dal non trovare siti web nella loro lingua al non avere il loro dialetto riconosciuto da Siri. Molti dei testi disponibili per addestrare l’intelligenza artificiale nelle lingue a bassa risorsa sono di scarsa qualità (tradotti con un’accuratezza discutibile) e limitati nell’ambito.

Come può la società assicurarsi che le lingue a bassa risorsa non vengano escluse dall’equazione dell’intelligenza artificiale? Come possiamo assicurarci che la lingua non sia una barriera alla promessa dell’intelligenza artificiale?

Nello sforzo di promuovere l’inclusività linguistica, alcuni grandi player tecnologici hanno iniziative per addestrare enormi modelli linguistici multilingui (MLM). Microsoft Translate, ad esempio, ha promesso di supportare “ogni lingua, ovunque”. E Meta ha una promessa di “Nessuna lingua lasciata indietro”. Queste sono lodevoli, ma sono realistici?

Aspirare a un modello che gestisca ogni lingua del mondo favorisce i privilegiati perché ci sono volumi di dati molto più grandi dalle principali lingue del mondo. Quando iniziamo a trattare le lingue a bassa risorsa e le lingue con script non latini, l’addestramento dei modelli di intelligenza artificiale diventa più arduo, più lungo – e più costoso. Pensatelo come una tassa involontaria sulle lingue sottorappresentate.

Avanzamenti nella tecnologia del discorso

I modelli di intelligenza artificiale sono in gran parte addestrati su testi, il che favorisce naturalmente le lingue con riserve più profonde di contenuti testuali. La diversità linguistica sarebbe meglio supportata con sistemi che non dipendono dal testo. L’interazione umana un tempo era completamente basata sul discorso, e molte culture mantengono questo focus orale. Per servire meglio un pubblico globale, l’industria dell’intelligenza artificiale deve progredire dai dati testuali ai dati del discorso.

La ricerca sta facendo enormi passi avanti nella tecnologia del discorso, ma è ancora indietro rispetto alle tecnologie basate sul testo. La ricerca sull’elaborazione del discorso sta progredendo, ma la tecnologia del discorso diretto è ancora lontana dalla maturità. La realtà è che l’industria tende a muoversi con cautela, e solo una volta che una tecnologia raggiunge un certo livello.

La piattaforma di interpretazione GlobalLink Live di TransPerfect, appena rilasciata, utilizza le forme più mature della tecnologia del discorso – il riconoscimento automatico del discorso (ASR) e il testo-vocale (TTS) – di nuovo, perché i sistemi di discorso diretto non sono ancora abbastanza maturi. Detto questo, i nostri team di ricerca stanno preparando il giorno in cui le pipeline di discorso diretto saranno pronte per il tempo di primaria.
I modelli di traduzione del discorso offrono una grande promessa nella conservazione delle lingue orali. Nel 2022, Meta ha annunciato il primo sistema di traduzione del discorso diretto alimentato da intelligenza artificiale per il dialetto Hokkien, una lingua principalmente orale parlata da circa 46 milioni di persone nella diaspora cinese. Fa parte del progetto Meta Universal Speech Translator, che sta sviluppando nuovi modelli di intelligenza artificiale che spera possano abilitare la traduzione del discorso diretto in tempo reale tra molte lingue. Meta ha optato per rendere open-source i modelli di traduzione Hokkien, i set di dati di valutazione e le ricerche in modo che altri possano riprodurre e costruire sul loro lavoro.

Imparare con meno

Il fatto che noi come comunità globale manchiamo di risorse intorno a determinate lingue non è una condanna a morte per quelle lingue. È qui che i modelli multilingui hanno un vantaggio, nel fatto che le lingue imparano l’una dall’altra. Tutte le lingue seguono schemi. A causa del trasferimento di conoscenza tra le lingue, la necessità di dati di addestramento è ridotta.

Supponete di avere un modello che sta imparando 90 lingue e volete aggiungere l’inuktitut (un gruppo di lingue indigene nordamericane). A causa del trasferimento di conoscenza, avrete bisogno di meno dati inuktitut. Stiamo trovando modi per imparare con meno. La quantità di dati necessari per perfezionare i motori è inferiore.

Sono ottimista su un futuro con un’intelligenza artificiale più inclusiva. Non credo che siamo condannati a vedere orde di lingue scomparire – né credo che l’intelligenza artificiale rimarrà il dominio del mondo di lingua inglese. Già, stiamo vedendo una maggiore consapevolezza intorno alla questione dell’equità linguistica. Dalla raccolta di dati più diversificata alla costruzione di modelli linguistici specifici, stiamo facendo progressi.

Considerate il fon, una lingua parlata da circa 4 milioni di persone in Benin e nei paesi africani vicini. Non molto tempo fa, un modello di intelligenza artificiale popolare ha descritto il fon come una lingua fittizia. Un informatico di nome Bonaventure Dosseau, la cui madre parla fon, era abituato a questo tipo di esclusione. Dosseau, che parla francese, è cresciuto senza alcun programma di traduzione per aiutarlo a comunicare con sua madre. Oggi, può comunicare con sua madre grazie a un traduttore fon-francese che ha costruito con cura. Oggi, c’è anche una versione iniziale di Wikipedia in fon.

Nello sforzo di utilizzare la tecnologia per preservare le lingue, l’artista turco Refik Anadol ha avviato la creazione di uno strumento di intelligenza artificiale open-source per i popoli indigeni. Al World Economic Summit, ha chiesto: “Come possiamo creare un’intelligenza artificiale che non conosce l’intera umanità?”

Non possiamo, e non lo faremo.