L’intelligenza artificiale generativa non è una condanna a morte per le lingue in pericolo

Secondo l’UNESCO, fino alla metà delle lingue potrebbe estinguersi entro il 2100. Molte persone dicono che l’intelligenza artificiale generativa sta contribuendo a questo processo.

Il declino della diversità linguistica non è iniziato con l’AI o con Internet. Tuttavia, l’AI è in una posizione tale da accelerare il declino delle lingue indigene e a bassa risorsa.

La maggior parte delle oltre 7.000 lingue del mondo non ha risorse sufficienti per addestrare modelli di intelligenza artificiale e molte mancano di una forma scritta. Ciò significa che poche lingue maggiori dominano il patrimonio di potenziali dati di addestramento dell’umanità, mentre la maggior parte rischia di essere lasciata indietro nella rivoluzione dell’AI e potrebbe scomparire del tutto.

Il motivo semplice è che la maggior parte dei dati di addestramento dell’AI disponibili sono in inglese. L’inglese è il principale motore dei grandi modelli linguistici (LLM) e le persone che parlano lingue meno comuni si trovano sottorappresentate nella tecnologia dell’AI.

Considera queste statistiche del World Economic Forum:

• Due terzi di tutti i siti web sono in inglese.
• Molto dei dati che l’AI apprende proviene da dati web.
• Meno del 20% della popolazione mondiale parla inglese.

Man mano che l’AI si integra sempre più nella nostra vita quotidiana, dovremmo tutti pensare all’equità linguistica. L’AI ha un potenziale senza precedenti per risolvere problemi su larga scala e la sua promessa non dovrebbe essere limitata al mondo di lingua inglese. L’AI sta creando comodità e strumenti che migliorano la vita personale e professionale delle persone nei paesi ricchi e sviluppati.

I parlanti di lingue a bassa risorsa sono abituati a trovare una carenza di rappresentanza nella tecnologia, dal non trovare siti web nella loro lingua al non avere il loro dialetto riconosciuto da Siri. Molti dei testi disponibili per addestrare l’AI in lingue a bassa risorsa sono di scarsa qualità (tradotti con accuratezza discutibile) e limitati nell’ambito.

Come può la società assicurarsi che le lingue a bassa risorsa non vengano escluse dall’equazione dell’AI? Come possiamo assicurarci che la lingua non sia una barriera alla promessa dell’AI?

Nel tentativo di promuovere l’inclusività linguistica, alcuni grandi player tecnologici hanno iniziato iniziative per addestrare enormi modelli linguistici multilingue (MLM). Microsoft (MSFT ) Translate, ad esempio, si è impegnata a supportare “ogni lingua, ovunque”. E Meta ha una promessa di “Nessuna lingua lasciata indietro”. Queste sono lodevoli, ma sono realistiche?

Aspirare a un modello che gestisca ogni lingua del mondo favorisce i privilegiati perché ci sono volumi di dati molto più grandi dalle lingue maggiori del mondo. Quando iniziamo a trattare lingue a bassa risorsa e lingue con alfabeti non latini, l’addestramento dei modelli di AI diventa più arduo, più lungo e più costoso. Pensalo come una tassa involontaria sulle lingue sottorappresentate.

Progressi nella tecnologia del discorso

I modelli di AI sono in gran parte addestrati su testi, il che favorisce naturalmente le lingue con maggiore quantità di contenuti testuali. La diversità linguistica sarebbe meglio supportata da sistemi che non dipendono dal testo. L’interazione umana un tempo era interamente basata sul discorso e molte culture mantengono ancora questo focus orale. Per servire meglio un pubblico globale, l’industria dell’AI deve progredire dai dati testuali ai dati del discorso.

La ricerca sta facendo enormi passi avanti nella tecnologia del discorso, ma è ancora indietro rispetto alle tecnologie basate sul testo. La ricerca sull’elaborazione del discorso sta progredendo, ma la tecnologia del discorso diretto è ancora lontana dall’essere matura. La realtà è che l’industria tende a muoversi con cautela e solo una volta che una tecnologia ha raggiunto un certo livello.

La piattaforma di interpretazione GlobalLink Live di TransPerfect, appena rilasciata, utilizza le forme più mature della tecnologia del discorso, il riconoscimento automatico del discorso (ASR) e il testo-vocale (TTS), di nuovo perché i sistemi di discorso diretto non sono ancora abbastanza maturi. Detto questo, i nostri team di ricerca stanno preparandosi per il giorno in cui le pipeline di discorso completo saranno pronte per il tempo di punta.

I modelli di traduzione del discorso offrono grandi promesse nella conservazione delle lingue orali. Nel 2022, Meta ha annunciato il primo sistema di traduzione del discorso basato sull’AI per il dialetto Hokkien, una lingua principalmente orale parlata da circa 46 milioni di persone nella diaspora cinese. Fa parte del progetto di Meta Universal Speech Translator, che sta sviluppando nuovi modelli di AI che spera possano abilitare la traduzione del discorso in tempo reale tra molte lingue. Meta ha scelto di rendere open-source i modelli di traduzione Hokkien, i set di dati di valutazione e le ricerche in modo che altri possano riprodurre e costruire sul loro lavoro.

Apprendimento con meno

Il fatto che noi, come comunità globale, manchiamo di risorse intorno a determinate lingue non è una condanna a morte per quelle lingue. È qui che i modelli multilingue hanno un vantaggio, poiché le lingue imparano l’una dall’altra. Tutte le lingue seguono schemi. A causa del trasferimento di conoscenze tra le lingue, la necessità di dati di addestramento è ridotta.

Supponi di avere un modello che sta imparando 90 lingue e vuoi aggiungere l’inuit (un gruppo di lingue indigene nordamericane). A causa del trasferimento di conoscenze, avrai bisogno di meno dati inuit. Stiamo trovando modi per imparare con meno. La quantità di dati necessari per perfezionare i motori è inferiore.

Sono ottimista riguardo a un futuro con un’AI più inclusiva. Non credo che siamo condannati a vedere un gran numero di lingue scomparire, né credo che l’AI rimarrà il dominio del mondo di lingua inglese. Già, stiamo vedendo una maggiore consapevolezza intorno al problema dell’equità linguistica. Dalla raccolta di dati più diversificata alla costruzione di modelli linguistici specifici, stiamo facendo progressi.

Considera il fon, una lingua parlata da circa 4 milioni di persone in Benin e nei paesi africani vicini. Non molto tempo fa, un modello di AI popolare descriveva il fon come una lingua fittizia. Un informatico di nome Bonaventure Dosseau, la cui madre parla fon, era abituato a questo tipo di esclusione. Dosseau, che parla francese, è cresciuto senza alcun programma di traduzione per comunicare con sua madre. Oggi, può comunicare con sua madre grazie a un traduttore fon-francese che ha costruito con cura. Oggi, c’è anche una Wikipedia fon in via di sviluppo.

Nel tentativo di utilizzare la tecnologia per preservare le lingue, l’artista turco Refik Anadol ha avviato la creazione di uno strumento di AI open-source per i popoli indigeni. Al World Economic Summit, ha chiesto: “Come possiamo creare un’AI che non conosce l’intera umanità?”

Non possiamo, e non lo faremo.