Monikielisten LLM:n tila: Siirtyminen englannin yli

Microsoftin tutkimuksen mukaan noin 88% maailman kielistä, joita puhuu 1,2 miljardia ihmistä, ei ole pääsyä Large Language Modelsiin (LLM). Tämä johtuu siitä, että useimmat LLM:t ovat englanninkielisiä, eli ne on rakennettu pääasiassa englanninkielisistä tiedoista ja englanninkielisiä puhujia varten. Tämä englannin kielen valta-asema vallitsee myös LLM-kehityksessä ja on johtanut digitaaliseen kieliyhteen, joka voi jättää useimmat ihmiset LLM:n hyödyistä ulos. Tämän ongelman ratkaisemiseksi LLM:lle tarvitaan LLM, joka voidaan kouluttaa eri kielillä ja suorittaa tehtäviä eri kielillä. Tässä astuu monikieliset LLM:t!

Mitä ovat monikieliset LLM:t?

Monikielinen LLM voi ymmärtää ja generoida tekstiä useilla kielillä. Ne on koulutettu tietokannoissa, jotka sisältävät eri kieliä, ja ne voivat suorittaa erilaisia tehtäviä useilla kielillä käyttäjän ohjeen mukaan.

Monikielisen LLM:n sovellukset ovat valtavat, mukaan lukien kirjallisuuden kääntäminen paikallisiin murteisiin, reaaliaikainen monikielinen viestintä, monikielinen sisällön luominen jne. Ne auttavat kaikkia pääsemään tietoihin ja puhumaan toistensa kanssa helposti, riippumatta heidän kielestään.

Lisäksi monikieliset LLM:t ratkaisevat haasteita, kuten kulttuuristen nuanssien ja kontekstin puutteen, koulutusdatan rajoitukset ja tiedon mahdollisen menetyksen käännöksessä.

Miten monikieliset LLM:t toimivat?

Monikielisen LLM:n rakentaminen vaatii huolellista valmistelua tasapainotetusta korpuksista eri kielillä ja sopivan arkkitehtuurin ja koulutustekniikan valintaa mallin kouluttamiseksi, mieluiten Transformer-malli, joka on täydellinen monikieliselle oppimiselle.

Lähde: Kuva tekijältä

Yksi tekniikka on jakaa upotukset, jotka kaappaavat sanojen semanttisen merkityksen eri kielillä. Tämä tekee LLM:stä oppivan kunkin kielen samankaltaisuudet ja erot, mahdollistaen sen ymmärtämisen eri kielillä paremmin.

Tämä tieto myös valtuuttaa LLM:ää sopeutumaan erilaisiin kielellisiin tehtäviin, kuten kielten kääntämiseen, eri tyylilajeihin jne. Toinen käytetty tekniikka on cross-lingual transfer learning, jossa malli on esikoulutettu suurella monikielisellä tietokannalla ennen kuin se on hienosäädetty tiettyihin tehtäviin.

Tämä kaksivaiheinen prosessi varmistaa, että malli on vahva perusta monikielisessä kielen ymmärtämisessä, tehden siitä sopeutuvan erilaisiin sovelluksiin.

Esimerkkejä monikielisistä Large Language Modeleista

Lähde: Ruder.io

Useita merkittäviä esimerkkejä monikielisistä LLM:istä on ilmestynyt, ja ne palvelevat eri kielillisiä tarpeita ja kulttuurisia konteksteja. Tutustumme niihin:

1. BLOOM

BLOOM on avoimen pääsyn monikielinen LLM, joka priorisoi monia kieliä ja saavutettavuutta. 176 miljardin parametrin kanssa BLOOM voi suorittaa tehtäviä 46 luonnollisella kielellä ja 13 ohjelmointikielellä, mikä tekee siitä yhden suurimmista ja monipuolisimmista LLM:istä.

BLOOM:n avoimen lähdekoodin luonne mahdollistaa tutkijoille, kehittäjille ja kieliyhteisöille hyödyntää sen kykyjä ja osallistua sen parantamiseen.

2. YAYI 2

YAYI 2 on avoimen lähdekoodin LLM, joka on suunniteltu erityisesti aasialaisille kielille, ottaen huomioon alueen monimuotoisuuden ja kulttuuriset nyanssit. Se on koulutettu alusta lähtien monikielisellä tietokannalla, joka sisältää yli 16 aasialaista kieltä ja 2,65 biljoonaa suodatettua tokenia.

Tämä tekee mallista paremman tuloksen, joka vastaa kunkin kielen ja kulttuurin erityistarpeita.

3. PolyLM

PolyLM on avoimen lähdekoodin ‘polyglotti’ LLM, joka keskittyy ratkaisemaan vähävaraisilla kielillä olevia haasteita tarjoamalla sopeutumiskykyä. Se on koulutettu tietokannasta, joka sisältää noin 640 miljardia tokenia, ja se on saatavilla kahdessa mallikokoisessa: 1,7B ja 13B. PolyLM osaa yli 16 eri kieltä.

Se mahdollistaa malleja, jotka on koulutettu vähävaraisilla kielillä, sopeutumaan vähävaraisiin kieliin, joilla on rajoitettu määrä dataa. Tämä joustavuus tekee LLM:istä hyödyllisemmän erilaisissa kielitilanteissa ja tehtävissä.

4. XGLM

XGLM, joka on 7,5 miljardin parametrin, on monikielinen LLM, joka on koulutettu tietokannasta, joka kattaa monia kieliä, käyttäen vähäshot-oppimistekniikkaa. Se on osa suurten monikielisten LLM:ien perhettä, jotka on koulutettu valtavasta tietokannasta tekstiä ja koodia.

Sen tavoitteena on kattaa monia kieliä täysin, miksi se painottaa inklusiivisuutta ja kielellistä monimuotoisuutta. XGLM osoittaa mahdollisuuden rakentaa malleja, jotka palvelevat eri kielien yhteisöjen tarpeita.

5. mT5

mT5 (massiivisesti monikielinen Teksti-Teksti-Siirtymä-Transformer) on kehitetty Google AI:lla. Koulutettu common crawl -tietokannasta, mt5 on huipputason monikielinen LLM, joka voi käsitellä 101 kieltä, aina laajasti puhuttuja kieliä kuten espanjaa ja kiinaa vähävaraisiin kielisiin kuten baskiin ja quechuaan.

Se myös erinomaisesti suorittaa monikielisiä tehtäviä, kuten kääntämistä, tiivistämistä, kysymyksiä ja vastaamista jne.

Onko yleinen LLM mahdollinen?

Kielen neutraalin LLM:n käsite, joka voi ymmärtää ja generoida kieltä ilman harhaa kohtaan mitään tiettyä kieltä, on mielenkiintoinen.

Vaikka täysin yleisen LLM:n kehittäminen on vielä kaukana, nykyiset monikieliset LLM:t ovat osoittaneet merkittävää menestystä. Kun ne on kehitetty täysin, ne voivat palvella vähävaraisia kieliä ja monimuotoisia yhteisöjä.

Esimerkiksi tutkimus osoittaa, että useimmat monikieliset LLM:t voivat helpottaa nollashotin cross-lingual -siirtymistä resurssirikkaasta kielestä resurssipuutteiseen kieleen ilman tehtäväkohtaisia koulutusdataa.

Lisäksi mallit, kuten YAYI ja BLOOM, jotka keskittyvät tiettyihin kielisiin ja yhteisöihin, ovat osoittaneet kielenkeskeisten lähestymistapojen potentiaalia edistää eteenpäin ja lisätä inklusiivisuutta.

Rakentaaaksesi yleisen LLM:n tai parantaaksesi nykyisiä monikielisiä LLM:ejä, yksilöiden ja organisaatioiden on tehtävä seuraavaa:

• Joukkoistettava paikallisia puhujia yhteisön osallistumiseksi ja tietokantojen kuratointiin.
• Tukea yhteisöjen pyrkimyksiä avoimen lähdekoodin osallistumiseen ja rahoitukseen monikieliseen tutkimukseen ja kehitykseen.

Monikielisen LLM:n haasteet

Vaikka yleisen monikielisen LLM:n käsite on lupaava, ne kohtaavat useita haasteita, jotka on ratkaistava ennen kuin voimme hyötyä niistä:

1. Datamäärä

Monikieliset mallit vaativat suuremman sanaston edustamaan tokenia useilla kielillä kuin yksikieliset mallit, mutta monilla kielillä on puutetta laajasta tietokannasta. Tämä tekee mallien kouluttamisen tehokkaasti haasteelliseksi.

2. Datatarkkuuden huolenaihe

Monikielisen LLM:n tulosten tarkkuuden ja kulttuurisen sopivuuden varmistaminen kaikilla kielillä on merkittävä huolenaihe. Malleja on koulutettava ja hienosäädettyä tarkkaan kielen ja kulttuurin nyansseja, jotta voidaan välttää harhaa ja epätarkkuuksia.

3. Resurssirajoitukset

Monikielisen mallin kouluttaminen ja suorittaminen vaativat merkittäviä laskentaresursseja, kuten voimakkaita GPU:ita (esim. NVIDIA A100 GPU). Korkea kustannus aiheuttaa haasteita, erityisesti vähävaraisille kielille ja yhteisöille, joilla on rajoitettu pääsy laskentainfrastruktuuriin.

4. Mallin arkkitehtuuri

Mallin arkkitehtuurin sopeuttaminen monimuotoisten kielirakenteiden ja -monimuotoisuuksien mukaisesti on jatkuva haaste. Malleja on kyettävä käsittelemään kieliä, joilla on erilaiset sanajärjestykset, morfologiset variatiot ja kirjaimet, samalla ylläpitäen suorituskykyä ja tehokkuutta.

5. Arviointikompleksisuus

Monikielisen LLM:n suorituskyvyn arviointi englannin mittareiden ulottuvilla on kriittinen sen todellisen tehokkuuden mittaamiseksi. Se vaatii huomioon ottamista kulttuurisista nyansseista, kielellisistä erityispiirteistä ja alan kohtaisista vaatimuksista.

Monikieliset LLM:t voivat murtaa kielimuureja, vahvistaa vähävaraisia kieliä ja helpottaa tehokasta viestintää monimuotoisissa yhteisöissä.

Älä missaa viimeisimmät uutiset ja analyysit tekoälystä ja koneoppimisesta – vieraile unite.ai tänään.