5 bestu opinn uppspretta LLM (maí 2024)

Í ört vaxandi heimi gervigreindar (AI) hafa Large Language Models (LLM) komið fram sem hornsteinn, knúið fram nýjungar og endurmótað hvernig við höfum samskipti við tækni.

Eftir því sem þessi líkön verða sífellt flóknari er vaxandi áhersla lögð á að lýðræðisvæðing aðgengi að þeim. Sérstaklega gegna opinn uppspretta líkön lykilhlutverki í þessari lýðræðisvæðingu og bjóða rannsakendum, þróunaraðilum og áhugamönnum tækifæri til að kafa djúpt í ranghala þeirra, fínstilla þau fyrir ákveðin verkefni eða jafnvel byggja á grunni þeirra.

Í þessu bloggi munum við kanna nokkrar af helstu opnum uppspretta LLM sem eru að slá í gegn í gervigreindarsamfélaginu, sem hver og einn kemur með sína einstaka styrkleika og getu að borðinu.

1. Lama 2

Meta's Llama 2 er byltingarkennd viðbót við gervigreindargerð þeirra. Þetta er ekki bara önnur fyrirmynd; það er hannað til að kynda undir ýmsum nýjustu forritum. Þjálfunargögn Llama 2 eru mikil og margvísleg, sem gerir það að verulegu framfari á forvera sínum. Þessi fjölbreytni í þjálfun tryggir að Llama 2 er ekki bara stigvaxandi framför heldur stórt skref í átt að framtíð gervigreindardrifna samskipta.

Samstarf Meta og Microsoft hefur víkkað út sjóndeildarhringinn fyrir Llama 2. Opinn uppspretta líkanið er nú stutt á kerfum eins og Azure og Windows, sem miðar að því að veita forriturum og stofnunum tækin til að búa til skapandi gervigreind-drifin upplifun. Þetta samstarf undirstrikar hollustu beggja fyrirtækja við að gera gervigreind aðgengilegri og opnari fyrir alla.

Llama 2 er ekki bara arftaki upprunalegu Lama líkansins; það táknar hugmyndabreytingu á spjallbotnavettvangi. Þó að fyrsta Llama gerðin hafi verið byltingarkennd við að búa til texta og kóða, var framboð hennar takmarkað til að koma í veg fyrir misnotkun. Llama 2 á hins vegar eftir að ná til breiðari markhóps. Það er fínstillt fyrir vettvang eins og AWS, Azure og Hugging Face AI líkan hýsingarvettvang. Þar að auki, með samstarfi Meta við Microsoft, er Llama 2 tilbúið til að setja mark sitt ekki aðeins á Windows heldur einnig á tækjum sem knúin eru af Qualcomm's Snapdragon kerfi á flís.

Öryggi er kjarninn í hönnun Llama 2. Með því að viðurkenna áskoranirnar sem fyrri stór tungumálalíkön eins og GPT stóð frammi fyrir, sem stundum framleiddu villandi eða skaðlegt efni, hefur Meta gripið til umfangsmikilla ráðstafana til að tryggja áreiðanleika Llama 2. Líkanið hefur farið í gegnum stranga þjálfun til að lágmarka „ofskynjanir“, rangar upplýsingar og hlutdrægni.

Helstu eiginleikar LLaMa 2:

• Fjölbreytt þjálfunargögn: Þjálfunargögn Llama 2 eru bæði umfangsmikil og fjölbreytt, sem tryggja alhliða skilning og frammistöðu.
• Samstarf við Microsoft: Llama 2 er stutt á kerfum eins og Azure og Windows, sem víkkar umsóknarsvið þess.
• Opið framboð: Ólíkt forvera sínum er Llama 2 fáanlegur fyrir breiðari markhóp, tilbúinn til fínstillingar á mörgum kerfum.
• Öryggismiðuð hönnun: Meta hefur lagt áherslu á öryggi og tryggir að Llama 2 skili nákvæmum og áreiðanlegum niðurstöðum á sama tíma og skaðleg útgangur er í lágmarki.
• Bjartsýni útgáfur: Llama 2 kemur í tveimur aðalútgáfum – Llama 2 og Llama 2-Chat, þar sem sú síðarnefnda er sérstaklega hönnuð fyrir tvíhliða samtöl. Þessar útgáfur eru á bilinu 7 milljarðar upp í 70 milljarðar breytur.
• Aukin þjálfun: Llama 2 var þjálfuð á tveimur milljónum tákna, sem er umtalsverð aukning frá upprunalegu 1.4 trilljónum táknum Lama.

2. Bloom

Árið 2022, eftir alþjóðlegt samvinnuátak þar sem sjálfboðaliðar frá yfir 70 löndum og sérfræðingar frá Hugging Face tóku þátt, var BLOOM verkefnið afhjúpað. Þetta stóra tungumálalíkan (LLM), búið til í gegnum árslangt frumkvæði, er hannað fyrir sjálfvirka textagerð, sem getur framlengt tiltekna textakvaðningu. Það var þjálfað á gríðarstórum hópi textagagna sem nýtti verulegan reiknikraft.

Frumraun BLOOM var mikilvægt skref í að gera kynslóða gervigreind tækni aðgengilegri. Sem opinn uppspretta LLM státar það af 176 milljörðum breytum, sem gerir það að einni af þeim ægilegustu í sínum flokki. BLOOM hefur kunnáttu til að búa til heildstæðan og nákvæman texta á 46 tungumálum og 13 forritunarmálum.

Verkefnið leggur áherslu á gagnsæi og veitir almenningi aðgang að frumkóða þess og þjálfunargögnum. Þessi hreinskilni býður upp á áframhaldandi skoðun, nýtingu og endurbætur á líkaninu.

BLOOM er aðgengilegt án kostnaðar í gegnum Hugging Face vettvanginn og stendur sem vitnisburður um nýsköpun í samvinnu í gervigreind.

Helstu eiginleikar Bloom:

• Fjöltyngd hæfni: BLOOM er vandvirkur í að búa til texta á 46 tungumálum og 13 forritunarmálum, sem sýnir breitt tungumálasvið sitt.
• Opinn aðgangur: Frumkóði líkansins og þjálfunargögn eru aðgengileg almenningi, sem stuðlar að gagnsæi og umbótum í samvinnu.
• Myndun sjálfvirkrar texta: BLOOM er hannað til að halda áfram texta frá tiltekinni vísbendingu og skarar fram úr í að lengja og klára textaröð.
• Mikil færibreytur: Með 176 milljarða færibreytur stendur BLOOM sem einn öflugasti opinn uppspretta LLM sem til er.
• Alþjóðlegt samstarf: Þróað í gegnum árslangt verkefni með framlögum frá sjálfboðaliðum í meira en 70 löndum og fræðimönnum Hugging Face.
• Ókeypis aðgengi: Notendur geta fengið aðgang að og notað BLOOM ókeypis í gegnum Hugging Face vistkerfið, sem eykur lýðræðisþróun þess á sviði gervigreindar.
• Þjálfun á iðnaðarmælikvarða: Líkanið var þjálfað á gríðarlegu magni af textagögnum með því að nota umtalsverða reikniauðlind, sem tryggði sterkan árangur.

3. MPT-7B

MosaicML Foundations hefur lagt mikið af mörkum til þessa svæðis með kynningu á MPT-7B, nýjasta opna uppspretta LLM þeirra. MPT-7B, skammstöfun fyrir MosaicML Pretrained Transformer, er GPT-stíl, aðeins afkóðara spenni. Þetta líkan státar af nokkrum endurbótum, þar á meðal frammistöðu-bjartsýni lag útfærslur og byggingarlistar breytingar sem tryggja meiri þjálfun stöðugleika.

Áberandi eiginleiki MPT-7B er þjálfun þess á umfangsmiklu gagnasafni sem samanstendur af 1 trilljón táknum af texta og kóða. Þessi stranga þjálfun var framkvæmd á MosaicML pallinum á 9.5 dögum.

Opinn uppspretta eðli MPT-7B staðsetur það sem dýrmætt tæki fyrir viðskiptaleg forrit. Það hefur möguleika á að hafa veruleg áhrif á forspárgreiningar og ákvarðanatökuferli fyrirtækja og stofnana.

Til viðbótar við grunnlíkanið gefur MosaicML Foundations einnig út sérhæfð líkön sem eru sérsniðin fyrir tiltekin verkefni, svo sem MPT-7B-Instruct fyrir stutta kennslu eftirfylgni, MPT-7B-Chat fyrir samræðumyndun og MPT-7B-StoryWriter-65k+ fyrir sögugerð í langri mynd.

Þróunarferð MPT-7B var yfirgripsmikil, þar sem MosaicML teymið stjórnaði öllum stigum frá undirbúningi gagna til dreifingar innan nokkurra vikna. Gögnin voru fengin úr fjölbreyttum geymslum og teymið notaði verkfæri eins og EleutherAI's GPT-NeoX og 20B tokenizer til að tryggja fjölbreytta og alhliða þjálfunarblöndu.

Helstu eiginleikar Yfirlit yfir MPT-7B:

• Viðskiptaleyfi: MPT-7B er með leyfi til notkunar í atvinnuskyni, sem gerir það að verðmætri eign fyrir fyrirtæki.
• Umfangsmikil þjálfunargögn: Líkanið státar af þjálfun á gríðarstóru gagnasafni sem inniheldur 1 trilljón tákn.
• Langur inntaksmeðferð: MPT-7B er hannað til að vinna afar langar inntak án málamiðlana.
• Hraði og skilvirkni: Líkanið er fínstillt fyrir skjóta þjálfun og ályktanir, sem tryggir tímanlegan árangur.
• Opinn uppspretta kóða: MPT-7B kemur með skilvirkum opnum þjálfunarkóða, sem stuðlar að gagnsæi og auðveldri notkun.
• Samanburðarárangur: MPT-7B hefur sýnt fram á yfirburði yfir aðrar opinn uppspretta gerðir í 7B-20B línunni, með gæði þess sem samsvarar gæðum LLaMA-7B.

4. falcon

Falcon LLM, er líkan sem hefur farið hratt upp í efsta sæti LLM stigveldisins. Falcon LLM, nánar tiltekið Falcon-40B, er undirstöðu LLM búin 40 milljörðum breytum og hefur verið þjálfaður á glæsilegum einni trilljón táknum. Það starfar sem sjálfvirkt afkóðara-einungis líkan, sem þýðir í rauninni að það spáir fyrir um síðari táknið í röð sem byggist á fyrri táknunum. Þessi arkitektúr minnir á GPT líkanið. Athyglisvert er að arkitektúr Falcon hefur sýnt betri frammistöðu en GPT-3, og hefur náð þessu afreki með aðeins 75% af kostnaðaráætlun þjálfunar og krefst umtalsvert minni reiknings meðan á ályktun stendur.

Teymi Tækninýsköpunarstofnunar lagði mikla áherslu á gagnagæði við þróun Falcon. Þeir gerðu sér grein fyrir næmni LLM fyrir þjálfun gagnagæða, smíðuðu þeir gagnaleiðslu sem stækkaði í tugþúsundir CPU kjarna. Þetta leyfði hraðri vinnslu og útdrætti hágæða efnis af vefnum sem náðist með víðtækum síunar- og aftvíföldunarferlum.

Auk Falcon-40B hefur TII einnig kynnt aðrar útgáfur, þar á meðal Falcon-7B, sem býr yfir 7 milljörðum breytum og hefur verið þjálfað á 1,500 milljörðum tákna. Það eru líka sérhæfðar gerðir eins og Falcon-40B-Instruct og Falcon-7B-Instruct, sérsniðnar fyrir ákveðin verkefni.

Þjálfun Falcon-40B var umfangsmikið ferli. Líkanið var þjálfað á RefinedWeb gagnapakkanum, gríðarstóru ensku vefgagnasetti smíðað af TII. Þetta gagnasafn var byggt ofan á CommonCrawl og gekkst undir stranga síun til að tryggja gæði. Þegar líkanið var útbúið var það staðfest gegn nokkrum opnum viðmiðum, þar á meðal EAI Harness, HELM og BigBench.

Helstu eiginleikar Yfirlit yfir Falcon LLM:

• Víðtækar færibreytur: Falcon-40B er búinn 40 milljörðum breytum, sem tryggir alhliða nám og frammistöðu.
• Sjálfvirkur afkóðara-eingöngu líkan: Þessi arkitektúr gerir Falcon kleift að spá fyrir um síðari tákn byggða á fyrri táknum, svipað og GPT líkanið.
• Frábær árangur: Falcon stendur sig betur en GPT-3 á meðan hann nýtir aðeins 75% af þjálfunarreikningskostnaði.
• Hágæða gagnaleiðsla: Gagnaleiðsla TII tryggir útdrátt hágæða efnis af vefnum, sem skiptir sköpum fyrir þjálfun líkansins.
• Fjölbreytni af gerðum: Auk Falcon-40B býður TII Falcon-7B og sérhæfðar gerðir eins og Falcon-40B-Instruct og Falcon-7B-Instruct.
• Opinn uppspretta framboð: Falcon LLM hefur verið opið og stuðlað að aðgengi og innifalið á gervigreindarsviðinu.

5. Vicuna-13B

LMSYS ORG hefur slegið í gegn á sviði opins uppspretta LLMs með tilkomu Vicuna-13B. Þessi opinn uppspretta spjallbotni hefur verið vandlega þjálfaður með því að fínstilla LLaMA á samtölum sem deilt er með notendum frá ShareGPT. Bráðabirgðamat, þar sem GPT-4 gegnir hlutverki dómara, benda til þess að Vicuna-13B nái meira en 90% gæðum af þekktum gerðum eins og OpenAI ChatGPT og Google Bard.

Áhrifamikil, Vicuna-13B er betri en aðrar athyglisverðar gerðir eins og LLaMA og Stanford Alpaca í yfir 90% tilvika. Allt þjálfunarferlið fyrir Vicuna-13B var framkvæmt á kostnað um það bil $300. Fyrir þá sem hafa áhuga á að kanna getu þess hefur kóðinn, lóðin og kynning á netinu verið aðgengileg almenningi í óviðskiptalegum tilgangi.

Vicuna-13B líkanið hefur verið fínstillt með 70K notendum sameiginlegum ChatGPT samtölum, sem gerir því kleift að búa til ítarlegri og vel uppbyggð svör. Gæði þessara svara eru sambærileg við ChatGPT. Að meta spjallþræði er hins vegar flókið viðleitni. Með framförum í GPT-4 er vaxandi forvitni um möguleika þess til að þjóna sem sjálfvirkur matsrammi fyrir viðmiðunarframleiðslu og árangursmat. Fyrstu niðurstöður benda til þess að GPT-4 geti framleitt samræmda röð og ítarlegt mat þegar borin eru saman svör spjallbotna. Bráðabirgðamat byggt á GPT-4 sýnir að Vicuna nær 90% getu líkana eins og Bard/ChatGPT.

Yfirlit yfir helstu eiginleika Vicuna-13B:

• Open-Source Nature: Vicuna-13B er í boði fyrir almenning, sem stuðlar að gagnsæi og samfélagsþátttöku.
• Umfangsmikil þjálfunargögn: Líkanið hefur verið þjálfað í 70 samræðum sem notendur hafa deilt, sem tryggir alhliða skilning á fjölbreyttum samskiptum.
• Samkeppnishæfni: Frammistaða Vicuna-13B er á pari við leiðtoga iðnaðarins eins og ChatGPT og Google Bard.
• Hagkvæm þjálfun: Allt þjálfunarferlið fyrir Vicuna-13B var framkvæmt með litlum tilkostnaði um $300.
• Fínstilling á LLaMA: Líkanið hefur verið fínstillt á LLaMA, sem tryggir aukna frammistöðu og svörunargæði.
• Aðgengi að kynningu á netinu: Gagnvirkt kynningu á netinu er í boði fyrir notendur til að prófa og upplifa getu Vicuna-13B.

Stækkandi svið stórra tungumálalíkana

Ríki stórra tungumálalíkana er víðfeðmt og sífellt stækkandi, þar sem hvert nýtt líkan þrýstir á mörk þess sem er mögulegt. Opinn uppspretta eðli LLMs sem fjallað er um á þessu bloggi sýnir ekki aðeins samstarfsanda gervigreindarsamfélagsins heldur ryður einnig brautina fyrir nýjungar í framtíðinni.

Þessar gerðir, allt frá glæsilegum spjallþætti Vicuna til yfirburða árangursmælinga Falcon, tákna hátind núverandi LLM tækni. Þegar við höldum áfram að verða vitni að örum framförum á þessu sviði er ljóst að opinn uppspretta líkön munu gegna mikilvægu hlutverki við að móta framtíð gervigreindar.

Hvort sem þú ert vanur rannsakandi, verðandi gervigreindaráhugamaður eða einhver sem er forvitinn um möguleika þessara líkana, þá er enginn betri tími til að kafa ofan í og ​​kanna þá miklu möguleika sem þær bjóða upp á.