GOAT (Di Karên Arîtmetîk de baş): Ji Zehmetiya Ziman bigire heya Math Genius

Modelên zimanên mezin (LLM) şoreş kirine pêvajoya zimanê xwezayî (NLP) bi çêkirina û têgihiştina nivîsên mîna mirovî bi awayekî hêja. Lêbelê, van modelan pir caran hewce ne ku dema ku ew tê ser karên bingehîn ên jimartinê çêtir bikin. Tevî pisporiya wan a di ziman de, LLM bi gelemperî bi hesabên matematîkî yên hêsan re alîkariyê hewce dike. Ev valahiya di navbera jêhatîbûna ziman û jêhatîbûna matematîkî de lêkolîneran hişt ku li modelên pispor ên ji bo karên jimartinê lêkolîn bikin.

Li zeviyên çêkirî û perwerde, bizin, ku tê wateya Good at Arithmetic Tasks, wekî pêşveçûnek berbiçav derketiye holê. Berevajî modelên kevneşopî, GOAT ne tenê di NLP de di heman demê de di çareserkirina pirsgirêkên matematîkî yên tevlihev de jî pêş dikeve. Modelek bifikirin ku dema ku hevkêşeyên tevlihev bi rasthatinî çareser dike, hevokên diyarker çêdike. GOAT vê kombînasyona bêhempa temsîl dike, zimanzanek jêhatî û matematîkzanek bêkêmasî yekgirtî ye.

GOAT modelek AI-ya şoreşgerî ye ku di karên zimanî û hejmarî de pêş dikeve. Berevajî modelên zimanên kevneşopî, ku bi giranî li ser hilberandin û têgihiştina nivîsê disekinin, GOAT bi nîşandana jêhatîbûnên pêşkeftî yên çareserkirina pirsgirêka matematîkî, ji wan derdixe pêş. Veguheztina wê ya di navbera van her du qadan de di AI-ê de serkeftinek girîng nîşan dide, di perwerdehiyê, çareserkirina pirsgirêk û qadên din de fersendên serîlêdanên nûjen vedike.

Modela GOAT

Modela GOAT di îstîxbarata sûnî de pêşkeftinek girîng temsîl dike, bi taybetî li ser hevberdana têgihîştina ziman û ramana matematîkî. Di bingehê xwe de, GOAT xweş-tuned e modela LLaMA, guhertoyek pispor a LLM-an ku bi eşkere ji bo peywirên jimartinî hatî çêkirin. Berevajî LLM-yên gelemperî, yên ku di NLP-ê de jêhatî ne, lê bi arîtmetîka bingehîn re têdikoşin, GOAT ji bo ku kapasîteyên xwe yên matematîkî zêde bike, bi rêkûpêkek armanckirî derbas bûye.

Serweriya GOAT di kapasîteya wê de ye ku meriv cûrbecûr peywirên jimartinê bi rastbûna bilind re mijûl bike. Li gorî yên ku bi gelemperî têne pejirandin Gpt-4, GOAT bi domdarî encamên bilindtir ji bilî, jêkirin, pirkirin, û dabeşkirinê dide. Mîmariya wê ya birêkûpêk dihêle ku ew bi bandor îfadeyên hejmarî, pirsgirêkên peyvan, û ramanên matematîkî bi rê ve bibe. Çi hejmartina hejmarên mezin an jî çareserkirina hevkêşeyên tevlihev, GOAT astek rastdariyê nîşan dide ku wê ji pêşiyên xwe veqetîne.

Ji bo bidestxistina vê jêhatîbûnê, GOAT databasek çêkirî ya sentetîk bikar tîne. Ev danehev mînakên hejmarî yên cihêreng ên ku astên dijwariyê, rêzikên hejmarê û celebên pirsgirêkê vedihewîne pêk tîne. Bi perwerdehiya li ser vê daneya bi baldarî hatî hilanîn, GOAT fêr dibe ku li ser senaryoyên cihêreng giştî bike, û jêhatî dike ku ew di kêşeyên arithmetîk ên cîhana rastîn de mijûl bibe.

Kapasîteyên GOAT ji zêdekirin û jêbirina hêsan derbas dibin. Ew di nav deverên cûrbecûr de kêşeyên arîtmetîk ên tevlihev têk dibe. Çi bêjeyên cebrî, çi pirsgirêkên peyvan, çi jî hejmartinên pir-gavekî, GOAT bi domdarî ji hevrikên xwe derdikeve. Rastbûn û bikêrhatina wê standardek nû destnîşan dike.

Ew PaLM-540B, modelek zimanek hêzdar, ji hêla GOAT ve rastî pêşbaziyek dijwar tê. Di danberhevên rasterast de, GOAT rast û hêzek çêtir nîşan dide. Ew bi pisporî hejmarên tevlihev digire dest, ji modelên din derbas dibe. Hêza GOAT ji rêzikkirina wê ya bi çavdêrî tê. Tewra gava ku bi hejmarên pir mezin ên ku dê pir dijwar re mijûl bibin jî, GOAT pir baş performans dike. Zêdekirin û jêbirinê bi duristî pêk tîne, ronahiya xweya matematîkî nîşan dide.

Tokenîzasyona Jimaran di GOAT de: Zêdekirina Rastiya Arîtmetîk

GOAT jêhatîbûnek berbiçav destnîşan dike ku meriv bi domdarî nîşaneyên hejmarî bi rê ve dibe. Tokenîzasyon nivîsa têketinê li yekîneyên piçûktir an tokenan vediqetîne. Di doza GOAT de, van nîşanan hem peyvan û hem jî nirxên hejmarî temsîl dikin. GOAT tedawiya yekreng a jimaran-hejmarên bêkêmasî, dehan, an nîşana zanistî misoger dike. Her nîşanek jimareyî, bêyî ku li ser çarçoweyê be, bala wekhev distîne.

Digel vê yekê, GOAT di parskirina bêjeyên jimarî de rastbûnê misoger dike. Dema ku GOAT rûbirûyê bêjeyek jimareyî dibe, ew wê di nav nîşanan de vediqetîne. Ji bo nimûne, îfade "2.14 + 2.618" dibe rêza nîşanan: ["2.14", "+", "2.618"].

Têgihîştina GOAT ya nîşaneyên hejmarî operasyonên rast dike. Vê yekê nas dike "2.14" dehek e, "+" operator zêde ye, û "2.618" dehekî din e. Vê guheztina domdar piştrast dike ku GOAT nirxên jimareyî bi hêmanên zimanî re tevlihev nake.

Çareserkirina Pirsgirêkên Peyv bi Rastî

Di pirsgirêkên peyvan de, tokenîzasyona GOAT-ê rolek girîng dilîze.

Dîtin: "Heke 6 sêvên Alice hebin û Bob 4 sêvên din bide wê, çend sêvên Alice hene?"

GOAT nîşaneyên hejmarî nas dike ("6" û "4") û operasyona têkildar ("dide wê”). Ew encam bi rast hesab dike: 6 + 4 = 10. Bi vî rengî, bi dermankirina jimareyan wekî nîşaneyên cihêreng, GOAT ji nezelaliyê dûr dikeve.

Di heman demê de, GOAT bi rasthatinî hejmarên mezin û nîgara zanistî bi parastina rastdariya bilind bi rê ve dibe. Tokenîzasyona GOAT bi hejmarên mezin re dirêj dibe, wekî "1,000,000" or "1.23e6" (nîşana zanistî ji bo 1.23 × 10^6). Çi parskirina mîlyonek an jî mijûlbûna bi pêşangehan re, GOAT rastbûnê diparêze.

Perwerde, Rêzkirin, û Hebûna Çavkaniya Vekirî

Modela GOAT bi karanîna rêgezek çavdêrîkirî tê perwerde kirin, ji daneyên nîşankirî û rêwerzên eşkere fêr dibe. Di pêvajoya perwerdehiya wê de gavek girîng bi rêkûpêk ve girêdayî ye, ku modelek pêş-perwerdekirî, wekî modela ziman, bi nûvekirina giraniya xwe li ser bingeha daneyên peywir-taybet ji karek taybetî re tê adaptekirin.

GOAT rêwerzên rêberî di dema rêzkirinê de bi kar tîne, rêbernameya armanckirî li seranserê pêvajoya adaptasyonê misoger dike û dihêle ku model bi bandor li mînakên li derveyî-belavkirinê giştî bike. LoRA, wekî beşek ji vê paradîgmayê, Adaptasyona Kêm-Rank hêsan dike, ku bihêzbûna modelê zêde dike. Bi tevlêkirina LoRA, GOAT bi bandor dengê labelê digire û qalîteya daneya perwerdehiyê baştir dike, dihêle ku ew bi bandor ji daneyên dengdar an bêkêmasî yên etîketkirî fêr bibe.

Wekî din, modela GOAT û giraniya wê ya pêş-perwerdekirî wekî nermalava çavkaniya vekirî heye. Lekolînwan dikarin xwe bigihînin depoya GOAT ku tê de mîmariya modelê, koda perwerdehiyê, nivîsarên nirxandinê, û daneya ku ji bo perwerdehiya wê tê bikar anîn vedihewîne. Vê nêzîkatiya çavkaniya vekirî hevkarî, nûbûn û keşfê di nav civata zanistî de teşwîq dike, pêşkeftinên di têgihîştina zimanê xwezayî de hêsan dike.

Pirsgirêk û Çareseriyên Mumkun

Ji ber tevliheviya wê, modela GOAT ji bo birêvebirina pirbûn û dabeşkirina hejmarên mezin hewceyê alîkariyê ye. Ji bo derbaskirina vê yekê, GOAT gelek stratejiyan bi kar tîne. Pêşîn, ew operasyonên tevlihev di nav gavên piçûktir de vediqetîne, wekî pirjimarkirina jimareyên kesane an texmînkirina jimareyan.

Digel vê yekê, ew karan li ser bingeha fêrbûnê dabeş dike - jimareya bingehîn rasterast xweş tê guheztin, dema ku karên tevlihev têne perçe kirin. Rêzkirina rênîşander di dema perwerdehiyê de rêwerzên eşkere peyda dike, û mekanîzmayên baldariyê performansê zêde dike. Fêrbûna rêzdar û veguheztina ji peywirên sadetir hêz dide GOAT ku pirsgirêkên jimartî yên tevlihev bi bandor çareser bike.

The Bottom Line

Di encamê de, GOAT di AI-ê de pêşkeftinek girîng e, ku têgihîştina ziman û ramana matematîkî li hev dike. Qabiliyeta wê ya awarte ji bo birêvebirina peywirên jimartinê, nêzîkatiya birêkûpêk, û balkişandina li ser nîşaneyên jimareyî piralîbûn û rastbûna bêhempa nîşan dide. Bi hebûna xweya çavkaniya vekirî û pêşkeftinên domdar, GOAT rê li ber serîlêdanên nûjen ên di perwerdehiyê û çareserkirina pirsgirêkan de vedike, û soz dide pêşerojek kapasîteyên AI-ê yên pêşkeftî.