Etan Ginsberg, Hev-avakarê Martian - Rêzeya Hevpeyvînê

Etan Ginsberg Hev-damezrîner e Martian, platformek ku bi dînamîk her gav berbi LLM-ya çêtirîn rê dide. Bi rêvekirinê, Martian ji her pêşkêşkerek kesane, tevî GPT-4, performansa bilindtir û lêçûnek kêmtir bi dest dixe. Pergal li ser teknolojiya Nexşeya Modelê ya bêhempa ya pargîdaniyê hatî çêkirin ku LLM-ên ji qutiyên reş ên tevlihev vedike nav mîmariyek bêtir şîrovekirî, û ew dike yekem serîlêdana bazirganî ya şîrovekirina mekanîkî.

Etan ji dema ku di dibistana navîn de bû kodkirin, sêwirana malperan, û avakirina e-karsaziyên ji bo xerîdaran. Polymath Etan Pêşbazek Şampiyoniya Bîranîna Cîhanê ye û di Şampiyoniya Xwendina Lezgîn a Cîhanê ya li Shenzhen, Chinaîn de cîhê 2yemîn girt.

Ew pêşbazek hackathon a vid e. Xelatên berê di Tech Crunch SZ de xelata 3-emîn, di Princeton Hackathon de 7 fînalîstên pêşîn, û li Yale Hackathon 3 xelatên pîşesaziyê hene.

Hûn damezrînerek berê ya du-dem in, ev pargîdan çi bûn û hûn ji vê ezmûnê çi fêr bûn?

Pargîdaniya min a yekem yekem platform bû ji bo pêşvebirin û pêşkeftina werzîşê ya Warrior Ninja Amerîkî. Di sala 2012-an de, min Warriorê Ninja Amerîkî wekî werzîşek binerd (di salên 90-an de mîna MMA) dît û min platforma yekem çêkir ku mirov dikaribû nexşeyan bikire, astengan ferman bike, û ji bo perwerdehiyê jûreyên werzîşê bibîne. Min ji pargîdaniyên ku dixwazin dest bi werzîşên xwe bikin şêwirîn, di nav de alîkariya Hêzên Taybet ên Dewletên Yekbûyî bi qursek perwerdehiyê û mezinkirina saziyek ji nexşeya napkin heya 300 hezar $ dahata di 3 mehên pêşîn de. Her çend ez di lîseyê de bûm, min ezmûna xweya yekem a rêvebirina tîmên ji 20+ karkeran bû û fêrî rêveberiya bi bandor û têkiliyên nav-kesî bûm.

Pargîdaniya min a duyemîn pargîdaniyek rêveberiya malî ya alternatîf bû ku min di sala 2017-an de berî pêla ICO-ya di krîptoyê de hev-damezrand. Ev yekem pêşandana min a NLP bû ku me analîza hestê ya daneyên medyaya civakî wekî stratejiyek veberhênanê bikar anî.

Ez fêrî gelek jêhatîbûnên hişk û nerm ên ku diçin destpêkek xebitîm - ji ka meriv çawa tîmek birêve dibe heya aliyên teknîkî yên NLP. Di heman demê de, ez li ser xwe û li ser tiştê ku min dixwest ez tê de bixebitim jî gelek tişt fêr bûm. Ez bawer dikim ku pargîdaniyên herî serketî ji hêla damezrînerên ku xwedan vîzyonek berfirehtir an jî armancek wan heye têne destpêkirin. Min di sala 2017-an de krîpto hişt ku ez balê bikişînim ser NLP ji ber ku zêdekirin û têgihîştina îstîxbarata mirovahiyê tiştek e ku bi rastî min diêşîne. Ez kêfxweş bûm ku wê kifş kir.

Dema ku hûn beşdarî Zanîngeha Pennsylvania bûn, we hin lêkolînên AI-ê kir, we bi taybetî çi lêkolîn dikir?

Lêkolîna me bi eslê xwe li ser avakirina serîlêdanên LLM-ê sekinî. Bi taybetî, me li ser serîlêdanên perwerdehiyê yên LLM xebitî û yekem mamosteyê zanînê yê bi hêz LLM ava dikir. Encam pir baş bûn - me di ceribandina destpêkê de di encamên xwendekaran de başbûnek 0.3 standard dît - û pergala me ji Zanîngeha Pennsylvania heya Zanîngeha Bhutan hate bikar anîn.

Ma hûn dikarin nîqaş bikin ka vê lêkolînê wê hingê we çawa berbi Hev-Damezrînerê Martian ve bir?

Ji ber ku em hin ji wan kesên yekem bûn ku serîlêdanan li ser LLM-an ava kirin, em di heman demê de hin kesên yekem bûn ku dema ku ew serîlêdanan li ser LLM-an ava dikin rastî pirsgirêkên ku mirov pê re rû bi rû dimînin. Vê yekê lêkolîna me ber bi qata binesaziyê ve birin. Mînakî, ji zû de, me modelên piçûktir li ser derketinên modelên mezin ên mîna GPT-3, û modelên li ser çavkaniyên daneya pispor ji bo karên wekî bernamekirin û çareserkirina pirsgirêka matematîkê bi rêkûpêk rast dikirin. Vê yekê di dawiyê de me rê li pirsgirêkên di derbarê têgihiştina behreya modelê û di derbarê rêvekirina modelê de kir.

Koka navê Marsiyan û têkiliya wê ya bi îstîxbaratê re jî balkêş e, hûn dikarin çîroka ku ev nav çawa hate hilbijartin parve bikin?

Navê pargîdaniya me ji komek zanyarên Macar-Amerîkî ku wekî "Marsiyan". Ev kom, ku di sedsala 20-an de jiyaye, ji hin mirovên herî jîr ên ku heya niha hatine jiyîn pêk tê:

• Di nav wan de ya herî navdar bû John von Neumann; wî teoriya lîstikê, mîmariya nûjen a kompîturê, teoriya otomatê îcad kir, û di bi dehan warên din de tevkariyên bingehîn kir.
• Paul Erdos matematîkzanê herî berhemdar ê hemû deman bû, ku zêdetirî 1500 kaxez çap kir.
• Theodore Von Karman teoriyên bingehîn ên aerodînamîkê ava kir û alîkariya dîtina bernameya fezayê ya Amerîkî kir. Sînorê ku ji hêla mirovan ve hatî destnîşankirin di navbera Erd û fezayê de ji bo naskirina xebata wî "xeta Kármán" tê binav kirin.
• Leo Szilard bombeya atomê, terapiya tîrêjê û lezkerên perçeyan îcad kiriye.

Van zanyaran û 14 kesên din ên mîna wan (di nav de dahênerê bombeya hîdrojenê, mirovê ku teoriya komê xistiye nav fîzîka nûjen, û beşdarên bingehîn ên warên wekî kombînatorîk, teoriya hejmarê, analîza hejmarî û teoriya îhtîmalê) dişibinheviyek berbiçav parve kirin - hemî. li heman devera Budapestê ji dayik bûne. Wê yekê mirov bipirse: çavkaniya ewqas îstîxbaratê çi bû?

Di bersivê de, Szilard henek kir ku, "Marsiyan jixwe li vir in, û ew ji xwe re dibêjin Macar!" Di rastiyê de… kes nizane.

Mirovahî îro xwe di rewşek weha de dibîne bi rêzgirtina komek nû ya hişên potansiyel aqilmend: Zehmetiya Hunerî. Mirov dizanin ku model dikarin pir jîr bin, lê nizanin ka ew çawa dixebitin.

Mîsyona me ev e ku em bersiva wê pirsê bidin - famkirin û îstixbarata nûjen.

We xwedî dîrokek serpêhatiyên bîranînê yên bêhempa ye, hûn çawa ketin nav van kêşeyên bîranînê û çawa ev zanîn ji we re bi têgeha Martian re alîkariya we kir?

Di piraniya werzîşê de, werzîşvanek profesyonel dikare bi qasî 2-3X û her weha mirovê navînî pêk bîne (berhev bikin ka merivek navînî çiqasî dikare golek zeviyê biavêje an ew çiqas zû topek bilez davêje li gorî profesyonelek). Lîstikên bîranînê balkêş in ji ber ku werzîşvanên herî baş dikarin 100x an jî 1000x bêtir ji kesê navînî ku ji piraniya werzîşan kêmtir perwerdehiyê ji bîr bikin. Digel vê yekê, ev bi gelemperî mirovên xwedan bîranîna xwezayî ya navîn in ku performansa xwe bi teknîkên taybetî yên ku her kes dikare fêr bibe deyndar in. Ez dixwazim zanîna mirovahiyê herî zêde bikim, û min şampiyoniyên bîranînê yên cîhanî wekî têgihîştinek kêm-nirxdar dît ku çawa em dikarin vegerên awarte zêde bikin ku hişmendiya mirovî zêde dike.

Min xwest ku teknîkên bîranînê li seranserê pergala perwerdehiyê bi cih bikim, ji ber vê yekê min dest bi vekolînê kir ka NLP û LLM çawa dikarin di kêmkirina lêçûna sazkirinê de bibin alîkar ku rê li ber karanîna rêbazên perwerdehiyê yên herî bi bandor di pergala perwerdehiya bingehîn de digire. Min û Yash yekem mamosteyê zanînê yê bi LLM-ê hêzdar çêkir û vê yekê rê da me ku em pirsgirêkên bi LLM-dabeşkirina ku em naha alîkariya çareserkirina wan dikin kifş bikin.

Martian bi eslê xwe biryara ku Modela Ziman a Mezin (LLM) bikar bîne, ji holê radike, çima ev niha ji bo pêşdebiran ew qas êşek e?

Afirandina modelên zimanî hêsantir û hêsantir dibe - lêçûna hesabkirinê kêm dibe, algorîtm bikêrtir dibin, û ji bo afirandina van modelan bêtir amûrên çavkaniya vekirî peyda dibin. Wekî encamek, bêtir pargîdan û pêşdebiran modelên xwerû yên ku li ser daneyên xwerû hatine perwerde kirin diafirînin. Ji ber ku van modelan xwedan lêçûn û kapasîteyên cihê ne, hûn dikarin bi karanîna pir modelan performansa çêtir bistînin, lê ceribandina hemîyan û dîtina yên rast ên ku bikar bînin dijwar e. Em ji bo pêşdebiran lênihêrin.

Ma hûn dikarin nîqaş bikin ka pergal çawa fêm dike ka LLM ji bo her peywirek taybetî çi çêtirîn tê bikar anîn?

Rêvekirina baş di bingeh de pirsgirêkek di derbarê têgihiştina modelan de ye. Ji bo ku hûn di navbera modelan de bi bandor rêve bibin, hûn dixwazin ku hûn fêm bikin ka çi dibe sedema têkçûn an serfiraziya wan. Fêmkirina van taybetmendiyan bi nexşeya modelê dihêle ku em diyar bikin ka modelek diyarkirî dê li ser daxwazek çiqas baş bixebite bêyî ku wê modelê bimeşîne. Wekî encamek, em dikarin wê daxwazê ​​bişînin modela ku dê encama çêtirîn çêbike.

Ma hûn dikarin celebê teserûfa lêçûnê ya ku ji xweşbînkirina LLM-ya ku tê bikar anîn tê dîtin nîqaş bikin?

Em dihêle bikarhêner diyar bikin ka ew çawa di navbera lêçûn û performansê de danûstendinê dikin. Heke hûn tenê ji performansê re eleqedar dibin, em dikarin GPT-4-ê li ser openai / evals derxînin. Ger hûn lêçûnek taybetî digerin da ku hûn aboriya yekîneya xwe bixebitin, em dihêlin ku hûn lêçûna herî zêde ji bo daxwaza xwe diyar bikin, wê hingê modela çêtirîn bibînin ku wê daxwazê ​​temam bikin. Û heke hûn tiştek dînamîktir dixwazin, em dihêlin hûn diyar bikin ka hûn çiqas amade ne ji bo bersivek çêtir bidin - bi vî rengî, heke du model xwedî performansa wekhev bin lê di lêçûnê de cûdahiyek mezin heye, em dikarin rê bidin we ku hûn modelên kêmtir biha bikar bînin. . Hin xerîdarên me heya 12x kêmbûna lêçûnê dîtine.

Dîtina we ji bo pêşeroja Martian çi ye?

Her carê ku em têgihiştina xweya bingehîn a modelan baştir dikin, ew ji bo AI-ê veguherînek paradîgmayê encam dide. Rêzkirin paradîgmaya ku ji hêla têgihîştina encaman ve hatî rêve kirin bû. Pêşniyar paradîgmaya ku ji hêla têgihîştina danûstendinan ve tê rêve kirin e. Ew cûdahiya yekane ya di têgihîştina me ya modelan de pir tişta ku ML-ya kevneşopî ("em regresorek perwerde bikin") û AI-ya nûjen a nûjen ("em ji AGI-ya pitikek bişopînin") cûda dike ye.

Armanca me ew e ku em bi domdarî di şîrovekirinê de destkeftiyan ragihînin heya ku AI bi tevahî neyê fam kirin û me teoriyek îstîxbaratê bi qasî teoriyên me yên mantiq an hesaban bihêz hebe.

Ji bo me ev tê wateya avakirinê. Ew tê vê wateyê ku amûrek AI-ê ya hêja biafirîne û wê bixe destê mirovan. Ew tê wateya berdana tiştên ku qalibê dişkînin, yên ku berê kesî nekiriye, û yên ku - ji her tiştî bêtir - balkêş û bikêr in.

Bi gotinên Sir Francis Bacon, "Zanîn hêz e". Li gorî vê yekê, awayê çêtirîn ku em pê ewle bin ku em AI-yê fam dikin berdana amûrên hêzdar e. Li gorî me, routerek model amûrek bi vî rengî ye. Em bi heyecan in ku wê ava bikin, mezin bikin û bidin destên mirovan.

Ev yekem ji gelek amûran e ku em ê di mehên pêş de berdin. Ji bo vedîtina teoriyek bedew a îstîxbarata sûnî, ji bo çalakkirina cûreyên bi tevahî nû yên binesaziya AI-yê, ji bo avakirina pêşerojek geş hem ji bo mirov hem jî ji makîneyê re bibe alîkar - em nikarin li bendê bin ku wan amûran bi we re parve bikin.

Spas ji bo hevpeyivîna hêja, xwendevanên ku dixwazin bêtir fêr bibin divê biçin Martian.