Ջեյ Դաուանին Lemurian Labs – Interview Series-ի համահիմնադիր և գործադիր տնօրեն է

Ջեյ Դաուանին Lemurian Labs-ի համահիմնադիր և գործադիր տնօրեն է: Լեմուրյան լաբորատորիաներ Մատչելի, մատչելի և արդյունավետ AI համակարգիչներ մատակարարելու առաքելությունն է՝ առաջնորդվելով այն համոզմունքով, որ AI-ն չպետք է լինի շքեղություն, այլ գործիք, որը հասանելի է բոլորին: Lemurian Labs-ի հիմնադիր թիմը միավորում է արհեստական ​​ինտելեկտի, կոմպիլյատորների, թվային ալգորիթմների և համակարգչային ճարտարապետության փորձը՝ միավորված մեկ նպատակով՝ վերաիմաստավորել արագացված հաշվարկը:

Կարո՞ղ եք մեզ ծանոթացնել ձեր նախապատմության և wի սկզբանե ինչի՞ն է ձեզ դրդել AI-ի մեջ:

Բացարձակապես։ Ես ծրագրավորել էի 12 տարեկանից և կառուցում էի իմ սեփական խաղերը և այլն, բայց իրականում ես ինտելեկտուալ արհեստական ​​ինտելեկտով զբաղվեցի, երբ 15 տարեկան էի, քանի որ իմ հայրերի ընկերը համակարգչով էր զբաղվում: Նա կերակրեց իմ հետաքրքրասիրությունը և տվեց ինձ կարդալու գրքեր, ինչպիսիք են Ֆոն Նեյմանի «Համակարգիչը և ուղեղը», Մինսկի «Պերցեպտրոնները», Ռասելի և Նորվիգի «AI ժամանակակից մոտեցումը»: Այս գրքերը շատ ազդեցին իմ մտածողության վրա, և այն ժամանակ գրեթե ակնհայտ էր, որ AI-ն փոխակերպող է լինելու, և ես պարզապես պետք է լինեի այս ոլորտի մի մասը: 

Երբ եկավ համալսարանի ժամանակը, ես իսկապես ցանկանում էի սովորել արհեստական ​​ինտելեկտը, բայց չգտա դա առաջարկող համալսարաններ, ուստի որոշեցի մասնագիտանալ կիրառական մաթեմատիկայի մեջ, և համալսարան հասնելուց որոշ ժամանակ անց լսեցի AlexNet-ի արդյունքների մասին ImageNet-ում: իսկապես հուզիչ էր: Այդ ժամանակ ես իմ գլխում ունեի այս պահը, որը պատահեց հիմա կամ երբեք, և ես ամբողջ ձանձրույթով սկսեցի կարդալ նեյրոնային ցանցերի հետ կապված յուրաքանչյուր թուղթ և գիրք, որ կարող էի ձեռքս ընկնել, և փնտրեցի ոլորտի բոլոր առաջնորդներին, որպեսզի սովորեն դրանցից, քանի որ ինչպես հաճախ եք այնտեղ հայտնվել նոր արդյունաբերության սկզբում և սովորել դրա ռահվիրաներից: 

Շատ արագ ես հասկացա, որ ինձ դուր չի գալիս հետազոտությունը, բայց ինձ դուր է գալիս խնդիրներ լուծելը և արհեստական ​​ինտելեկտով ապահովված արտադրանքներ ստեղծելը: Դա ինձ ստիպեց աշխատել ինքնավար մեքենաների և ռոբոտների վրա, AI-ն՝ նյութերի հայտնաբերման համար, գեներատիվ մոդելներ՝ բազմաֆիզիկական սիմուլյացիաների համար, արհեստական ​​ինտելեկտի վրա հիմնված սիմուլյատորներ՝ պրոֆեսիոնալ մրցարշավի մեքենաների վարորդների պատրաստման և մեքենաների տեղադրման, տիեզերական ռոբոտների, ալգորիթմական առևտրի և շատ ավելին: 

Հիմա, անելով այդ ամենը, ես փորձում եմ իշխել AI-ի ուսուցման և տեղակայման ծախսերի վրա, քանի որ դա կլինի ամենամեծ խոչընդոտը, որը մենք կհանդիպենք մեր ճանապարհին, որպեսզի կարողանանք ստեղծել մի աշխարհ, որտեղ յուրաքանչյուր մարդ և ընկերություն կարող է մուտք ունենալ և օգուտ քաղել AI-ից: հնարավորինս խնայողաբար:

Արագացված հաշվողական համակարգում աշխատող շատ ընկերություններ ունեն հիմնադիրներ, ովքեր կարիերա են կառուցել կիսահաղորդիչների և ենթակառուցվածքների ոլորտում: Ի՞նչ եք կարծում, արհեստական ​​ինտելեկտի և մաթեմատիկայի ոլորտում ձեր նախկին փորձն ինչպե՞ս է ազդում շուկան հասկանալու և արդյունավետ մրցակցելու ձեր ունակության վրա:

Ես իրականում կարծում եմ, որ արդյունաբերությունից չգալն ինձ օգուտ է տալիս կողմնակի առավելություն ունենալուն: Ես հաճախ եմ պարզել, որ արդյունաբերության նորմերի կամ ավանդական իմաստության մասին իմացություն չունենալը մարդուն տալիս է ավելի ազատ ուսումնասիրելու և ավելի խորը խորանալու ազատություն, քան մյուսներից շատերը, քանի որ դու անկաշկանդ ես կողմնակալությունից: 

Ես ազատություն ունեմ «հիմար» հարցեր տալու և ենթադրություններն այնպես ստուգելու, որ ուրիշների մեծամասնությունը չէր անի, քանի որ շատ բաներ ընդունված ճշմարտություններ են: Վերջին երկու տարիների ընթացքում ես մի քանի զրույց եմ ունեցել արդյունաբերության մեջ գտնվող մարդկանց հետ, որտեղ նրանք շատ դոգմատիկ են ինչ-որ բանի վերաբերյալ, բայց նրանք չեն կարող ինձ ասել գաղափարի ծագումը, ինչը ինձ շատ տարակուսելի է թվում: Ինձ դուր է գալիս հասկանալ, թե ինչու են կատարվել որոշակի ընտրություններ, և ի՞նչ ենթադրություններ կամ պայմաններ կային այդ պահին և արդյոք դրանք դեռ պահպանվում են: 

Ելնելով արհեստական ​​ինտելեկտի ֆոնից՝ ես հակված եմ դիտել ծրագրային ապահովումը՝ տեսնելով, թե որտեղ են այսօր աշխատանքային ծանրաբեռնվածությունը, և ահա բոլոր հնարավոր ուղիները, որոնք դրանք կարող են փոխվել ժամանակի ընթացքում, և մոդելավորելով ամբողջ ML խողովակաշարը՝ ուսուցման և եզրահանգումների համար՝ հասկանալու խոչընդոտները, ինչը պատմում է. ինձ, որտեղ արժեքներ մատուցելու հնարավորություններն են: Եվ քանի որ ես մաթեմատիկական ծագում ունեմ, ես սիրում եմ իրերը մոդելավորել, որպեսզի հնարավորինս մոտենամ ճշմարտությանը, և որ դա ինձ առաջնորդի: Օրինակ, մենք կառուցել ենք մոդելներ՝ հաշվարկելու համակարգի կատարողականությունը սեփականության ընդհանուր արժեքի համար, և մենք կարող ենք չափել այն օգուտը, որը կարող ենք բերել հաճախորդներին ծրագրային ապահովման և/կամ սարքաշարի միջոցով և ավելի լավ հասկանալու մեր սահմանափակումները և մեզ հասանելի տարբեր կոճակները, և տասնյակ այլ մոդելներ տարբեր իրերի համար: Մենք շատ տվյալների վրա հիմնված ենք, և մենք օգտագործում ենք այս մոդելների պատկերացումները՝ առաջնորդելու մեր ջանքերն ու փոխզիջումները: 

Թվում է, թե արհեստական ​​ինտելեկտի առաջընթացը հիմնականում պայմանավորված է մասշտաբով, որը պահանջում է ավելի շատ հաշվարկ և էներգիա: Թվում է, թե մենք սպառազինությունների մրցավազքի մեջ ենք, երբ յուրաքանչյուր ընկերություն փորձում է կառուցել ամենամեծ մոդելը, և կարծես թե վերջը չի երևում: Ի՞նչ եք կարծում, կա՞ ելք սրանից։

Միշտ ճանապարհներ կան. Scaling-ը չափազանց օգտակար է, և ես չեմ կարծում, որ մենք դեռ չենք տեսել վերջը: Մենք շատ շուտով կտեսնենք մոդելների վերապատրաստում՝ առնվազն մեկ միլիարդ դոլար արժողությամբ։ Եթե ​​ցանկանում եք լինել գեներատիվ արհեստական ​​ինտելեկտի առաջատարը և ստեղծել անարատ հիմքի մոդելներ, ապա պետք է տարեկան առնվազն մի քանի միլիարդ ծախսեք հաշվարկների վրա: Այժմ մասշտաբավորման բնական սահմաններ կան, ինչպես օրինակ՝ այդ չափի մոդելի համար բավականաչափ մեծ տվյալների բազա ստեղծելը, ճիշտ գիտելիքներ ունեցող մարդկանց հասանելիությունը և բավարար հաշվարկների հասանելիությունը: 

Մոդելի չափսերի շարունակական մեծացումն անխուսափելի է, բայց մենք նաև չենք կարող երկրագնդի ամբողջ մակերեսը վերածել մոլորակի չափի սուպերհամակարգչի՝ LLM-ներին պատրաստելու և սպասարկելու համար հասկանալի պատճառներով: Սա վերահսկելու համար մենք ունենք մի քանի կոճակներ, որոնցով կարող ենք խաղալ. ավելի լավ տվյալների հավաքածուներ, նոր մոդելային ճարտարապետություններ, նոր ուսուցման մեթոդներ, ավելի լավ կոմպիլյատորներ, ալգորիթմական բարելավումներ և շահագործումներ, ավելի լավ համակարգչային ճարտարապետություններ և այլն: Եթե ​​մենք անենք այդ ամենը, ապա մոտավորապես երեք կարգի բարելավում կա: Դա լավագույն ելքն է: 

Դուք հավատում եք առաջին սկզբունքներին, ինչպե՞ս է սա ձևավորում ձեր մտածելակերպը, թե ինչպես եք ղեկավարում Lemurian Labs-ը:

«Լեմուրյան»-ում մենք, անկասկած, կիրառում ենք առաջին սկզբունքները: Ես միշտ մոլորեցնող եմ գտել սովորական իմաստությունը, քանի որ այդ գիտելիքը ձևավորվել է ժամանակի որոշակի պահին, երբ որոշակի ենթադրություններ են եղել, բայց ամեն ինչ միշտ փոխվում է, և դուք պետք է հաճախակի փորձարկեք ենթադրությունները, հատկապես, երբ ապրում եք նման արագ տեմպերով աշխարհում: 

Ես հաճախ եմ ինձ տալիս այնպիսի հարցեր, ինչպիսիք են «սա իսկապես լավ գաղափար է թվում, բայց ինչու դա կարող է չաշխատել», կամ «ինչը պետք է ճիշտ լինի, որպեսզի դա աշխատի», կամ «ինչ գիտենք մենք, որ բացարձակ ճշմարտություններ են և որո՞նք են ենթադրությունները, որոնք մենք անում ենք և ինչու՞», կամ «ինչո՞ւ ենք մենք կարծում, որ այս կոնկրետ մոտեցումն այս խնդրի լուծման լավագույն միջոցն է»: Նպատակը գաղափարները հնարավորինս արագ և էժանորեն անվավեր ճանաչելն ու ոչնչացնելն է: Մենք ցանկանում ենք փորձել և առավելագույնի հասցնել այն բաների քանակը, որոնք մենք փորձում ենք ցանկացած պահի: Խոսքը լուծում պահանջող խնդրով տարված լինելու մասին է և չափից դուրս կարծիք չունենալու մասին, թե որն է լավագույն տեխնոլոգիան: Չափազանց շատ մարդիկ հակված են չափից ավելի կենտրոնանալ տեխնոլոգիայի վրա, և վերջում նրանք սխալ են հասկանում հաճախորդների խնդիրները և բաց են թողնում ոլորտում տեղի ունեցող անցումները, որոնք կարող են անվավեր դարձնել նրանց մոտեցումը, ինչը հանգեցնում է աշխարհի նոր վիճակին հարմարվելու անկարողության:

Բայց առաջին սկզբունքներով մտածելն ինքնին այնքան էլ օգտակար չէ: Մենք հակված ենք այն զուգակցել հետադարձ հեռարձակման հետ, ինչը հիմնականում նշանակում է պատկերացնել ապագայի իդեալական կամ ցանկալի արդյունքը և աշխատել հետընթաց՝ բացահայտելու համար անհրաժեշտ տարբեր քայլերը կամ գործողությունները: Սա ապահովում է, որ մենք մերձենանք իմաստալից լուծման վրա, որը ոչ միայն նորարարական է, այլև հիմնավորված իրականում: Իմաստ չունի ժամանակ ծախսել կատարյալ լուծում գտնելու համար միայն հասկանալու համար, որ դա հնարավոր չէ կառուցել իրական աշխարհի մի շարք սահմանափակումների պատճառով, ինչպիսիք են ռեսուրսները, ժամանակը, կարգավորումը կամ թվացյալ կատարյալ լուծում կառուցելը, բայց ավելի ուշ՝ պարզելու համար: դուք չափազանց դժվարացրել եք հաճախորդների համար ընդունելությունը:

Ժամանակ առ ժամանակ մենք հայտնվում ենք մի իրավիճակում, երբ մենք պետք է որոշում կայացնենք, բայց չունենք տվյալներ, և այս սցենարում մենք օգտագործում ենք նվազագույն փորձարկվող վարկածներ, որոնք մեզ ազդանշան են տալիս, թե ինչ-որ բան իմաստ ունի՞, թե՞ ոչ՝ նվազագույն չափով հետամուտ լինելու համար: էներգիայի ծախսերից։ 

Այս ամենը միավորված է մեզ արագաշարժություն, արագ կրկնվող ցիկլեր՝ իրերը արագ հեռացնելու համար, և օգնել է մեզ կարգավորել ռազմավարությունները բարձր վստահությամբ և շատ կարճ ժամանակում շատ դժվար խնդիրների դեպքում շատ առաջընթաց ունենալ: 

Սկզբում դուք կենտրոնացած էիք եզրային AI, ի՞նչն է ստիպել ձեզ նորից կենտրոնանալ և կենտրոնանալ ամպային հաշվարկի վրա:

Մենք սկսեցինք եզրային AI-ով, քանի որ այն ժամանակ ես շատ կենտրոնացած էի փորձելով լուծել մի առանձնահատուկ խնդիր, որի հետ բախվել էի՝ փորձելով բացել ընդհանուր նշանակության ինքնավար ռոբոտաշինության աշխարհ: Ինքնավար ռոբոտաշինությունը խոստանում է դառնալ մեր հավաքական պատմության ամենամեծ հարթակի փոփոխությունը, և թվում էր, թե մենք ունեինք ամեն ինչ, որ անհրաժեշտ էր ռոբոտաշինության հիմքի մոդել ստեղծելու համար, բայց մենք բացակայում էինք կատարողականի, հետաձգման և էներգաարդյունավետության ճիշտ հավասարակշռությամբ իդեալական եզրակացության չիպը: , և ծրագրավորելիություն՝ հիմքի վրա նշված մոդելը գործարկելու համար:

Ես այս պահին չէի մտածում տվյալների կենտրոնի մասին, քանի որ այնտեղ ավելի քան բավարար ընկերություններ կային, և ես սպասում էի, որ նրանք կհասկանան դա: Մենք նախագծեցինք իսկապես հզոր ճարտարապետություն այս կիրառական տարածքի համար և պատրաստվում էինք այն հանել ժապավենով, և այնուհետև պարզ դարձավ, որ աշխարհը փոխվել է, և խնդիրն իսկապես տվյալների կենտրոնում է: Այն արագությունը, որով LLM-ները չափում և սպառում էին հաշվարկները, զգալիորեն գերազանցում է հաշվողական առաջընթացի տեմպը, և երբ հաշվի եք առնում որդեգրումը, այն սկսում է անհանգստացնող պատկեր ստեղծել: 

Կարծես սա այն վայրն է, որտեղ մենք պետք է կենտրոնացնենք մեր ջանքերը՝ հնարավորինս նվազեցնելու AI-ի էներգիայի արժեքը տվյալների կենտրոններում՝ առանց սահմանափակումների, թե որտեղ և ինչպես պետք է զարգանա AI-ն: Եվ այսպես, մենք պետք է աշխատենք այս խնդրի լուծման վրա։ 

Կարո՞ղ եք կիսվել Lemurian Labs-ի համահիմնադիրների ծագման պատմությունով:

Պատմությունը սկսվում է 2018 թվականի սկզբին: Ես աշխատում էի ընդհանուր նշանակության ինքնավարության հիմքի մոդելի վերապատրաստման վրա, ինչպես նաև գեներատիվ մուլտիֆիզիկայի մոդելավորման մոդելի վրա՝ գործակալին վարժեցնելու և այն ճշգրտելու տարբեր ծրագրերի համար, և մի քանի այլ բաների, որոնք կօգնեն մասշտաբի վերածել -գործակալական միջավայրեր. Բայց շատ արագ ես սպառեցի իմ ունեցած հաշվարկների քանակը, և ես գնահատեցի, որ պետք է ավելի քան 20,000 V100 GPU: Ես փորձեցի բավականաչափ հավաքել, որպեսզի մուտք գործեմ հաշվարկին, բայց շուկան դեռ պատրաստ չէր նման մասշտաբի: Այնուամենայնիվ, դա ինձ ստիպեց մտածել իրերի տեղակայման կողմի մասին, և ես նստեցի՝ հաշվարկելու, թե որքան արդյունավետություն կպահանջվի այս մոդելը թիրախային միջավայրում սպասարկելու համար, և ես հասկացա, որ գոյություն չուներ որևէ չիպ, որը կարող էր ինձ հասցնել այնտեղ: 

Մի քանի տարի անց՝ 2020 թվականին, ես հանդիպեցի Վասիլի՝ իմ վերջնական համահիմնադիրի հետ, որպեսզի հասնեմ հետին, և ես կիսվեցի այն մարտահրավերներով, որոնց միջով անցել էի ինքնավարության հիմքի մոդելի ստեղծման ժամանակ, և նա առաջարկեց կառուցել եզրակացության չիպ, որը կարող է գործարկել հիմնադրամը։ մոդելը, և նա կիսվեց, որ ինքը շատ է մտածել թվերի ձևաչափերի և ավելի լավ ներկայացումների մասին, որոնք կօգնեն ոչ միայն նեյրոնային ցանցերը պահպանել ճշգրտությունը ավելի ցածր բիթային լայնություններում, այլև ստեղծել ավելի հզոր ճարտարապետություն: 

Դա ինտրիգային գաղափար էր, բայց ելք էր իմ անիվներից: Բայց դա ինձ չէր թողնի, ինչն ինձ ստիպեց ամիսներ ու ամիսներ ծախսել՝ սովորելու համակարգչային ճարտարապետության, հրահանգների հավաքածուների, գործարկման ժամանակի, կոմպիլյատորների և ծրագրավորման մոդելների բարդությունները: Ի վերջո, կիսահաղորդչային ընկերություն կառուցելը սկսեց իմաստալից լինել, և ես թեզ էի ձևավորել, թե որն է խնդիրը և ինչպես վարվել դրա շուրջ: Եվ հետո տարեվերջին սկսեցինք Լեմուրիան: 

Դուք նախկինում խոսել եք ապարատային սարքավորումների կառուցման ժամանակ նախ ծրագրային ապահովման հետ կապված անհրաժեշտության մասին, կարո՞ղ եք մանրամասնել ձեր տեսակետը, թե ինչու է ապարատային խնդիրը նախ և առաջ ծրագրային ապահովման խնդիր:

Այն, ինչ շատերը չեն գիտակցում, այն է, որ կիսահաղորդիչների ծրագրային կողմը շատ ավելի դժվար է, քան բուն սարքաշարը: Հաճախորդների համար օգտակար համակարգչային ճարտարապետություն կառուցելը, որոնցից կարող են օգտվել և օգուտներ քաղել, ամբողջ խնդիրն է, և եթե դուք չունեք այդ հասկացողությունն ու պատրաստվածությունը, դուք կստանաք գեղեցիկ տեսք ունեցող ճարտարապետություն, որը շատ արդյունավետ և արդյունավետ է: բայց բոլորովին անօգտագործելի է մշակողների կողմից, ինչը իրականում կարևոր է: 

Ծրագրային առաջին մոտեցման այլ առավելություններ կան նաև, իհարկե, օրինակ՝ շուկա դուրս գալու ավելի արագ ժամանակ: Սա շատ կարևոր է այսօրվա արագ շարժվող աշխարհում, որտեղ ճարտարապետության կամ առանձնահատկությունների նկատմամբ չափազանց աճը կարող է նշանակել, որ դուք ամբողջովին բաց եք թողնում շուկան: 

Ծրագրային ապահովման առաջին տեսակետը չընդունելը, ընդհանուր առմամբ, հանգեցնում է նրան, որ դուք չեք ծաղրում այն ​​կարևոր բաները, որոնք անհրաժեշտ են շուկայում արտադրանքի ընդունման համար, չկարողանալով արձագանքել շուկայի փոփոխություններին, օրինակ, երբ աշխատանքային ծանրաբեռնվածությունը զարգանում է անսպասելի ձևով, և ունենալով թերօգտագործված սարքավորում: Բոլորը հիանալի բաներ չեն: Սա մեծ պատճառ է, թե ինչու մենք շատ ենք մտածում ծրագրային ապահովման վրա հիմնված լինելու մասին, և ինչու մեր տեսակետն այն է, որ դուք չեք կարող լինել կիսահաղորդչային ընկերություն՝ իրականում չլինելով ծրագրային ապահովման ընկերություն: 

Կարո՞ղ եք քննարկել ձեր անմիջական ծրագրային փաթեթի նպատակները:

Երբ մենք նախագծում էինք մեր ճարտարապետությունը և մտածում հեռանկարային ճանապարհային քարտեզի մասին, և որտեղ հնարավորությունները կարող էին բերել ավելի շատ արդյունավետություն և էներգաարդյունավետություն, պարզ դարձավ, որ մենք տեսնելու ենք ավելի շատ տարասեռություն, որը շատ խնդիրներ է ստեղծելու: ծրագրային ապահովման վրա։ Եվ մենք ոչ միայն պետք է կարողանանք արդյունավետորեն ծրագրավորել տարասեռ ճարտարապետություններ, մենք պետք է գործ ունենանք դրանց հետ տվյալների կենտրոնի մասշտաբով, ինչը մարտահրավեր է, որի նման մենք նախկինում չենք հանդիպել: 

Սա մեզ անհանգստացրեց, քանի որ վերջին անգամ մենք պետք է անցնեինք մեծ անցում, երբ արդյունաբերությունը միամիջուկից տեղափոխվեց բազմամիջուկ ճարտարապետության, և այդ ժամանակ 10 տարի պահանջվեց, որպեսզի ծրագրային ապահովումը աշխատի և մարդիկ օգտագործեն այն: Մենք չենք կարող մեզ թույլ տալ սպասել 10 տարի, որպեսզի հասկանանք տարասեռության ծրագրակազմ, այն պետք է կարգավորվի հիմա: Եվ այսպես, մենք պետք է աշխատենք հասկանալու խնդիրը և այն, ինչ պետք է գոյություն ունենա, որպեսզի գոյություն ունենա այս ծրագրային փաթեթը: 

Մենք ներկայումս համագործակցում ենք բազմաթիվ առաջատար կիսահաղորդչային ընկերությունների և հիպերմաշտաբային/ամպային ծառայություններ մատուցողների հետ և առաջիկա 12 ամիսների ընթացքում կթողարկենք մեր ծրագրային փաթեթը: Այն ծրագրավորման միասնական մոդել է՝ կոմպիլյատորով և գործարկման ժամանակով, որը կարող է թիրախավորել ցանկացած տեսակի ճարտարապետություն և կազմակերպել աշխատանքը կլաստերներում, որոնք կազմված են տարբեր տեսակի ապարատներից, և ի վիճակի է մեկ հանգույցից մինչև հազար հանգույցների կլաստեր սանդղակել՝ առավելագույն հնարավոր արդյունավետության համար: .

Շնորհակալություն հիանալի հարցազրույցի համար, այն ընթերցողները, ովքեր ցանկանում են ավելին իմանալ, պետք է այցելեն Լեմուրյան լաբորատորիաներ.