Արհեստական բանականություն
Աճեք և կտրեք AI ռազմավարությունը, կարծես, նվազեցնում է AI էներգիայի օգտագործումը
Մարդու ուղեղը գործում է «աճել և կտրել» ռազմավարությամբ՝ սկզբում սկսելով հսկայական քանակությամբ նյարդային կապերով, իսկ հետո ժամանակի ընթացքում կտրելով չօգտագործված կապերը: Վերջերս AI-ի հետազոտությունների թիմը կիրառել է այս մոտեցումը AI համակարգերի նկատմամբ և պարզել, որ այն կարող է էապես նվազեցնել էներգիայի քանակությունը, որն անհրաժեշտ է AI մարզելու համար:
Հետազոտողների թիմ Փրինսթոնի համալսարանից վերջերս ստեղծել է արհեստական ինտելեկտի համակարգերի ուսուցման նոր մեթոդ: Ուսուցման այս նոր մեթոդը, թվում է, կարող է համապատասխանել կամ գերազանցել ճշտության արդյունաբերության չափանիշները, սակայն այն ի վիճակի է դա իրականացնել՝ միաժամանակ սպառելով շատ ավելի քիչ հաշվողական ուժ և, հետևաբար, ավելի քիչ էներգիա, քան մեքենայական ուսուցման ավանդական մոդելները: Երկու տարբեր հոդվածների ընթացքում Փրինսթոնի հետազոտողները ցույց տվեցին, թե ինչպես կարելի է ցանց զարգացնել՝ դրան նեյրոններ և կապեր ավելացնելով: Չօգտագործված միացումներն այնուհետև ժամանակի ընթացքում կտրվեցին՝ թողնելով մոդելի միայն ամենաարդյունավետ և արդյունավետ հատվածները:
Փրինսթոնի Էլեկտրատեխնիկայի պրոֆեսոր Նիրաջ Ջան բացատրել է Փրինսթոնի նորություններին, որ հետազոտողների կողմից մշակված մոդելը գործում է «շարքի և էտելու պարադիգմի վրա»: Ջհան բացատրեց, որ մարդու ուղեղն ամենաբարդն է, որը երբևէ կլինի մոտ երեք տարեկանում, և այս պահից հետո ուղեղը սկսում է կտրել անհարկի սինապտիկ կապերը: Արդյունքն այն է, որ լիովին զարգացած ուղեղը ի վիճակի է կատարել բոլոր անսովոր բարդ առաջադրանքները, որոնք մենք անում ենք ամեն օր, բայց օգտագործում է բոլոր սինապսների մոտ կեսը, որոնք ուներ իր գագաթնակետին: Ջհան և մյուս հետազոտողները նմանակեցին այս ռազմավարությունը՝ AI-ի ուսուցումը բարձրացնելու համար:
«Մեր մոտեցումն այն է, ինչ մենք անվանում ենք աճի և էտելու պարադիգմ: Դա նման է այն բանին, ինչ ուղեղն անում է մանկությունից մինչև փոքր երեխա: Երրորդ տարում մարդու ուղեղը սկսում է խզել ուղեղի բջիջների միջև կապերը: Այս գործընթացը շարունակվում է մինչև հասուն տարիքում, այնպես որ լիովին զարգացած ուղեղը գործում է իր սինապտիկ գագաթնակետի մոտավորապես կեսով: Մեծահասակների ուղեղը մասնագիտացված է ցանկացած մարզման համար, որը մենք տրամադրել ենք: Դա այնքան էլ լավ չէ ընդհանուր նպատակներով ուսուցման համար, որքան փոքր երեխայի ուղեղը»:
Աճման և էտման տեխնիկայի շնորհիվ նույնքան լավ կանխատեսումներ կարելի է անել տվյալների օրինաչափությունների վերաբերյալ՝ օգտագործելով նախկինում պահանջվող հաշվողական հզորության ընդամենը մի մասը: Հետազոտողները նպատակ ունեն գտնել էներգիայի սպառման և հաշվողական ծախսերի կրճատման մեթոդներ, քանի որ դա առանցքային է մեքենայական ուսուցումը փոքր սարքերի, ինչպիսիք են հեռախոսները և խելացի ժամացույցները: Մեքենայի ուսուցման ալգորիթմների կողմից սպառվող էներգիայի քանակի կրճատումը կարող է նաև օգնել արդյունաբերությանը նվազեցնել ածխածնի հետքը: Թերթերի առաջին հեղինակ Սյաոլիանգ Դայը բացատրեց, որ մոդելները պետք է վերապատրաստվեն տեղական մակարդակում, քանի որ ամպին փոխանցվելը մեծ էներգիա է պահանջում:
Առաջին ուսումնասիրության ընթացքում հետազոտողները փորձեցին մշակել նեյրոնային ցանցերի ստեղծման գործիք, որը նրանք կարող էին օգտագործել նեյրոնային ցանցերի նախագծման և ամենաբարձր արդյունավետությամբ ցանցերից մի քանիսը զրոյից վերստեղծելու համար: գործիքը կոչվում էր NeST (Նյարդային ցանցի սինթեզի գործիք), և երբ այն ապահովված է ընդամենը մի քանի նեյրոններով և կապերով, այն արագորեն մեծանում է բարդության մեջ՝ ավելացնելով ավելի շատ նեյրոններ ցանցին: Երբ ցանցը համապատասխանում է ընտրված հենանիշին, այն սկսում է ժամանակի ընթացքում ինքն իրեն էտել: Մինչ ցանցի նախորդ մոդելներն օգտագործում էին էտման տեխնիկան, Փրինսթոնի հետազոտողների կողմից մշակված մեթոդն առաջինն էր, որը ցանց վերցրեց և մոդելավորեց զարգացման փուլերը՝ անցնելով «երեխայից» մինչև «մանկական» և վերջապես՝ «մեծահասակների ուղեղ»:
Երկրորդ հոդվածի ընթացքում հետազոտողները համագործակցեցին Կալիֆորնիայի Բերքելի համալսարանի և Facebook-ի թիմի հետ՝ բարելավելու իրենց տեխնիկան՝ օգտագործելով Chameleon կոչվող գործիքը: Քամելեոնը կարող է սկսել ցանկալի վերջնակետից, ցանկալի արդյունքներից և աշխատել հետընթաց՝ ճիշտ տեսակի նեյրոնային ցանց կառուցելու համար: Սա վերացնում է ցանցը ձեռքով կարգավորելու մեջ ներգրավված գուշակությունների մեծ մասը՝ տալով ինժեներներին ելակետեր, որոնք, ամենայն հավանականությամբ, անմիջապես օգտակար կլինեն: Քամելեոնը կանխատեսում է տարբեր ճարտարապետությունների կատարումը տարբեր պայմաններում: Chameleon-ի և NeST շրջանակի համատեղումը կարող է օգնել հետազոտական կազմակերպություններին, ովքեր չունեն ծանր հաշվարկային ռեսուրսներ, օգտվել նեյրոնային ցանցերի հզորությունից:
