Endezyar Rêbaza "Birdka Destpêkê"-Enerjîk-Enerjîk Pêşdixin da ku Tora Neuralî ya Kûr perwerde bikin.

Endezyarên li Zanîngeha Rice rêbazek nû ji bo perwerdekirina torên neuralî yên kûr (DNN) bi perçeyek enerjiya ku bi gelemperî hewce dike pêş xistine. DNN forma îstîxbarata sûnî (AI) ye ku di pêşkeftina teknolojiyên wekî otomobîlên xwe-ajotinê, arîkarên hişmend, naskirina rû, û serîlêdanên din de rolek sereke dilîze.

Teyrê Destpêkê di nav de bi hûrgulî hate vegotin kaxezek di 29ê Avrêlê de ji hêla lêkolînerên ji Zanîngeha Rice û Texas A&M ve. Li ser pêk hat Konferansa Navneteweyî ya li ser Nûneratiyên Fêrbûnê, an ICLR 2020. 

Nivîskarên sereke yên lêkolînê Haoran You û Chaojian Li bûn ji Laboratoriya Berhevkar û Zêrîn a Rice (EIC). Di lêkolînek de, wan destnîşan kir ku çawa rêbaz dikare DNN-ê di heman astê û rastbûna metodên îroyîn de perwerde bike, lê 10.7 carî kêmtir enerjiyê bikar tîne. 

Lêkolîn ji hêla rêveberê EIC Lab Yingyan Lin, Rice's Richard Baraniuk, û Texas A&M's Zhangyang Wang ve hate rêve kirin. Hev-nivîskarên din Pengfei Xu, Yonggan Fu, Yue Wang, û Xiaohan Chen hene. 

Lin got, "Hêzek pêşeng a sereke di pêşkeftinên dawî yên AI-ê de danasîna DNN-yên mezintir û bihatir e." "Lê perwerdekirina van DNN-ê enerjiyek girîng dixwaze. Ji bo ku bêtir nûbûn bêne eşkere kirin, pêdivî ye ku meriv metodên perwerdehiya 'kesktir' bibîne ku hem fikarên hawîrdorê çareser dike û hem jî astengiyên darayî yên lêkolîna AI kêm dike."

Biha ye ku DNN-ê perwerde bike

Dibe ku perwerdekirina DNN-ên çêtirîn ên cîhanê pir biha be, û bihayê bihayê her ku diçe zêde dibe. Di sala 2019-an de, lêkolînek ku ji hêla Enstîtuya Allen ji bo AI-ê li Seattle ve hatî rêve kirin, dît ku ji bo perwerdekirina tora neuralî ya kûr a top-firînê, li gorî salên 300,000-2012-an 2018 carî bêtir hesab hewce ne. Lêkolînek din a 2019-an, vê carê ku ji hêla lêkolînerên Zanîngeha Massachusetts Amherst ve hatî rêve kirin, dît ku bi perwerdekirina DNNek yekane, elît, bi qasî jimareya karbondîoksîtê bi qasî pênc otomobîlên Dewletên Yekbûyî têne berdan. 

Ji bo ku DNN karên xwe yên pir pispor pêk bînin, ew bi kêmî ve ji mîlyonan neuronên çêkirî pêk tên. Ew dikarin fêr bibin ka meriv çawa biryardan digire, carinan ji mirovan re çêtir dibîne, bi çavdêriya hejmareke mezin ji mînakan. Ew dikarin vê yekê bêyî hewcedariya bernameyek eşkere bikin. 

Prune û Train

Lin alîkarê profesorê endezyariya elektrîkê û komputerê ye li Dibistana Endezyariyê ya Brown ya Rice. 

Lin got: "Rêya herî pêşkeftî ya pêkanîna perwerdehiya DNN-ê jê re qurm û trêna pêşkeftî tê gotin." "Pêşî, hûn torgilokek qelş û mezin perwerde dikin, dûv re perçeyên ku ne girîng xuya dikin - mîna birîna darê jêbirin. Dûv re hûn tora qutkirî ji nû ve perwerde dikin da ku performansê sererast bikin ji ber ku performans piştî qutkirinê xirab dibe. Û di pratîkê de hûn hewce ne ku hûn gelek caran biçînin û ji nû ve perwerde bikin da ku performansa baş bistînin.

Ev rêbaz tê bikar anîn ji ber ku ne hemî neuronên çêkirî ne hewce ne ku karê pisporê biqedînin. Têkiliyên di navbera neuronan de ji ber perwerdehiyê têne xurt kirin, û yên din dikarin bêne avêtin. Ev rêbaza qutkirinê lêçûnên hesabkirinê kêm dike û mezinahiya modelê kêm dike, ku DNN-ên bi tevahî perwerdekirî erzantir dike. 

Lin got, "Gava yekem, perwerdekirina torgilokê girs û gir, ya herî biha ye." "Fikra me di vê xebatê de ew e ku di qonaxa destpêkê ya vê gava yekem a biha de, torgiloka paşîn, bi tevahî bikêrhatî, ya ku em jê re dibêjin 'bilêta çûk a zû' nas bikin."

Lekolînwan vê yekê bi lêgerîna qalibên girêdana torê yên sereke dikin, û wan karîbû van bilêtên zû-teyran keşf bikin. Vê yekê hişt ku wan perwerdehiya DNN zûtir bikin. 

Early Bird Di Qonaxa Destpêkê ya Perwerdehiyê de

Lin û lêkolînerên din dît ku Early Bird dikare di qonaxa destpêkê ya perwerdehiyê de yek-deh an kêmtir xuya bike. 

"Rêbaza me dikare bixweber bilêtên zû-teyran di nav 10% an kêmtir ji perwerdehiya torên girs û mezin de nas bike," Lin got. "Ev tê vê wateyê ku hûn dikarin DNN-ê perwerde bikin da ku ji bo peywirek diyarkirî bi qasî 10% an kêmtir ji wextê ku ji bo perwerdehiya kevneşopî hewce dike bigihîje heman rast an jî çêtir, ku dikare hem di hesab û hem jî di enerjiyê de bibe sedema bêtir ji yek fermanê teserûfê."

Ji bilî ku zûtir û enerjî-kêrtir e, lêkolîner li ser bandora hawirdorê girîngiyek xurt heye. 

"Armanca me ew e ku em AI-ê hem jîngehparêztir û hem jî berfirehtir bikin," wê got. "Mezinahiya pirsgirêkên tevlihev ên AI-ê lîstikvanên piçûktir dûr xistiye. AI-ya kesk dikare derî veke da ku lêkolîner bi laptopek an çavkaniyên tixûbdar ên tixûbdar vebike ku nûbûnên AI-ê bigerin."

Lêkolînê piştgirî ji Weqfa Zanistiya Neteweyî wergirt.