Արհեստական բանականություն
Էնդրյու Նգը քննադատում է մեքենայական ուսուցման մեջ գերազանցելու մշակույթը
Էնդրյու Նգը, մեքենայական ուսուցման ամենաազդեցիկ ձայներից մեկը վերջին տասնամյակի ընթացքում, ներկայումս մտահոգություն է հայտնում այն մասին, թե որքանով է ոլորտը շեշտը դնում մոդելի ճարտարապետության նորարարությունների վրա տվյալների նկատմամբ, և մասնավորապես, թե որքանով է այն թույլ տալիս «գերհամապատասխանեցված» արդյունքները: պատկերված լինել որպես ընդհանրացված լուծումներ կամ առաջընթացներ:
Սրանք մեքենայական ուսուցման ներկայիս մշակույթի լայնածավալ քննադատություններ են, որոնք բխում են դրա բարձրագույն իշխանություններից մեկից և ունեն ազդեցություն մի հատվածի նկատմամբ վստահության վրա, որը պատված է վախերի պատճառով: երրորդ փլուզումը Վաթսուն տարվա ընթացքում արհեստական ինտելեկտի զարգացման նկատմամբ բիզնես վստահություն:
Սթենֆորդի համալսարանի պրոֆեսոր Նգը նույնպես deeplearning.ai-ի հիմնադիրներից է, և մարտին հրապարակել է. առաքված կազմակերպության կայքում, որը թորել է ա վերջին ելույթը մի քանի հիմնական առաջարկությունների մասին.
Նախ, որ հետազոտական համայնքը պետք է դադարի բողոքել, որ տվյալների մաքրումը ներկայացնում է մեքենայական ուսուցման մարտահրավերների 80%-ը, և շարունակի MLOps-ի կայուն մեթոդաբանությունների և պրակտիկաների մշակման աշխատանքը:
Երկրորդ, որ այն պետք է հեռանա «հեշտ շահումներից», որոնք կարելի է ձեռք բերել մեքենայական ուսուցման մոդելի վրա տվյալների չափից ավելի հարմարեցման միջոցով, որպեսզի այն լավ աշխատի այդ մոդելի վրա, բայց չկարողանա ընդհանրացնել կամ արտադրել լայնորեն կիրառելի մոդել:
Ընդունելով տվյալների ճարտարապետության և մշակման մարտահրավերը
«Իմ տեսակետը», - գրել է Նգը: «Այն է, որ եթե մեր աշխատանքի 80 տոկոսը տվյալների պատրաստումն է, ապա տվյալների որակի ապահովումը մեքենայական ուսուցման թիմի կարևոր աշխատանքն է»:
Նա շարունակում է.
«Տվյալների տվյալների բազան բարելավելու լավագույն միջոցի վրա հույս դնելու փոխարեն ինժեներների վրա, ես հուսով եմ, որ մենք կարող ենք մշակել MLOps գործիքներ, որոնք կօգնեն կառուցել AI համակարգեր, ներառյալ բարձրորակ տվյալների հավաքածուներ կառուցելը, ավելի կրկնվող և համակարգված:
«MLOps-ը նոր ոլորտ է, և տարբեր մարդիկ այն տարբեր կերպ են սահմանում: Բայց ես կարծում եմ, որ MLOps թիմերի և գործիքների կազմակերպման ամենակարևոր սկզբունքը պետք է լինի տվյալների հետևողական և որակյալ հոսք ապահովելը ծրագրի բոլոր փուլերում: Սա կօգնի շատ նախագծերի ավելի հարթ ընթացք ունենալ:
Խոսելով Zoom-ում ուղիղ հեռարձակման ժամանակ Հարցուպատասխան ապրիլի վերջին Ng-ն անդրադարձավ ռադիոլոգիայի համար մեքենայական ուսուցման վերլուծության համակարգերում կիրառելիության պակասին.
«Ստացվում է, որ երբ մենք տվյալներ ենք հավաքում Սթենֆորդի հիվանդանոցից, այնուհետև մենք մարզվում և փորձարկում ենք նույն հիվանդանոցի տվյալների վրա, իսկապես, մենք կարող ենք հրապարակել փաստաթղթեր, որոնք ցույց են տալիս, որ [ալգորիթմները] համեմատելի են մարդու ռադիոլոգների հետ որոշակի պայմաններ հայտնաբերելու հարցում:
«…[Երբ] դուք տանում եք նույն մոդելը, նույն արհեստական ինտելեկտի համակարգը, ավելի հին հիվանդանոց՝ փողոցում, ավելի հին մեքենայով, և տեխնիկն օգտագործում է մի փոքր այլ պատկերային արձանագրություն, այդ տվյալները շեղվում են՝ առաջացնելով AI համակարգի աշխատանքը։ զգալիորեն դեգրադացնել: Ի հակադրություն, ցանկացած մարդ ռադիոլոգ կարող է քայլել փողոցով դեպի հին հիվանդանոց և լավ վարվել»:
Թերի ճշգրտումը լուծում չէ
Գերհամապատասխանեցումը տեղի է ունենում, երբ մեքենայական ուսուցման մոդելը հատուկ նախագծված է որոշակի տվյալների շտեմարանի էքսցենտրիկությունները (կամ տվյալների ձևաչափման եղանակը տեղավորելու համար): Սա կարող է ներառել, օրինակ, կշիռների ճշգրտում, որոնք լավ արդյունքներ կտան տվյալ տվյալներից, բայց չեն «ընդհանրացվի» այլ տվյալների վրա:
Շատ դեպքերում, նման պարամետրերը սահմանվում են վերապատրաստման հավաքածուի «ոչ տվյալների» ասպեկտների վրա, ինչպիսիք են հավաքված տեղեկատվության հատուկ լուծումը կամ այլ յուրահատկություններ, որոնք երաշխավորված չեն, որ կկրկնվեն հետագա տվյալների հավաքածուներում:
Թեև լավ կլիներ, չափազանց հարմարեցումը խնդիր չէ, որը կարող է լուծվել կուրորեն ընդլայնելով տվյալների ճարտարապետության կամ մոդելի նախագծման շրջանակը կամ ճկունությունը, երբ իրականում անհրաժեշտը լայնորեն կիրառելի և բարձր ակնառու հատկանիշներ են, որոնք լավ կգործեն տվյալների մի շարքում: միջավայրեր՝ ավելի ծանր մարտահրավեր:
Ընդհանուր առմամբ, այս տեսակի «թերճշգրտումը» հանգեցնում է միայն այն խնդիրների, որոնք վերջերս ուրվագծել է Ng-ը, որտեղ մեքենայական ուսուցման մոդելը ձախողվում է չտեսնված տվյալների վրա: Տարբերությունն այս դեպքում այն է, որ մոդելը ձախողվում է ոչ թե այն պատճառով, որ տվյալների կամ տվյալների ձևաչափումը տարբերվում է գերհագեցված նախնական ուսումնական հավաքածուից, այլ այն պատճառով, որ մոդելը չափազանց ճկուն է, այլ ոչ թե շատ փխրուն:
2020 թվականի վերջին թուղթ Աննշան ճշգրտումը ներկայացնում է մարտահրավերներ ժամանակակից մեքենայական ուսուցման վստահելիության համար բուռն քննադատություն հնչեցրեց այս պրակտիկայի դեմ և կրեց ոչ պակաս, քան քառասուն մեքենայական ուսուցման հետազոտողների և գիտնականների անուններ Google-ից և MIT-ից, ի թիվս այլ հաստատությունների:
Թերթը քննադատում է «դյուրանցումների ուսուցումը» և դիտում է այն ձևը, որով թերճշգրտված մոդելները կարող են դուրս գալ վայրի շոշափողներում՝ հիմնվելով այն պատահական սերմնակետի վրա, որտեղից սկսվում է մոդելի ուսուցումը: Ներդրողները նշում են.
«Մենք տեսանք, որ թերճշգրտումը ամենուր տարածված է մեքենայական ուսուցման գործնական խողովակաշարերում բազմաթիվ տիրույթներում: Իրոք, թերճշգրտման շնորհիվ որոշումների էականորեն կարևոր ասպեկտները որոշվում են կամայական ընտրություններով, ինչպիսին է պարամետրի սկզբնավորման համար օգտագործվող պատահական սերմը:
Մշակույթը փոխելու տնտեսական հետևանքները
Չնայած իր գիտական հավատարմագրերին, Նգ-ը օդային ակադեմիկոս չէ, բայց ունի խորը և բարձր մակարդակի արդյունաբերության փորձ որպես Google Brain-ի և Coursera-ի համահիմնադիր, որպես Baidu-ի Big Data-ի և AI-ի նախկին գլխավոր գիտնական և որպես հիմնադիր Landing AI-ն, որը 175 միլիոն ԱՄՆ դոլար է տրամադրում ոլորտում նոր ստարտափների համար:
Երբ նա ասում է, որ «Ամբողջ արհեստական ինտելեկտը, ոչ միայն առողջապահությունը, ունի հայեցակարգի ապացույց-արտադրության անջրպետ», դա նախատեսված է որպես արթնացման կոչ մի հատվածի համար, որի ներկայիս մակարդակը հիացմունքի և խայտաբղետ պատմությունն ավելի ու ավելի է բնութագրում այն որպես. անորոշ երկարաժամկետ բիզնես ներդրումներ, բախվելով սահմանման և ծավալի խնդիրներով։
Այնուամենայնիվ, սեփականատիրական մեքենայական ուսուցման համակարգերը, որոնք լավ են գործում տեղում և ձախողվում այլ միջավայրերում, ներկայացնում են շուկայի գրավման այն տեսակը, որը կարող է պարգևատրել ոլորտի ներդրումներին: Պրոֆեսիոնալ վտանգի համատեքստում «գերհամապատասխանության խնդիրը» ներկայացնելը անազնիվ ճանապարհ է առաջարկում. դրամայնացնել կորպորատիվ ներդրումներ բաց կոդով հետազոտության մեջ և արտադրել (արդյունավետ) սեփականության համակարգեր, որտեղ մրցակիցների կողմից կրկնօրինակումը հնարավոր է, բայց խնդրահարույց:
Արդյոք այս մոտեցումը կաշխատի երկարաժամկետ հեռանկարում, կախված է նրանից, թե որքանով են պահանջվում մեքենայական ուսուցման իրական առաջընթացը. ներդրումների գնալով ավելի մեծ մակարդակ, և արդյոք բոլոր արդյունավետ նախաձեռնություններն անխուսափելիորեն որոշ չափով կտեղափոխվեն FAANG՝ հոսթինգի և գործունեության համար անհրաժեշտ հսկայական ռեսուրսների պատճառով:
