Andrew Ng Kritiserar Överanpassningen Av Maskinlärning

Andrew Ng, en av de mest inflytelserika rösterna inom maskinlärning under det senaste decenniet, uttrycker nu bekymmer över den utsträckning till vilken sektorn betonar innovationer inom modellarkitektur över data – och specifikt, den utsträckning till vilken den tillåter “överanpassade” resultat att framställas som generaliserade lösningar eller framsteg.

Detta är svepande kritik av den nuvarande maskinlärningskulturen, som kommer från en av dess högsta auktoriteter, och har implikationer för förtroendet för en sektor som är besatt av farhågor om en tredje kollaps av företagsförtroende för AI-utveckling inom en period av sextio år.

Ng, som är professor vid Stanford University, är också en av grundarna av deeplearning.ai, och i mars publicerade han ett meddelande på organisationens webbplats som sammanfattade en nylig föreläsning av honom till ett par kärnrekommendationer:

För det första, att forskarsamhället bör sluta klaga på att datarengöring utgör 80% av utmaningarna inom maskinlärning, och i stället arbeta med att utveckla robusta MLOps-metodologier och metoder.

För det andra, att det bör gå bort från de “enkla vinsterna” som kan erhållas genom att överanpassa data till en maskinlärningsmodell, så att den fungerar bra på den modellen men inte generaliserar eller producerar en allmänt användbar modell.

Att Anta Utmaningen Inom Dataarkitektur Och Kurering

“Min uppfattning”, skrev Ng, “är att om 80% av vårt arbete är dataförberedelse, så är det viktigt att säkerställa datakvalitet är det viktiga arbetet för ett maskinlärningsteam.”

Han fortsatte:

‘I stället för att förlita oss på att ingenjörer ska hitta det bästa sättet att förbättra en dataset, hoppas jag att vi kan utveckla MLOps-verktyg som hjälper till att göra byggandet av AI-system, inklusive byggandet av högkvalitativa dataset, mer återanvändbara och systematiska.

‘MLOps är ett nytt område, och olika människor definierar det på olika sätt. Men jag tror att den viktigaste organiserande principen för MLOps-team och verktyg bör vara att säkerställa en konsekvent och högkvalitativ dataflöde genom alla stadier av ett projekt. Detta kommer att hjälpa många projekt att gå smidigare.’

När han talade på Zoom under en direktutsänd frågestund i slutet av april, diskuterade Ng den applicerbara bristen i maskinlärningsanalysystem för radiologi:

“Det visar sig att när vi samlar in data från Stanford Hospital, och sedan tränar och testar på data från samma sjukhus, kan vi publicera papper som visar att [algoritmerna] är jämförbara med mänskliga radiologer i att upptäcka vissa tillstånd.

“…[När] du tar samma modell, samma AI-system, till ett äldre sjukhus nerför gatan, med en äldre maskin, och tekniken använder en något annorlunda avbildningsprotokoll, så förändras data och orsakar AI-systemets prestanda att försämras avsevärt. I kontrast kan en mänsklig radiolog gå nerför gatan till det äldre sjukhuset och göra bra ifrån sig.”

Under-Specifikation Är Inte En Lösning

Överanpassning inträffar när en maskinlärningsmodell är specifikt utformad för att anpassa sig till de egenskaperna hos en viss dataset (eller hur data är formaterad). Detta kan innefatta, till exempel, att ange vikter som kommer att producera bra resultat från den dataseten, men inte “generalisera” på andra data.

I många fall är sådana parametrar definierade på “icke-data”-aspekter av träningssättet, som den specifika upplösningen av den insamlade informationen, eller andra egenheter som inte garanteras att återkomma i efterföljande dataset.

Även om det vore trevligt, är överanpassning inte ett problem som kan lösas genom att blint utöka omfattningen eller flexibiliteten hos dataarkitektur eller modellutformning, när det som egentligen behövs är allmänt tillämpliga och högt relevanta funktioner som kommer att fungera bra i en mängd olika datamiljöer – en mer besvärlig utmaning.

I allmänhet leder denna typ av “under-specifikation” bara till de problem som Ng nyligen har beskrivit, där en maskinlärningsmodell misslyckas på osett data. Skillnaden i det här fallet är att modellen misslyckas inte för att data eller dataformateringen skiljer sig från den ursprungliga överanpassade träningsuppsättningen, utan för att modellen är för flexibel snarare än för skör.

Sent 2020 publicerades artikeln Under-specifikation Presenterar Utmaningar För Trovärdighet I Modern Maskinlärning, som innehöll skarp kritik mot denna praxis, och bar namnen på inte mindre än fyrtio maskinlärningsforskare och vetenskapsmän från Google och MIT, bland andra institutioner.

Artikeln kritiserar “shortcut-lärande” och observerar hur underspecifierade modeller kan ta av på vilda tangenter baserat på den slumpmässiga startpunkten för modellträningen. Författarna observerar:

‘Vi har sett att under-specifikation är allmänt förekommande i praktiska maskinlärningspipelines över många domäner. Verkligen, tack vare under-specifikation, bestäms substantiellt viktiga aspekter av besluten av godtyckliga val, såsom den slumpmässiga startpunkten som används för parameterinitiering.’

Ekonomiska Konsekvenser Av Att Förändra Kulturen

Trots sina akademiska meriter är Ng ingen luftig akademiker, utan har djup och hög nivå industriell erfarenhet som medgrundare av Google Brain och Coursera, som tidigare chefsforskare för Big Data och AI på Baidu, och som grundare av Landing AI, som administrerar 175 miljoner USD för nya startups inom sektorn.

När han säger “All AI, inte bara hälsovård, har en lucka mellan bevis och produktion”, är det tänkt som en väckarklocka till en sektor som nu är känd för sin osäkerhet som en långsiktig affärsinvestering, besatt av problem med definition och omfattning.

Ändå representerar proprietära maskinlärningssystem som fungerar bra på plats men misslyckas i andra miljöer den typ av marknadsandel som kunde belöna industriell investering. Att presentera “överanpassningsproblemet” i sammanhanget som en yrkesrisk erbjuder ett sätt att kommersialisera företagsinvesteringar i öppen källkods forskning, och att producera (i praktiken) proprietära system där replikering av konkurrenter är möjlig, men problematisk.

Om detta tillvägagångssätt skulle fungera på lång sikt beror på den utsträckning till vilken verkliga genombrott inom maskinlärning fortsätter att kräva allt större investeringar, och om alla produktiva initiativ kommer att migrera till FAANG i någon utsträckning, på grund av de enorma resurser som krävs för värd och drift.