Google-forskere oppdager underspesifikasjonsproblemet som holder tilbake mange AI-modeller

Nylig har et team av forskere fra Google (GOOGL ) identifisert en vanlig årsak til feilene i AI-modellene, og peker på underspesifikasjon som en av de primære grunnene til at maskinlæringsmodellene ofte oppfører seg svært forskjellig i den virkelige verden enn de gjør under testing og utvikling.

Maskinlæringsmodeller feiler ofte når de håndterer oppgaver i en virkelig setting, selv om modellene fungerer optimalt i laboratoriet. Det finnes mange grunner til at mismatchet mellom trening/utvikling og virkelig ytelse skjer. En av de vanligste grunnene til at AI-modellene feiler under virkelige oppgaver er et konsept kjent som data-skift. Data-skift refererer til en grunnleggende forskjell mellom typen data som brukes til å utvikle en maskinlæringsmodell og data som mates inn i modellen under applikasjon. Som et eksempel vil computer-vision-modeller som er trenet på høykvalitets bilde-data slite med å fungere når de mates data fanget av lavkvalitets-kameraer funnet i modellens dag-til-dag-miljø.

Ifølge MIT Technology Review, har et team på 40 forskjellige forskere ved Google identifisert en annen grunn til at ytelsen til en maskinlæringsmodell kan variere så drastisk. Problemet er “underspesifikasjon”, et statistisk konsept som beskriver problemer der observerte fenomener har mange mulige årsaker, ikke alle av dem er tatt med i modellen. Ifølge studiens leder, Alex D’Amour, er problemet å se i mange maskinlæringsmodeller, og sier at fenomenet “skjer overalt”.

Den typiske metoden for å trene en maskinlæringsmodell innebærer å mate modellen en stor mengde data som den kan analysere og trekke relevante mønster fra. Deretter mates modellen eksempler den ikke har sett, og den blir bedt om å forutsi naturen til disse eksemplene basert på funksjonene den har lært. Når modellen har oppnådd en viss nivå av nøyaktighet, regnes treningen vanligvis som fullført.

Ifølge Google-forskingsteamet, må mer bli gjort for å sikre at modellene kan virkelig generalisere til ikke-trening-data. Den klassiske metoden for å trene maskinlæringsmodeller vil produsere forskjellige modeller som alle kan bestå testene, men disse modellene vil variere på små måter som kan synes ubetydelige, men ikke er det. Forskjellige noder i modellene vil ha forskjellige tilfeldige verdier tildelt, eller trening-data kan være valgt eller representert på forskjellige måter. Disse variasjonene er små og ofte tilfeldige, og hvis de ikke har en stor innvirkning på hvordan modellene fungerer under trening, er de lett å overse. Men når innvirkningen av alle disse små endringene akkumuleres, kan de føre til store variasjoner i virkelig ytelse.

Dette underspesifikasjonsproblemet er problematisk fordi det betyr at, selv om treningsprosessen er i stand til å produsere gode modeller, kan den også produsere en dårlig modell, og forskjellen ville ikke bli oppdaget før modellen forlot produksjon og ble tatt i bruk.

For å vurdere innvirkningen av underspesifikasjon, undersøkte forskningsteamet en rekke forskjellige modeller. Hver modell ble trenet ved hjelp av samme treningsprosess, og deretter ble modellene utsatt for en rekke tester for å høyde forskjeller i ytelse. I ett tilfelle ble 50 forskjellige versjoner av et bilde-gjenkjenningssystem trenet på ImageNet-datasettet. Modellene var alle like, bortsett fra de neurale nettverksverdiene som de ble tildelt tilfeldig under starten av treningen. Stresstestene som ble brukt til å avgjøre forskjeller i modellene, ble utført ved hjelp av ImageNet-C, en variasjon av den opprinnelige datasettet bestående av bilder endret gjennom kontrast eller lysstyrke-justering. Modellene ble også testet på ObjectNet, en serie bilder som viser hverdagsobjekter i uvanlige orienteringer og sammenhenger. Selv om alle 50 modellene hadde omtrent samme ytelse på treningsdatasettet, varierte ytelsen bredt når modellene ble kjørt gjennom stresstestene.

Forskingsteamet fant lignende resultater da de trenet og testet to forskjellige NLP-systemer, samt da de testet forskjellige andre computer-vision-modeller. I hver enkelt tilfelle avvek modellene sterkt fra hverandre, selv om treningsprosessen for alle modellene var den samme.

Ifølge D’Amour, må maskinlæringsforskere og -ingeniører gjøre mye mer stresstesting før de slipper modellene løs i verden. Dette kan være vanskelig å gjøre, ettersom stresstestene må tilpasses bestemte oppgaver ved hjelp av data fra den virkelige verden, data som kan være vanskelig å få tak i for bestemte oppgaver og sammenhenger. En mulig løsning på underspesifikasjonsproblemet er å produsere mange modeller på én gang og deretter teste modellene på en rekke virkelige oppgaver, og velge modellen som konsekvent viser de beste resultater. Å utvikle modeller på denne måten tar mye tid og ressurser, men gevinsten kan være verdt det, spesielt for AI-modeller som brukes i medisinske sammenhenger eller andre områder hvor sikkerhet er en primær bekymring. Som D’Amour forklarte via MIT Technology Review:

“Vi må bli bedre til å spesifisere nøyaktig hva våre krav er for våre modeller. Fordi ofte det som skjer er at vi oppdager disse kravene først etter at modellen har feilet i verden.”