Google-forskere opdager underspecifikationsproblem, der holder mange AI-modeller tilbage

For nylig har et hold af forskere fra Google (GOOGL ) identificeret en almindelig årsag til, at AI-modeller fejler, og peget på underspecifikation som en af de primære årsager til, at maskinelæringsmodeller ofte opfører sig meget forskelligt i den virkelige verden end under testning og udvikling.

Maskinelæringsmodeller fejler ofte, når de udfører opgaver i en virkelig verden, selv om modellerne opfører sig optimalt i laboratoriet. Der er mange årsager til, at forskellen mellem træning/udvikling og virkelig verden opstår. En af de mest almindelige årsager til, at AI-modeller fejler under virkelige opgaver, er et begreb kendt som data-skift. Data-skift refererer til en grundlæggende forskel mellem den type data, der bruges til at udvikle en maskinelæringsmodel, og den data, der fødes ind i modellen under anvendelse. Som eksempel vil computer-vision-modeller, der er trænet på højkvalitetsbilleddata, have svært ved at opføre sig, når de får data fra lavkvalitetskameraer, der findes i modellens dag-til-dag-miljø.

Ifølge MIT Technology Review har et hold på 40 forskellige forskere fra Google identificeret en anden årsag til, at maskinelæringsmodellens præstation kan variere så drastisk. Problemet er “underspecifikation”, et statistisk begreb, der beskriver problemer, hvor observerede fænomener har mange mulige årsager, som ikke alle er medtaget i modellen. Ifølge studiets leder, Alex D’Amour, er problemet til stede i mange maskinelæringsmodeller og siger, at fænomenet “sker overalt”.

Den typiske metode til at træne en maskinelæringsmodel indebærer at føde modellen en stor mængde data, som den kan analysere og udtrække relevante mønstre fra. herefter fødes modellen eksempler, den ikke har set, og bedes om at forudsige naturen af disse eksempler på basis af de funktioner, den har lært. Når modellen har opnået en vis niveau af nøjagtighed, anses træningen som regel for at være afsluttet.

Ifølge Google-forskningsholdet skal der gøres mere for at sikre, at modellerne kan generalisere til ikke-træningsdata. Den klassiske metode til at træne maskinelæringsmodeller vil producere forskellige modeller, der alle kan bestå deres tests, men disse modeller vil forskellige på små måder, der synes ubetydelige, men ikke er. Forskellige noder i modellerne vil have forskellige tilfældige værdier tildelt, eller træningsdata kan være valgt eller repræsenteret på forskellige måder. Disse variationer er små og ofte arbitrære, og hvis de ikke har en stor indvirkning på, hvordan modellerne opfører sig under træning, er de lette at overse. Men når virkningen af alle disse små ændringer akkumuleres, kan de føre til store variationer i virkelig verden.

Dette underspecifikation er problematisk, fordi det betyder, at selv om træningsprocessen kan producere gode modeller, kan den også producere en dårlig model, og forskellen ville ikke blive opdaget, før modellen forlod produktionen og blev anvendt.

For at vurdere underspecifikationens indvirkning undersøgte forskningsholdet en række forskellige modeller. Hver model blev trænet ved hjælp af samme træningsproces, og herefter blev modellerne underlagt en række tests for at fremhæve forskelle i præstation. I ét tilfælde blev 50 forskellige versioner af et billedgenkendelsessystem trænet på ImageNet-datasættet. Modellerne var alle ens, bortset fra de neurale netværksværdier, der var tildelt tilfældigt under starten af træningen. Stress-testerne, der blev brugt til at bestemme forskelle i modellerne, blev udført ved hjælp af ImageNet-C, en variation af den originale datasæt, bestående af billeder, der er ændret gennem kontrast- eller lysjustering. Modellerne blev også testet på ObjectNet, en serie af billeder, der viser hverdagsobjekter i usædvanlige retninger og sammenhænge. Selv om alle 50 modeller havde omtrent samme præstation på træningsdatasættet, varierede præstationen kraftigt, når modellerne blev kørt gennem stress-testerne.

Forskningsholdet fandt lignende resultater, da de trænede og stress-testede to forskellige NLP-systemer, samt da de testede forskellige andre computer-vision-modeller. I hvert tilfælde afveg modellerne kraftigt fra hinanden, selv om træningsprocessen for alle modellerne var den samme.

Ifølge D’Amour skal maskinelæringsforskere og -ingeniører gøre meget mere stress-testning, før de udgiver modeller i den virkelige verden. Dette kan være svært at gøre, da stress-testerne skal tilpasses specifikke opgaver ved hjælp af data fra den virkelige verden, data, der kan være svært at få fat i for visse opgaver og sammenhænge. En mulig løsning på underspecifikationsproblemet er at producere mange modeller på én gang og herefter teste modellerne på en række virkelige opgaver, og vælge den model, der konsekvent viser de bedste resultater. At udvikle modeller på denne måde tager meget tid og ressourcer, men gevinsten kan være værd at betale, især for AI-modeller, der bruges i medicinske sammenhænge eller andre områder, hvor sikkerhed er en primær bekymring. Som D’Amour forklarede via MIT Technology Review:

“Vi skal blive bedre til at specificere nøjagtigt, hvad vores krav er til vores modeller. Fordi det, der ofte sker, er, at vi opdager disse krav først, efter at modellen er fejlet i verden.”