Forskere udfordrer længe holdt maskinlæringsantagelse

Forskere ved Carnegie Mellon University udfordrer en længe holdt maskinlæringsantagelse om, at der er et kompromis mellem nøjagtighed og retfærdighed i algoritmer, der bruges til at træffe offentlige politikbeslutninger.

Brugen af maskinlæring øger i mange områder som retfærdighed, ansættelse, sundhedsydelser og sociale serviceinterventioner. Med denne vækst kommer også øgede bekymringer over, om disse nye anvendelser kan forværre eksisterende uligheder. De kan være særligt skadelige for racerminoriteter eller personer med økonomiske ulemper.

Tilpasning af et system

Der er konstante tilpasninger af data, mærker, modeltræning, score-systemer og andre aspekter af systemet for at beskytte mod bias. Men den teoretiske antagelse har været, at systemet bliver mindre nøjagtigt, når der er flere af disse tilpasninger.

Holdet ved CMU satte sig for at udfordre denne teori i en ny studie offentliggjort i Nature Machine Intelligence.

Rayid Ghani er professor på School of Computer Sciences Machine Learning-afdeling (MLD) og Heinz College of Information Systems and Public Policy (PPHC ). Han blev ledsaget af Kit Rodolfa, en forskningsvidenskabsmand i MLD, og Hemank Lamba, en postdoc-forsker i SCS.

Test af virkelige anvendelser

Forskerne testede denne antagelse i virkelige anvendelser og fandt, at kompromisset er neglisjerbart på tværs af mange politikområder.

“Du kan faktisk få begge dele. Du behøver ikke at ofre nøjagtighed for at bygge systemer, der er retfærdige og ligelige,” sagde Ghani. “Men det kræver, at du bevidst designer systemer, der er retfærdige og ligelige. Off-the-shelf-systemer vil ikke fungere.”

Holdet fokuserede på situationer, hvor efterspurgte ressourcer er begrænsede. Allokeringen af disse ressourcer hjælpes af maskinlæring.

De fokuserede på systemer i fire områder:

• prioritering af begrænsede psykiske sundhedsydelser baseret på en persons risiko for at vende tilbage til fængsel for at reducere genindespærrelse;
• forudsigelse af alvorlige sikkerhedsbrud for bedre at uddelegere en bys begrænsede boliginspektører;
• modellering af risikoen for, at studerende ikke dimitterer fra gymnasiet på tid for at identificere dem, der har størst behov for ekstra støtte;
• og hjælp til, at lærere når crowdfunding-mål for klasserummet.

Forskerne fandt, at modeller, der var optimeret til nøjagtighed, kunne effektivt forudsige resultaterne af interesse. Men de demonstrerede også betydelige uligheder i anbefalinger til interventioner.

De vigtige resultater kom, da forskerne anvendte tilpasningerne til outputtet af modellerne, der havde til formål at forbedre deres retfærdighed. De opdagede, at der ikke var nogen tab af nøjagtighed, når uligheder baseret på race, alder eller indkomst blev fjernet.

“Vi ønsker, at kunstig intelligens-, computer- og maskinlæringsfællesskaberne stopper med at acceptere denne antagelse om et kompromis mellem nøjagtighed og retfærdighed og i stedet bevidst designer systemer, der maksimerer begge,” sagde Rodolfa. “Vi håber, at politikere vil omfavne maskinlæring som et værktøj i deres beslutningstagning for at hjælpe dem med at opnå ligelige resultater.”