Forskere utfordrer langvarig maskinlæringsantakelse

Forskere ved Carnegie Mellon University utfordrer en langvarig maskinlæringsantakelse om at det finnes en avveining mellom nøyaktighet og rettferdighet i algoritmer brukt til å fatte offentlige politiske beslutninger.

Bruken av maskinlæring øker i mange områder som kriminalitet, anssettelse, helsevesen og sosiale tjenester. Med denne veksten kommer også økte bekymringer over om disse nye anvendelsene kan forverre eksisterende urettferdigheter. De kan være spesielt skadelige for rasemineriteter eller personer med økonomiske ulemper.

Justering av et system

Det finnes konstante justeringer av data, merking, modelltrening, poengsystemer og andre aspekter av systemet for å beskytte mot fordommer. Imidlertid har den teoretiske antakelsen vært at systemet blir mindre nøyaktig når det gjøres flere av disse justeringene.

Teamet ved CMU satte ut til å utfordre denne teorien i en ny studie publisert i Nature Machine Intelligence.

Rayid Ghani er en professor ved School of Computer Science’s Machine Learning Department (MLD) og Heinz College of Information Systems and Public Policy (PPHC ). Han ble ledsaget av Kit Rodolfa, en forskningsscientist i MLD; og Hemank Lamba, en postdoktorand i SCS.

Testing av virkelige anvendelser

Forskerne testet denne antakelsen i virkelige anvendelser, og hva de fant var at avveiningen er ubetydelig over mange politiske domener.

“Du kan faktisk få begge deler. Du trenger ikke å ofre nøyaktighet for å bygge systemer som er rettferdige og likeverdige,” sa Ghani. “Men det krever at du bevisst designer systemer som er rettferdige og likeverdige. Standard-systemer vil ikke fungere.”

Teamet fokuserte på situasjoner der etterspurt ressurser er begrenset. Fordelingen av disse resursene hjelpes av maskinlæring.

De fokuserte på systemer i fire områder:

• prioritering av begrenset psykisk helse-utstrekk basert på en persons risiko for å returnere til fengsel for å redusere gjentakelse;
• forutsielse av alvorlige sikkerhetsbrudd for bedre å deployere en bys begrensede boliginspektører;
• modellering av risikoen for at studenter ikke fullfører high school i tide for å identifisere de som er mest i behov av ekstra støtte;
• og hjelp til lærere å nå crowdfunding-mål for klasserombehov.

Forskerne fant at modeller som var optimert for nøyaktighet kunne effektivt forutsi resultater av interesse. Imidlertid viste de også betydelige urettferdigheter i anbefalinger for inngrep.

De viktige resultater kom da forskerne anvendte justeringer på utgangene av modellene som målrettede å forbedre deres rettferdighet. De oppdaget at det ikke var noen tap av nøyaktighet når urettferdigheter basert på rase, alder eller inntekt ble fjernet.

“Vi ønsker at kunstig intelligens-, datavitenskap- og maskinlærings-samfunnene skal slutte å akseptere denne antakelsen om en avveining mellom nøyaktighet og rettferdighet og i stedet bevisst designe systemer som maksimerer begge,” sa Rodolfa. “Vi håper at politiske beslutningstakere vil omfavne maskinlæring som et verktøy i deres beslutningstaking for å hjelpe dem å oppnå likeverdige resultater.”