Forskare utmanar en långvarig maskinlärningsantagande

Forskare vid Carnegie Mellon University utmanar en långvarig maskinlärningsantagande som säger att det finns ett kompromiss mellan noggrannhet och rättvisa i algoritmer som används för att fatta beslut om allmänna politiska beslut.

Användningen av maskinlärning ökar i många områden som straffrätt, anställning, hälsovård och sociala tjänster. Med denna tillväxt kommer också ökade farhågor om huruvida dessa nya tillämpningar kan förvärra befintliga ojämlikheter. De kan vara särskilt skadliga för rasminoriteter eller personer med ekonomiska nackdelar.

Att justera ett system

Det finns konstanta justeringar av data, etiketter, modellträning, poängsystem och andra aspekter av systemet för att skydda mot partiskhet. Men den teoretiska antagandet har varit att systemet blir mindre exakt när det finns fler av dessa justeringar.

Teamet vid CMU satte sig att utmana denna teori i en ny studie som publicerats i Nature Machine Intelligence.

Rayid Ghani är en professor vid School of Computer Science’s Machine Learning Department (MLD) och Heinz College of Information Systems and Public Policy (PPHC ). Han var ansluten till Kit Rodolfa, en forskare vid MLD; och Hemank Lamba, en postdoktor vid SCS.

Testning av realvärldstillämpningar

Forskarna testade denna antagande i realvärldstillämpningar, och vad de fann var att kompromissen är försumbar i många policyområden.

“Du kan faktiskt få båda. Du behöver inte offra noggrannhet för att bygga system som är rättvisa och jämlika”, sa Ghani. “Men det kräver att du medvetet utformar systemen för att vara rättvisa och jämlika. Färdiga system fungerar inte.”

Teamet fokuserade på situationer där efterfrågade resurser är begränsade. Tilldelningen av dessa resurser hjälps av maskinlärning.

De fokuserade på system i fyra områden:

• att prioritera begränsad mentalvårdskontakt baserat på en persons risk att återvända till fängelse för att minska återinläggning;
• att förutsäga allvarliga säkerhetsbrott för att bättre utnyttja en stads begränsade bostadsinspektörer;
• att modellera risken för att studenter inte utexamineras från gymnasiet i tid för att identifiera de som mest behöver extra stöd;
• och att hjälpa lärare att nå crowdfundingmål för klassbehov.

Forskarna fann att modeller som optimerats för noggrannhet kunde effektivt förutsäga resultaten av intresse. Men de visade också betydande ojämlikheter i rekommendationer för ingripanden.

De viktiga resultaten kom när forskarna tillämpade justeringarna på utdata från modellerna som riktade sig mot att förbättra deras rättvisa. De upptäckte att det inte fanns någon förlust av noggrannhet när ojämlikheter baserade på ras, ålder eller inkomst togs bort.

“Vi vill att den artificiella intelligensen, datavetenskapen och maskinlärningsgemenskaperna ska sluta acceptera denna antagande om en kompromiss mellan noggrannhet och rättvisa och börja medvetet utforma system som maximerar båda”, sa Rodolfa. “Vi hoppas att beslutsfattare kommer att acceptera maskinlärning som ett verktyg i deras beslutsfattande för att hjälpa dem uppnå jämlika resultat.”