Onderzoekers uitdagen langgehouden machine learning-veronderstelling

Onderzoekers aan de Carnegie Mellon University dagen een langgehouden machine learning-veronderstelling uit dat er een afweging is tussen nauwkeurigheid en eerlijkheid in algoritmes die worden gebruikt voor het nemen van beslissingen over het openbaar beleid.

Het gebruik van machine learning neemt toe in veel gebieden zoals de strafrechtelijke rechtsgang, werving, gezondheidszorg en sociale dienstinterventies. Met deze groei komen ook grotere zorgen over of deze nieuwe toepassingen bestaande ongelijkheden kunnen verergeren. Ze kunnen vooral schadelijk zijn voor raciale minderheden of individuen met economische nadelen.

Het aanpassen van een systeem

Er zijn voortdurende aanpassingen aan gegevens, labels, modeltraining, scoresystemen en andere aspecten van het systeem om te beschermen tegen vooroordelen. Echter, de theoretische veronderstelling is geweest dat het systeem minder nauwkeurig wordt als er meer van deze aanpassingen zijn.

Het team van CMU heeft deze theorie uitgedaagd in een nieuwe studie die is gepubliceerd in Nature Machine Intelligence.

Rayid Ghani is een professor in de School of Computer Science’s Machine Learning Department (MLD) en de Heinz College of Information Systems and Public Policy (PPHC ). Hij werd vergezeld door Kit Rodolfa, een onderzoeker in MLD; en Hemank Lamba, een postdoctorale onderzoeker in SCS.

Het testen van real-world toepassingen

De onderzoekers hebben deze veronderstelling getest in real-world toepassingen, en wat ze hebben gevonden is dat de afweging tussen nauwkeurigheid en eerlijkheid verwaarloosbaar is in veel beleidsdomeinen.

“Je kunt eigenlijk beide krijgen. Je hoeft geen nauwkeurigheid op te offeren om systemen te bouwen die eerlijk en rechtvaardig zijn,” zei Ghani. “Maar het vereist wel dat je systemen bewust ontwerpt om eerlijk en rechtvaardig te zijn. Klaar-voor-gebruik-systemen werken niet.”

Het team richtte zich op situaties waarin schaarse middelen beperkt zijn. De toewijzing van deze middelen wordt geholpen door machine learning.

Ze richtten zich op systemen in vier gebieden:

• het prioriteren van beperkte geestelijke gezondheidszorg op basis van het risico van een persoon om terug te keren naar de gevangenis om opnieuw te voorkomen;
• het voorspellen van ernstige veiligheidsinbreuken om beter de beperkte huisinspecteurs van een stad in te zetten;
• het modelleren van het risico dat studenten niet op tijd afgestudeerd zijn om diegenen te identificeren die het meest behoefte hebben aan extra ondersteuning;
• en het helpen van leraren om crowdfundingdoelen voor klasbehoeften te bereiken.

De onderzoekers vonden dat modellen die geoptimaliseerd waren voor nauwkeurigheid effectief de resultaten van interesse konden voorspellen. Echter, ze toonden ook aanzienlijke verschillen in aanbevelingen voor interventies.

De belangrijkste resultaten kwamen toen de onderzoekers de aanpassingen toepasten op de uitvoer van de modellen die gericht waren op het verbeteren van hun eerlijkheid. Ze ontdekten dat er geen verlies van nauwkeurigheid was toen verschillen op basis van ras, leeftijd of inkomen werden verwijderd.

“We willen dat de kunstmatige intelligentie-, computerwetenschap- en machine learning-gemeenschappen stoppen met het accepteren van deze veronderstelling van een afweging tussen nauwkeurigheid en eerlijkheid en beginnen met het bewust ontwerpen van systemen die beide maximaliseren,” zei Rodolfa. “We hopen dat beleidsmakers machine learning zullen omarmen als een instrument in hun besluitvorming om hen te helpen eerlijke resultaten te bereiken.”