Forscher hinterfragen lang gehaltene Annahme der maschinellen Lerntheorie

Forscher an der Carnegie Mellon University hinterfragen eine lang gehaltene Annahme der maschinellen Lerntheorie, dass es einen Trade-off zwischen Genauigkeit und Fairness in Algorithmen gibt, die für öffentliche Politikentscheidungen verwendet werden.

Die Verwendung von maschinellem Lernen nimmt in vielen Bereichen wie Strafjustiz, Einstellungen, Gesundheitsversorgung und sozialen Dienstleistungen zu. Mit diesem Wachstum kommen auch zunehmende Bedenken hinsichtlich der Frage, ob diese neuen Anwendungen bestehende Ungleichheiten verschlimmern können. Sie könnten insbesondere für Rassenminderheiten oder Personen mit wirtschaftlichen Nachteilen schädlich sein.

Ein System anpassen

Es gibt ständige Anpassungen an Daten, Labels, Modelltrainings, Bewertungssystemen und anderen Aspekten des Systems, um vor Voreingenommenheit zu schützen. Allerdings wurde die theoretische Annahme bisher sein, dass das System weniger genau wird, wenn es mehr solcher Anpassungen gibt.

Das Team an der CMU hat sich zum Ziel gesetzt, diese Theorie in einer neuen Studie zu hinterfragen, die in Nature Machine Intelligence veröffentlicht wurde.

Rayid Ghani ist Professor in der School of Computer Science’s Machine Learning Department (MLD) und der Heinz College of Information Systems and Public Policy (PPHC ). Er wurde von Kit Rodolfa, einem Forschungswissenschaftler in MLD, und Hemank Lamba, einem Postdoktoranden in SCS, unterstützt.

Realweltliche Anwendungen testen

Die Forscher haben diese Annahme in realweltlichen Anwendungen getestet und festgestellt, dass der Trade-off in vielen Politikbereichen vernachlässigbar ist.

“Man kann tatsächlich beides haben. Man muss nicht auf Genauigkeit verzichten, um Systeme zu bauen, die fair und gerecht sind”, sagte Ghani. “Aber es erfordert, dass man Systeme absichtlich so entwirft, dass sie fair und gerecht sind. Standard-Systeme funktionieren nicht.”

Das Team konzentrierte sich auf Situationen, in denen gefragte Ressourcen begrenzt sind. Die Zuweisung dieser Ressourcen wird durch maschinelles Lernen unterstützt.

Sie konzentrierten sich auf Systeme in vier Bereichen:

• Priorisierung begrenzter psychischer Gesundheitsfürsorge auf der Grundlage des Risikos, wieder ins Gefängnis zu kommen, um Wiedereinweisungen zu reduzieren;
• Vorhersage schwerer Sicherheitsverletzungen, um begrenzte Wohnungsinspektoren besser einzusetzen;
• Modellierung des Risikos, dass Schüler nicht rechtzeitig von der High School abgehen, um diejenigen zu identifizieren, die am meisten zusätzliche Unterstützung benötigen;
• und Hilfe für Lehrer, um Crowdfunding-Ziele für Klassenbedarf zu erreichen.

Die Forscher fanden heraus, dass Modelle, die auf Genauigkeit optimiert waren, die Ergebnisse von Interesse effektiv vorhersagen konnten. Allerdings zeigten sie auch erhebliche Ungleichheiten in den Empfehlungen für Eingriffe.

Die wichtigen Ergebnisse kamen, als die Forscher die Anpassungen an den Ausgaben der Modelle anwendeten, die darauf abzielten, ihre Fairness zu verbessern. Sie entdeckten, dass es keinen Verlust an Genauigkeit gab, wenn Ungleichheiten auf der Grundlage von Rasse, Alter oder Einkommen entfernt wurden.

“Wir möchten, dass die künstliche Intelligenz, die Informatik und die maschinelle Lerngemeinschaft aufhören, diese Annahme eines Trade-offs zwischen Genauigkeit und Fairness zu akzeptieren und stattdessen absichtlich Systeme entwerfen, die beides maximieren”, sagte Rodolfa. “Wir hoffen, dass politische Entscheidungsträger maschinelles Lernen als Werkzeug in ihrer Entscheidungsfindung annehmen, um gerechte Ergebnisse zu erzielen.”