Vědci zpochybňují dlouho zastávané předpoklady strojového učení

Vědci z Carnegie Mellon University zpochybňují dlouho zastávané předpoklady strojového učení, že existuje kompromis mezi přesností a spravedlností v algoritmech používaných pro rozhodování ve veřejné politice.

Používání strojového učení se zvyšuje v mnoha oblastech, jako je trestní spravedlnost, nábor, zdravotní péče a sociální služby. S tímto růstem také rostou obavy, zda tyto nové aplikace nemohou zhoršit stávající nerovnosti. Mohly by být besonders škodlivé pro menšiny nebo osoby se socioekonomickými nevýhodami.

Úprava systému

Existují neustálé úpravy dat, štítků, trénování modelů, systémů hodnocení a dalších aspektů systému, aby se zabránilo zkreslení. Nicméně, teoretický předpoklad byl, že systém se stává méně přesným, když je více těchto úprav.

Tým z CMU se rozhodl zpochybnit tuto teorii ve studii publikované v Nature Machine Intelligence.

Rayid Ghani je profesor na School of Computer Science’s Machine Learning Department (MLD) a Heinz College of Information Systems and Public Policy (PPHC ). Byl doprovázen Kit Rodolfou, výzkumným pracovníkem v MLD; a Hemankem Lambou, postdoktorandem v SCS.

Testování reálných aplikací

Vědci otestovali tento předpoklad v reálných aplikacích a zjistili, že kompromis je zanedbatelný v mnoha oblastech politiky.

“Skutečně můžete získat obojí. Nemusíte obětovat přesnost, abyste vytvořili systémy, které jsou spravedlivé a rovné,” řekl Ghani. “Ale vyžaduje to, abyste záměrně navrhli systémy, aby byly spravedlivé a rovné. Systémy, které jsou okamžitě k dispozici, nefungují.”

Tým se zaměřil na situace, kdy jsou požadované zdroje omezené. Přidělování těchto zdrojů je podporováno strojovým učením.

Zaměřili se na systémy ve čtyřech oblastech:

• prioritizace omezeného duševního zdraví na základě rizika návratu do vězení, aby se snížila recidiva;
• předpověď vážných bezpečnostních porušení, aby se lépe nasadili omezené inspekční týmy města;
• modelování rizika, že studenti nebudou absolvovat střední školu včas, aby se identifikovali ti, kteří potřebují další podporu;
• a pomoc učitelům dosáhnout crowdfundingových cílů pro potřeby třídy.

Vědci zjistili, že modely optimalizované pro přesnost mohly účinně předpovídat výsledky zájmu. Nicméně, také prokázali značné rozdíly v doporučeních pro zásahy.

Důležitá zjištění přišla, když vědci aplikovali úpravy na výstupy modelů, které cílem zlepšit jejich spravedlnost. Zjistili, že nebyla žádná ztráta přesnosti, když se odstranily rozdíly založené na rase, věku nebo příjmu.

“Chceme, aby umělé inteligence, počítačové vědy a strojové učení komunity přestaly přijímat tento předpoklad kompromisu mezi přesností a spravedlností a začaly záměrně navrhovat systémy, které maximalizují obojí,” řekl Rodolfa. “Doufáme, že politici budou přijímat strojové učení jako nástroj pro rozhodování, aby dosáhli rovných výsledků.”