Koalice pro etiku umělé inteligence odsuzuje algoritmy pro předpovídání kriminality

V úterý vydala skupina výzkumníků v oblasti umělé inteligence, etiků, datových vědců a sociálních vědců článek na blogu, ve kterém argumentují, že akademické výzkumné pracovníky by měly přestat provádět výzkum, který se snaží předpovídat pravděpodobnost, že jedinec spáchá zločin, na základě proměnných, jako jsou statistiky zločinnosti a skenování obličeje.

Článek byl napsán Koalicí pro kritickou technologii, která argumentovala, že využití těchto algoritmů prodlužuje cyklus předsudků proti menšinám. Mnoho studií o účinnosti algoritmů rozpoznávání obličeje a předpovídání zločinnosti zjistilo, že algoritmy často soudí menšiny přísněji, což autoři článku argumentují, je způsobeno nespravedlnostmi v systému trestní spravedlnosti. Systém trestní spravedlnosti produkuje zkreslená data a proto algoritmy, které jsou na těchto datech trénovány, propagují tyto zkreslení, argumentuje Koalice pro kritickou technologii. Koalice argumentuje, že samotná myšlenka “kriminality” je často založena na rase a proto výzkum v této oblasti předpokládá neutralitu algoritmů, když ve skutečnosti taková neutralita neexistuje.

Jak uvádí The Verge, velký vydavatel akademických prací, Springer, plánoval publikovat studii s názvem “A Deep Neural Network Model to Predict Criminality using Image Processing”. Autoři studie tvrdili, že vyvinuli algoritmus rozpoznávání obličeje, který je schopen předpovídat šanci, že jedinec spáchá zločin, bez zkreslení a s přesností asi 80 %. Koalice pro kritickou technologii však napsala otevřený dopis Springerovi, ve kterém jej vyzvala, aby nezveřejňoval studii nebo budoucí výzkumy podobného typu.

„Šíření této práce velkým vydavatelem, jako je Springer, by představovalo významný krok směrem k legitimitě a aplikaci opakovaně vyvrácených, společensky škodlivých výzkumů ve skutečném světě,“ argumentuje koalice.

Springer uvedl, že studii nezveřejní, jak uvádí MIT Technology Review. Springer uvedl, že článek byl podán na nadcházející konferenci, ale po procesu peer review byl článek odmítnut pro publikaci.

Koalice pro kritickou technologii argumentuje, že článek o předpovídání kriminality je pouze jedním případem většího, škodlivého trendu, ve kterém inženýři a výzkumníci v oblasti umělé inteligence se snaží předpovídat chování na základě dat, která zahrnují citlivé, sociálně konstruované proměnné. Koalice také argumentuje, že mnoho tohoto výzkumu je založeno na vědecky pochybných ideách a teoriích, které nejsou podporovány dostupnými důkazy z biologie a psychologie. Jako příklad uvedli výzkumníci z Princetonu a Google (GOOGL ) článek, ve kterém varují, že algoritmy, které tvrdí, že mohou předpovídat kriminalitu na základě rysů obličeje, jsou založeny na diskreditovaných a nebezpečných pseudovědách, jako je fysiognomie. Výzkumníci varovali před tím, aby se strojové učení používalo k oživení dlouho vyvrácených teorií, které podporují rasistické systémy.

Poslední momentum hnutí Black Lives Matter vedlo mnoho společností, které využívají algoritmy rozpoznávání obličeje, k přehodnocení jejich použití. Výzkum ukázal, že tyto algoritmy jsou často zkreslené, založené na nereprezentativních, zkreslených trénovacích datech.

Podepsaní dopisu, kromě argumentace, že výzkumníci v oblasti umělé inteligence by měli upustit od výzkumu algoritmů pro předpovídání kriminality, také doporučují, aby výzkumníci přehodnotili, jak se měří úspěch modelů umělé inteligence. Členové koalice doporučují, aby sociální dopad algoritmů byl metrikou úspěchu, kromě metrik, jako je přesnost, recall a přesnost. Jak autoři článku píší:

„Pokud má umělé inteligence přinést ‘společenské dobro’, které je uváděno v grantových návrzích a tiskových prohlášeních, výzkumníci v této oblasti musí aktivně reflektovat na mocenské struktury (a související útlaky), které umožňují jejich práci.“