Modely AI Trénované Na Sexuálně Zaujatých Datech Horší Pro Diagnostiku Nemocí

Nedávno byla publikována studie v časopise PNAS a provedená výzkumníky z Argentiny, která naznačuje, že přítomnost sexuálně zaujatých trénovacích dat vede k horšímu výkonu modelu při diagnostice nemocí a dalších zdravotních problémů. Jak uvedl Statnews, tým výzkumníků experimentoval s trénováním modelů, kde byli pacientky ženy výrazně podreprzentovány nebo zcela vyloučeny, a zjistil, že algoritmus fungoval podstatně hůře při diagnostice u nich. Stejné platí i pro případy, kdy byli pacienti muži vyloučeni nebo podreprzentováni.

V posledních pěti letech, kdy se modely AI a strojové učení staly více všudypřítomné, byla věnována větší pozornost problémům s předpojatými datovými soubory a s předpojatými modely strojového učení, které z nich vyplývají. Předpojatost dat ve strojovém učení může vést k nepříjemným, společensky škodlivým a exkluzivním aplikacím AI, ale když se jedná o lékařské aplikace, mohou být na hře životy. Nicméně, navzdory znalosti problému, málo studií se pokusilo kvantifikovat, jak škodlivé mohou být předpojaté datové soubory. Studie provedená výzkumným týmem zjistila, že předpojatost dat může mít extrémnější účinky, než mnoho odborníků dříve odhadovalo.

Jednou z nejoblíbenějších použití AI v posledních letech, v lékařském kontextu, bylo použití modelů AI pro diagnostiku pacientů na základě lékařských obrazů. Výzkumný tým analyzoval modely používané k detekci přítomnosti různých zdravotních stavů, jako je pneumonie, kardiomegalie nebo hernie, z rentgenových snímků. Výzkumníci studovali tři open-source architektury modelů: Inception-v3, ResNet a DenseNet-121. Modely byly trénovány na rentgenových snímcích z dvou open-source datových souborů pocházejících ze Stanfordovy univerzity a Národních zdravotních institutů. Ačkoli datové soubory samy o sobě jsou poměrně vyvážené, pokud jde o sexuální reprezentaci, výzkumníci uměle zkreslili data rozdělením na podsoubory, kde existovala sexuální nerovnováha.

Výzkumný tým vytvořil pět různých trénovacích datových souborů, každý složený z různých poměrů mužských/ženských pacientských skenů. Pět trénovacích souborů bylo rozděleno takto:

• Všechny obrázky byly z mužských pacientů
• Všechny obrázky byly z ženských pacientů
• 25 % mužských pacientů a 75 % ženských pacientů
• 75 % ženských pacientů a 25 % mužských pacientů
• Půl mužských pacientů a půl ženských pacientů

Po trénování modelu na jednom z podsouborů byl testován na kolekci skenů z obou mužských a ženských pacientů. Existoval zřetelný trend, který byl přítomen napříč různými zdravotními stavy, přesnost modelů byla mnohem horší, když trénovací data byla významně sexuálně zkreslena. Zajímavé je, že pokud jeden sex byl nadměrně reprezentován v trénovacích datech, tento sex nevykazoval žádné výhody z nadměrné reprezentace. Bez ohledu na to, zda byl model trénován na datech zkreslených pro jeden sex nebo druhý, nevykazoval lepší výkon na tomto sexu ve srovnání s tím, když byl trénován na inkluzivním datovém souboru.

Hlavní autor studie, Enzo Ferrante, byl citován Statnewsem jako vysvětlení, že studie zdůrazňuje, jak je důležité, aby trénovací data byla rozmanitá a reprezentativní pro všechny populace, které máte v úmyslu testovat model.

Není zcela jasné, proč modely trénované na jednom sexu vykazují horší výkon, když jsou implementovány na jiný sex. Některé z nesrovnalostí mohou být způsobeny fyziologickými rozdíly, ale různé sociální a kulturní faktory mohou také přispívat k některým z rozdílů. Například ženy mohou mít tendenci podstupovat rentgenové snímky v jiném stadiu progrese jejich nemoci ve srovnání s muži. Pokud je to pravda, může to mít dopad na funkce (a tedy vzorce naučené modelem) nalezené v trénovacích obrazech. Pokud je to případ, je mnohem obtížnější pro výzkumníky de-biasovat své datové soubory, protože předpojatost by byla vtlačena do datového souboru prostřednictvím mechanismů sběru dat.

I výzkumníci, kteří se blíže dívají na rozmanitost dat, někdy nemají na výběr, než pracovat s daty, která jsou zkreslená nebo předpojatá. Situace, kdy existuje disparita mezi tím, jak jsou diagnostikovány zdravotní stavy, často povedou k nerovnováze dat. Například data o pacientkách s rakovinou prsu jsou téměř výhradně shromažďována od žen. Podobně autismus se projevuje jinak u žen a mužů, a v důsledku toho je tato podmínka diagnostikována mnohem častěji u chlapců než u dívek.

Přesto je extrémně důležité, aby výzkumníci kontrolovali zkreslená data a předpojatost dat jakýmkoli způsobem, jakým mohou. K tomuto účelu budou budoucí studie pomáhat výzkumníkům kvantifikovat dopad předpojatých dat.