Modely AI školené na sexuálně zkreslených datech hůře diagnostikují onemocnění

Nedávno byla publikována studie v časopise PNAS a provedená výzkumníky z Argentiny, která naznačuje, že přítomnost sexuálně zkreslených trénovacích dat vede k horšímu výkonu modelu při diagnostice onemocnění a dalších zdravotních problémů. Jak uvádí Statnews, tým výzkumníků experimentoval s trénováním modelů, kde byly ženy výrazně podreprzentovány nebo zcela vyloučeny, a zjistil, že algoritmus fungoval podstatně hůře při diagnostice u nich. Totéž platilo i pro případy, kdy byli muži vyloučeni nebo podreprzentováni.

V posledních pěti letech, kdy se modely AI a strojové učení staly více všudypřítomnými, byla věnována větší pozornost problémům zkreslených dat a zkreslených modelů strojového učení, které z nich vyplývají. Zkreslení dat ve strojovém učení může vést k nevhodným, společensky škodlivým a exkluzivním aplikacím AI, ale v případě lékařských aplikací mohou být na hře životy. Přestože je známo, že problém existuje, málo studií se pokusilo kvantifikovat, jak škodlivé zkreslená data mohou být. Studie provedená výzkumným týmem zjistila, že zkreslení dat může mít extrémnější účinky, než mnoho odborníků dříve odhadovalo.

Jedním z nejpopulárnějších použití AI v posledních letech v lékařském kontextu je použití modelů AI pro diagnostiku pacientů na základě lékařských obrazů. Výzkumný tým analyzoval modely používané k detekci přítomnosti různých zdravotních stavů, jako je pneumonie, kardiomegalie nebo hernie, z rentgenových snímků. Výzkumníci studovali tři otevřené architektury modelů: Inception-v3, ResNet a DenseNet-121. Modely byly trénovány na rentgenových snímcích z dvou otevřených datových sad pocházejících ze Stanfordovy univerzity a Národních institutů zdraví. Ačkoli jsou datové sady samy o sobě poměrně vyvážené, pokud jde o sexuální reprezentaci, výzkumníci uměle zkreslili data rozdělením na podsady s sexuální nerovnováhou.

Výzkumný tým vytvořil pět různých trénovacích datových sad, z nichž každá se skládala z různých poměrů mužských a ženských pacientských snímků. Pět trénovacích sad bylo rozděleno takto:

• Všechny snímky byly od mužských pacientů
• Všechny snímky byly od ženských pacientů
• 25 % mužských pacientů a 75 % ženských pacientů
• 75 % ženských pacientů a 25 % mužských pacientů
• Půl mužských pacientů a půl ženských pacientů

Po trénování modelu na jedné z podsad byl testován na kolekci snímků od mužských i ženských pacientů. Bylo zřejmé, že existuje určitý trend, který je přítomen napříč různými zdravotními stavy, a to, že přesnost modelů je mnohem horší, když jsou trénovací data výrazně sexuálně zkreslená. Zajímavé je, že pokud jeden sex byl nadměrně reprezentován v trénovacích datech, tento sex se zdál neprofitovat z nadměrné reprezentace. Bez ohledu na to, zda byl model trénován na datech zkreslených pro jeden sex nebo druhý, nefungoval lépe u tohoto sexu ve srovnání s tím, když byl trénován na inkluzivní datové sadě.

Vedoucí autor studie, Enzo Ferrante, byl citován Statnewsem jako vysvětlení, že studie zdůrazňuje, jak je důležité, aby trénovací data byla různorodá a reprezentativní pro všechny populace, které chcete testovat.

Neje zcela jasné, proč modely trénované na jednom sexu fungují hůře, když jsou implementovány na jiný sex. Některé rozdíly mohou být způsobeny fyziologickými rozdíly, ale různé sociální a kulturní faktory by také mohly být odpovědné za některé z rozdílů. Například ženy mohou podstoupit rentgenové snímky v jiném stadiu progrese svého onemocnění ve srovnání s muži. Pokud by to byla pravda, mohlo by to ovlivnit funkce (a tedy vzorce naučené modelem) nalezené v trénovacích obrazech. Pokud je tomu tak, je mnohem obtížnější pro výzkumníky zbavit svá data zkreslení, protože by zkreslení bylo zabudováno do datové sady prostřednictvím mechanismů sběru dat.

Even výzkumníci, kteří se pečlivě věnují rozmanitosti dat, někdy nemají na výběr, ale musí pracovat s daty, která jsou zkreslená nebo zkreslená. Situace, kdy existuje disparita v tom, jak jsou diagnostikovány zdravotní stavy, často vedou k nerovnováze dat. Například data o pacientkách s rakovinou prsu jsou téměř výhradně shromažďována od žen. Podobně autismus se manifestuje jinak mezi ženami a muži, a v důsledku toho je tato podmínka diagnostikována u chlapců ve výrazně vyšší míře než u dívek.

Přesto je extrémně důležité, aby výzkumníci kontrolovali zkreslená data a zkreslení dat jakýmkoli způsobem, jakým mohou. K tomuto účelu budou budoucí studie pomáhat výzkumníkům kvantifikovat dopad zkreslených dat.