Vědci používají umělou inteligenci k prozkoumání, jak se odrazy liší od původních obrazů

Vědci z Cornellovy univerzity nedávno využili systémy strojového učení k prozkoumání, jak se odrazy obrazů liší od původních obrazů. Podle ScienceDaily, algoritmy vytvořené týmem vědců zjistily, že existují zjevné znaky, rozdíly od původního obrazu, které naznačují, že obraz byl otočen nebo odrážen.

Docent počítačových věd na Cornell Tech, Noah Snavely, byl seniorním autorem studie. Podle Snavelyho začala výzkumná práce, když se vědci začali zajímat o to, jak se obrazy liší v očividných i jemných rozdílech, když jsou odráženy. Snavely vysvětlil, že i věci, které se na první pohled zdají velmi symetrické, lze obvykle rozlišit jako odrážené, když jsou podrobněji prostudovány. “Zajímají mě objevy, které můžete učinit novými způsoby získávání informací,” řekl Snavely podle ScienceDaily.

Vědci se zaměřili na obrazy lidí, které použili k trénování svých algoritmů. To bylo provedeno proto, že tváře se nezdají očividně asymetrické. Když byli trénováni na datech, která rozlišovala otočené obrazy od původních obrazů, umělá inteligence dosáhla přesnosti mezi 60% a 90% napříč různými typy obrazů.

Mnoho vizuálních znaků otočeného obrazu, které umělá inteligence naučila, je poměrně jemných a obtížných pro lidi rozlišit, když se dívají na otočené obrazy. Za účelem lepší interpretace funkcí, které umělá inteligence používala k rozlišení mezi otočenými a původními obrazy, vědci vytvořili heatmap. Heatmap ukázal oblasti obrazu, na které se umělá inteligence zaměřila. Podle vědců jedním z nejčastějších indikátorů, které umělá inteligence používala k rozlišení otočených obrazů, byl text. To nebylo překvapivé, a vědci odstranili obrazy obsahující text ze svých trénovacích dat, aby získali lepší představu o jemnějších rozdílech mezi otočenými a původními obrazy.

Po odstranění obrazů obsahujících text ze souboru trénovacích dat vědci zjistili, že klasifikátor umělé inteligence se zaměřil na funkce obrazů, jako jsou knoflíky na košilích, mobilní telefony, hodinky a tváře. Některé z těchto funkcí mají očividné, spolehlivé vzorce, na které se umělá inteligence může zaměřit, jako je fakt, že lidé často drží mobilní telefony v pravé ruce a že knoflíky na košilích jsou často vlevo. Nicméně, obličejové rysy jsou obvykle vysoce symetrické s malými rozdíly, které jsou velmi obtížné pro lidského pozorovatele rozlišit.

Vědci vytvořili další heatmap, který zvýraznil oblasti tváří, na které se umělá inteligence zaměřila. Umělá inteligence často používala lidičích oči, vlasy a vousy k detekci otočených obrazů. Z důvodů, které nejsou jasné, lidé často hledí mírně vlevo, když jim jsou pořizovány fotografie. Co se týče toho, proč vlasy a vousy jsou indikátory otočených obrazů, vědci nejsou jistí, ale domnívají se, že člověkova ruční dominance může být odhalena způsobem, jakým se holí nebo česají. Ačkoli tyto indikátory mohou být nespolehlivé, kombinací více indikátorů dohromady mohou vědci dosáhnout větší jistoty a přesnosti.

Bude třeba provést další výzkum v tomto směru, ale pokud jsou zjištění konzistentní a spolehlivá, může to pomoci výzkumníkům najít účinnější způsoby trénování algoritmů strojového učení. Umělá inteligence pro počítačové vidění je často trénována pomocí odrážených obrazů, protože je to efektivní a rychlý způsob, jak zvýšit množství dostupných trénovacích dat. Je možné, že analýza rozdílů mezi odráženými a původními obrazy může pomoci výzkumníkům strojového učení získat lepší pochopení zkreslení přítomných v modelech strojového učení, které by mohly způsobit nesprávnou klasifikaci obrazů.

Jak uvedl Snavely podle ScienceDaily:

“Toto vede k otevřené otázce pro komunitu počítačového vidění, která je, kdy je vhodné provádět toto otočení pro aumento dat a kdy není vhodné. Doufám, že to bude vést lidi k tomu, aby více přemýšleli o těchto otázkách a začali vyvíjet nástroje pro pochopení, jak to zkresluje algoritmus.”