Výzkumníci používají AI k prozkoumání, jak se odrazy liší od původních obrazů

Výzkumníci z Cornellovy univerzity nedávno využili systémy strojového učení k prozkoumání, jak se odrazy obrazů liší od původních obrazů. Jak uvádí ScienceDaily, algoritmy vytvořené týmem výzkumníků nalezly znaky, rozdíly od původního obrazu, které naznačovaly, že obraz byl otočen nebo odrážen.

Docent počítačových věd na Cornell Tech, Noah Snavely, byl seniorním autorem studie. Podle Snavelyho začalo výzkumné projektu, když se výzkumníci zajímali o to, jak se obrazy liší v očividných i jemných rozdílech, když jsou odráženy. Snavely vysvětlil, že i věci, které se na první pohled zdají velmi symetrické, lze obvykle rozlišit jako odraz, když se na ně podíváme pozorněji. “Zajímají mě objevy, které lze učinit novými způsoby získávání informací,” řekl Snavely podle ScienceDaily.

Výzkumníci se zaměřili na obrazy lidí, které použili k trénování svých algoritmů. To bylo provedeno proto, že tváře se nezdají očividně asymetrické. Když byli trénováni na datech, která rozlišovala otočené obrazy od původních obrazů, AI údajně dosáhla přesnosti mezi 60% a 90% napříč různými typy obrazů.

Mnohé z vizuálních znaků otočeného obrazu, které AI naučila, jsou bastante jemné a obtížně rozlišitelné pro lidi, když se na otočené obrazy podívají. Aby lépe interpretovali funkce, které AI používal k rozlišení mezi otočenými a původními obrazy, výzkumníci vytvořili heatmap. Heatmap ukazovala oblasti obrazu, na které se AI zaměřila. Podle výzkumníků jedním z nejčastějších znaků, které AI používal k rozlišení otočených obrazů, byl text. To nebylo překvapivé, a výzkumníci odstranili obrazy obsahující text ze svých trénovacích dat, aby získali lepší představu o jemnějších rozdílech mezi otočenými a původními obrazy.

Po odstranění obrazů obsahujících text ze souboru trénovacích dat zjistili výzkumníci, že AI klasifikátor se zaměřila na funkce obrazů, jako jsou knoflíky na košili, mobilní telefony, hodinky a tváře. Některé z těchto funkcí mají očividné, spolehlivé vzorce, na které se AI může zaměřit, jako je fakt, že lidé často drží mobilní telefony v pravé ruce a že knoflíky na košili jsou často vlevo. Nicméně, funkce obličeje jsou obvykle vysoce symetrické s malými rozdíly, které jsou velmi obtížně rozlišitelné pro lidského pozorovatele.

Výzkumníci vytvořili další heatmap, která zvýraznila oblasti obličeje, na které se AI zaměřila. AI často používala lidičí oči, vlasy a vousy k detekci otočených obrazů. Z důvodů, které nejsou jasné, lidé často mírně naklánějí hlavu doleva, když se na ně fotografují. Co se týče toho, proč vlasy a vousy jsou indikátory otočených obrazů, výzkumníci nejsou si jisti, ale domnívají se, že to může být způsobeno tím, jak lidé holí nebo češou vlasy. Ačkoli tyto indikátory mohou být nespolehlivé, kombinací více indikátorů lze dosáhnout větší jistoty a přesnosti.

Budou potřeba další výzkumy v tomto směru, ale pokud jsou zjištění konzistentní a spolehlivá, mohla by pomoci výzkumníkům najít účinnější způsoby trénování algoritmů strojového učení. Počítačové vidění AI je často trénováno pomocí odrazů obrazů, protože je to efektivní a rychlý způsob, jak zvýšit množství dostupných trénovacích dat. Je možné, že analýza rozdílů mezi odraženými obrazy a původními obrazy by mohla pomoci výzkumníkům strojového učení lépe porozumět zkreslením, která mohou být přítomna v modelech strojového učení a způsobit nesprávnou klasifikaci obrazů.

Podle Snavelyho, jak je citován ScienceDaily:

“To vede k otevřené otázce pro komunitu počítačového vidění, která je, kdy je vhodné provádět tento otočený proces k aumento dat a kdy není. Doufám, že to bude lidi pobízet k zamyšlení nad těmito otázkami a začít vyvíjet nástroje k pochopení, jak to zkresluje algoritmus.”