Detekce očního kontaktu z postoje těla pomocí strojového učení

Výzkumníci z Francie a Švýcarska vyvinuli počítačový systém, který může odhadnout, zda osoba přímo hledí na kameru systému umělé inteligence pouze na základě toho, jak osoba stojí nebo se pohybuje.

Nový rámec používá velmi reduktivní informace k tomuto hodnocení, ve formě sémantických klíčových bodů (viz obrázek níže), spíše než pokusy o analýzu polohy očí na obrázcích obličejů. To činí výslednou detekční metodu velmi lehkou a agilní, ve srovnání s více datově náročnými architekturami objektového rozpoznávání, jako je YOLO.

Nový rámec vyhodnocuje, zda osoba na ulici hledí na kameru systému umělé inteligence, pouze na základě dispozice jejího těla. Zde jsou lidé zvýrazněni zeleně, kteří pravděpodobně hledí na kameru, zatímco ti, kteří jsou zvýrazněni červeně, jsou více pravděpodobně hledí pryč. Zdroj: https://arxiv.org/pdf/2112.04212.pdf

Ačkoli je práce motivována vývojem lepších bezpečnostních systémů pro autonomní vozidla, autoři nové studie uznávají, že může mít obecnější aplikace v jiných odvětvích, přičemž poznamenávají ‘i ve smart cities, detekce očního kontaktu může být užitečná pro lepší pochopení chování chodců, např. identifikovat, kam se jejich pozornost soustředí nebo které veřejné znaky jsou sledovány’.

Pro podporu dalšího vývoje tohoto a následujících systémů výzkumníci sestavili novou a komplexní datovou sadu nazvanou LOOK, která přímo řeší specifické výzvy detekce očního kontaktu v libovolných scénářích, jako jsou scény ulic zachycené kamerou autonomního vozidla nebo neformální davové scény, kterými robot musí projít a ustoupit chodcům.

Výsledky z rámce, s ‘hledači’ identifikovanými zeleně.

Výzkum je nazvaný Do Pedestrians Pay Attention? Eye Contact Detection in the Wild, a pochází od čtyř výzkumníků z iniciativy Visual Intelligence for Transportation (VITA) ve Švýcarsku a jednoho z Univerzity Sorbonne.

Architektura

Většina předchozích prací v tomto oboru se soustředila na pozornost řidiče, pomocí strojového učení k analýze výstupu kamer namířených na řidiče, a spoléhala se na konstantní, pevnou a blízkou pohled na řidiče – luxus, který je nepravděpodobný v často nízkorozlišených kanálech veřejných televizních kamer, kde lidé mohou být příliš vzdáleni pro rozlišení jejich oční dispozice, a kde další překážky (jako sluneční brýle) také brání.

Více centrální pro projektový cíl, kamery směřující ven v autonomních vozidlech nemusí být nutně v optimálním scénáři, což činí ‘nízkouhlíkové’ klíčové body ideální jako základ pro rámec analýzy pohledu. Systémy autonomních vozidel potřebují vysoce reaktivní a bleskově rychlý způsob, jak pochopit, zda chodec – který může vystoupit z chodníku do dráhy vozidla – viděl AV. V takové situaci by zpoždění mohlo znamenat rozdíl mezi životem a smrtí.

Modulární architektura vyvinutá výzkumníky přijímá (obvykle) plnou obrazovou podobu osoby, ze které jsou extrahovány 2D klouby do základního, skeletální formy.

Architektura nového francouzsko-švýcarského systému detekce očního kontaktu.

Pozice je normalizována, aby odstranila informace na ose Y, a vytvořila tak ‘plochou’ reprezentaci pozice, která ji uvede do parity s tisíci známých pozic, které algoritmus naučil (které byly také ‘ploché’), a jejich přidružené binární příznaky/štítky (tj. 0: Není hledáno nebo 1: Hledáno).

Pozice je porovnávána s vnitřními znalostmi algoritmu o tom, jak dobře tato pozice odpovídá obrazům jiných chodců, kteří byli identifikováni jako ‘hledící na kameru’ – anotace provedené pomocí vlastních prohlížečových nástrojů vyvinutých autory pro pracovníky Amazon Mechanical Turk, kteří se zúčastnili vývoje datové sady LOOK.

Každý obrázek v LOOK byl podroben prozkoumání čtyř pracovníků AMT, a pouze obrázky, kde tři z čtyř souhlasili s výsledkem, byly zahrnuty do konečného souboru.

Informace o ořezu hlavy, jádru většiny předchozích prací, jsou mezi nejméně spolehlivými indikátory pohledu v libovolných městských scénářích, a jsou zahrnuty jako volitelný datový tok v architektuře, kde je kvalita zachycení a pokrytí dostatečná k podpoře rozhodnutí o tom, zda osoba hledí na kameru nebo ne. V případě velmi vzdálených lidí nebude tato data užitečná.

Data

Výzkumníci odvodili LOOK z několika předchozích datových sad, které nejsou výchozími pro tuto úlohu. Pouze dvě datové sady, které přímo sdílejí projektový rozsah, jsou JAAD a PIE, a každá z nich má omezení.

JAAD je nabídka z roku 2017 z Univerzity v Torontu, obsahující 390 000 označených příkladů chodců, včetně rámečků a chování anotací. Z nich je pouze 17 000 označeno jako Hledící na řidiče (tj. kameru ego). Datová sada obsahuje 346 klipů s 30 snímky za sekundu, běžících při 5-10 sekundách záznamu z palubní kamery pořízené v Severní Americe a Evropě. JAAD má vysokou incidenci opakujících se údajů, a celkový počet jedinečných chodců je pouze 686.

Více nedávná (2019) PIE, z Univerzity v Torontu, je podobná JAAD, v tom, že obsahuje palubní záznamy s 30 snímky za sekundu, tentokrát odvozené ze šesti hodin jízdy skrz centrum Toronta, což vede k 700 000 anotovaným chodcům a 1 842 jedinečným chodcům, z nichž pouze 180 hledí na kameru.

Místo toho výzkumníci pro novou studii sestavili nejvhodnější data ze tří předchozích autonomních datových sad: KITTI, JRDB a NuScenes, z Karlsruhe Institute of Technology v Německu, Stanford a Monash University v Austrálii a jedenkrát MIT spin-off Nutonomy.

Tato kurace vedla k široce rozmanité sadě záběrů ze čtyř měst – Boston, Singapur, Tübingen a Palo Alto. S přibližně 8000 označenými perspektivami chodců, autoři tvrdí, že LOOK je nejrozmanitější datová sada pro detekci očního kontaktu ‘v divočině’.

Školení a výsledky

Extrakce, školení a hodnocení byly všechny provedeny na jediném NVIDIA GeForce GTX 1080ti s 11gb VRAM, běžícím na Intel Core i7-8700 CPU s taktem 3,20GHz.

Autoři zjistili, že jejich metoda nejen zlepšuje SOTA základny o alespoň 5%, ale také, že výsledné modely školené na JAAD se velmi dobře generalizují na neznámá data, scénář testovaný křížovým mícháním různých datových sad.

Pokud testování provedené bylo komplexní a muselo zahrnovat prostory založené na modelu (zatímco izolace a ořez obličeje nejsou centrální pro novou iniciativu), vizte článek pro podrobné výsledky.

Výsledky pro průměrnou přesnost (AP) jako procento a funkci výšky rámečku v pixelech pro testování napříč datovou sadou JAAD, s výsledky autorů v tučném písmu.

Výzkumníci zveřejnili svůj kód veřejně, s datovou sadou dostupnou zde, a zdrojovým kódem na GitHubu.

Autoři uzavírají s nadějí, že jejich práce inspiruje další výzkumné úsilí v oblasti, kterou popisují jako ‘důležitou, ale přehlíženou téma’.

JAAD dataset, s výsledky autorů v tučném písmu.[/caption] Výzkumníci zveřejnili svůj kód veřejně, s datovou sadou dostupnou zde, a zdrojovým kódem na GitHubu. Autoři uzavírají s nadějí, že jejich práce inspiruje další výzkumné úsilí v oblasti, kterou popisují jako ‘důležitou, ale přehlíženou téma’.