Umělá inteligence může odhadnout rok fotografie podle věku lidí

Nový výzkum ukazuje, že umělá inteligence může pomocí obličejů lidí odhadnout rok, ve kterém byla fotografie pořízena, a kombinovat odhady věku s známými roky narození, aby překonala současné metody založené na scéně.

Odhadování data fotografie bývalo dříve mnohem jednodušší, protože módní trendy a styly se vyvíjely velmi rychle. Z různých důvodů se tento vývoj zpomalil před asi třiceti lety, což znamená, že již není tak snadné odhadnout rok fotografie podle módních trendů nebo stylů.

Po určitou dobu bylo možné datovat obrázky a filmy podle barevného rozlišení a zrnitosti filmového materiálu. Není nutné být odborníkem; pokud jste sledovali dostatek starých filmů, kulturní odkazy (jako hudba, auta, móda, témata atd.) se nakonec stanou spojenými s styly filmového materiálu:

Ilustrace toho, jak se zlepšovaly filmy a rozšiřovaly rozsahy barev a osvětlení, přecházející od plochých, frontálních kompozic k více naturalistickým a variabilním vzhledům. Zdroj (můj vlastní článek)

Dalším ” kotvou” pro datování fotografie bylo, zda byla černobílá – ekonomika, která se stala zbytečnou po popularizaci digitální fotografie na počátku tohoto století

Několik komerčních a experimentálních systémů, jako je MyHeritage s předplatným PhotoDater, se snaží datovat fotografie pomocí těchto a dalších kritérií.

Příklad odhadu stáří fotografie z MyHeritage PhotoDater, služby pouze pro předplatitele. Zdroj

V absence dalších značek, jako jsou smartphony nebo jiná technologie specifická pro danou éru, je nejlepší způsob, jak určit stáří fotografie pořízené v posledních 15-25 letech, znalost osoby (například celebrity nebo známé osoby) a odhad jejich věku, který poskytuje přibližný ekvivalentní rok.

Věk obličeje jako referenční bod

V oblasti počítačového vidění a v dalších oblastech (jako forenzní, archivní zpracování, žurnalistika, architektura dat atd.) je schopnost určit stáří fotografie velmi ceněná, protože mnoho nejzajímavějších digitálních a analogových sbírek postrádá správnou anotaci a metadata, nebo dokonce mají nesprávná metadata z předchozích (nesprávných) odhadů.

Proto by bylo užitečné, kdyby systém umělé inteligence mohl prohlížet fotografie stejně jako my, když se díváme zpět na naše historické sbírky, a komentovat ‘Ano, to bylo, když…’. Otázkou je, co by mohlo být hákem, chybí-li obvyklé požadované odkazy?

Nová výzkumná práce z České republiky nabízí počáteční úchop do tohoto přístupu, využívající systémy umělé inteligence pro rozpoznávání věku a obličeje, spojené s centrální databází identit (v tomto případě sbírka českých umělců a filmařů):

Snímek z filmu Joachim, Put It in the Machine (1974), použitý k ilustraci procesu datování. Model detekuje známé osoby na fotografii, odhaduje jejich věk pomocí odhadce věku obličeje (pravý sloupec), a odečítá tuto hodnotu od roku narození každé osoby, aby získal pravděpodobnostní rozdělení možných dat pořízení fotografie. Grafy ukazují pravděpodobnost každého odhadu věku, s čárkami označujícími skutečný věk osoby v době pořízení fotografie. Zdroj

Systém funguje tak, že detekuje známé osoby na fotografii, odhaduje jejich věk obličeje pomocí předem trénovaného modelu, a odečítá tuto hodnotu od roku narození, aby získal pravděpodobnostní rozdělení možných dat pořízení fotografie. Když jsou na fotografii více obličejů, jsou odhady dat agregovány, aby se získala konečná předpověď.

Metoda byla testována na obrazech ze sbírky Czecho-Slovak Movie Database (CSFD), a výsledný přístup, podle autorů, nabízí konzistentně lepší přesnost než metody založené na scéně (statické modely, které se spoléhají na pozadí nebo vizuální kontext místo obličejů) trénované na stejných datech.

Schéma pro tuto metodu vyžaduje centrální databázi, která obsahuje znalosti o široké skupině osob, v tomto případě IMDB-style české filmové databáze; ale jakákoliv podobná sbírka s potvrzenými daty narození a centrálně potvrzenými událostmi by mohla vést k podobnému výsledku.

Článek uvádí:

‘Unikátně, naše dataset poskytuje anotace pro více osob v jednom obraze, umožňující studium agregace informací z více obličejů. Navrhujeme pravděpodobnostní rámec, který formálně kombinuje vizuální důkazy z moderních modelů rozpoznávání obličejů a odhadců věku, a kariérní časové předpovědi, aby se odhadl rok pořízení fotografie.

‘Naše experimenty ukazují, že agregace důkazů z více obličejů konzistentně zlepšuje výkon a přístup významně překonává silné scénářové modely, zejména pro obrázky s více identifikovatelnými osobami.’

Nový článek se jmenuje Datování fotografie pomocí agregace věku obličeje, a pochází od dvou výzkumníků z České technické univerzity v Praze, s příslibem pozdějšího vydání kódu a dat.

Metoda

Pro odhad, kdy byla fotografie pořízena, nový systém autorů prohlíží každý detekovaný obličej a snaží se odhadnout, kdo by to mohl být, pomocí výše zmíněné databáze známých osob. Jelikož osoba může být na fotografii pouze jednou, systém kontroluje všechny možné kombinace identit a používá jejich známé roky narození, aby odhadl, jak starý každý vypadá.

Po tomto kroku systém pracuje zpětně, aby odhadl nejpravděpodobnější rok, který by odpovídal těmto věkům:

Vlevo: systém vytváří časovou osu, která ukazuje, kdy byli rozpoznaní jednotlivci nejaktivnější, na základě jejich známých kariér. Vpravo: tato časová osa se kombinuje s odhady věku obličeje, aby se získal konečný odhad data pořízení fotografie.

Pro zpracování velkého počtu možných kombinací identit systém předpokládá, že obličeje jsou nezávislé, a že vzhled každého z nich závisí pouze na jeho identitě a datu pořízení fotografie.

Pro odhad data pořízení fotografie systém nejprve odhaduje věk každého detekovaného obličeje pomocí modelu NIST cvut-002, který je založen na architektuře ViT-B/16, a trénován na soukromém datasetu (který, podle autorů, je velmi dobře hodnocen v NIST’s Face Analysis Technology Evaluation (FATE) databázi).

Jakmile je znám rok narození, model převádí odhad věku na pravděpodobný rok pořízení fotografie, jednoduše přidáním věku k roku narození, což vede k pravděpodobnostnímu rozdělení možných let pořízení. Pro hodnocení, jak dobře detekovaný obličej odpovídá známé identitě, systém porovnává jejich embeddings v ArcFace prostoru:

ArcFace, hlavní architektura pro populární model InsightFace, byl spuštěn v roce 2015 a stal se vlivným projektem v oblasti hodnocení obličeje. Zdroj

Každá identita je reprezentována průměrným embeddingem, vytvořeným z jejích referenčních portrétů. Podobnost mezi testovacím obličejem a identitou je poté měřena pomocí Von Mises Fisher Distribution, která modeluje, jak těsně jsou portréty identity seskupeny kolem průměrného embeddingu. Společný parametr ostrosti kontroluje, jak jistý je systém v těchto seskupeních, a je odhadnut pomocí metody leave-one-out na portrétech identity.

Model definuje pět typů příoru pro odhad, kdy rozpoznaná osoba mohla být na fotografii: uniformní; dekádový; filmový; obrazový; a konvexní kombinace příoru, která kombinuje nejsilnější a nejslabší možnosti, aby otestovala citlivost na sílu příoru (tj. odolnost příoru vůči stresu).

Pro zpracování obličejů, které nelze s jistotou identifikovat, model zahrnuje záložní “neznámou” identitu s neinformativními rozděleními, s tváří, která má rovnoměrné rozdělení v prostoru embeddingů, a časovým příorem, který je rovnoměrně rozložen přes všechna léta. To umožňuje nejistým obličejům být ignorovány bez zkreslení konečného odhadu data:

Jak je ovlivněn výkon, když některé obličeje v obraze nelze identifikovat. Každý čtverec ukazuje průměrnou chybu datování pro různé počty známých a neznámých identit, s velikostí čtverce reprezentující frekvenci této kombinace v datasetu. Chyba se zvyšuje s větším počtem neznámých, ale klesá, když je k dispozici více známých identit.

Data a testy

Autoři použili výše zmíněný dataset CSFD k vytvoření nové sbírky, kterou nazvali CSFD-1.6M. Dataset byl vytvořen z scén, ve kterých se objevilo více lidí, s každým obličejem označeným identitou a rokem. Tato struktura byla nezbytná pro naučení modelu, jak obličeje souvisí v kontextu; datasety s jedním obličejem, jako je IMDB-WIKI, tuto podporu neposkytují, protože označují pouze jednu osobu na obrázku.

Roky vydání filmů z Czecho-Slovak Movie Database byly použity k odhadu, kdy byla fotografie pořízena, s každou osobou v obraze spárována s veřejným profilem, který zahrnoval rok narození a portrét.

Po tomto kroku byl každém obličej v obraze spárován s jednou z známých identit, inicializován pomocí ArcFace pro vytvoření embeddingů obličeje, a vypočten průměrný embedding pro každou identitu.

Po tomto kroku byl použit Hungarian algorithm k přiřazování obličejů identitám, srovnáním podobnosti embeddingů, s úpravami provedenými, když počet detekovaných obličejů pomocí SCRFD-10GE rámce neodpovídal počtu známých osob.

Statistika z datasetu CSFD-1.6M, uvádějící počet scrapovaných obrázků, detekovaných obličejů, shod identit, konečných anotovaných vzorků a dostupného fondu identit.

Shody byly odmítnuty, pokud podobnost byla příliš nízká nebo pokud odhadovaný věk se výrazně lišil od známého věku, s větší tolerancí pro starší subjekty, a obličeje nebyly filtrovány podle kvality nebo velikosti.

Autoři zdůrazňují superioritu své kurátorské sady oproti nejbližšímu srovnatelnému datasetu, IMDB-WIKI:

‘Náš dataset není pouze podstatně větší, ale kriticky, skládá se z víceobličejových scén, které jsou vyžadovány našim modelem. Zatímco žádný webový dataset není zcela prost šumů, naše anotační pipeline využívá explicitní odkazy mezi obrázky a profily identit, poskytované databází, s cílem dosáhnout vyšší kvality přiřazování identit.’

Jejich hodnocení srovnávalo několik verzí datovacího systému, aby pochopilo, odkud pocházejí jeho zisky. Jedna verze modelu předpokládala dokonalou znalost osob na obraze, poskytující horní limit výkonu odstraněním veškeré nejistoty v rozpoznání identity, s plnou verzí modelu, která odhadovala identitu a datum společně, vážící různé možné přiřazení identit, než dospěla k konečному odhadu roku.

Jednodušší varianta vybrala jedinou nejpravděpodobnější konfiguraci identity bez marginalizace alternativ, což se ukázalo jako téměř stejně efektivní v praxi.

Naproti tomu nejzákladnější baseline přiřadila každému obličeji nezávisle a kombinovala výsledné odhady roku založené na věku, bez zohlednění toho, zda identita kolektivně dává smysl.

Aby otestovali, jak moc metoda profitovala z použití obličejů, byl trénován samostatný model k odhadu data přímo z celé scény. Tento scénářový model představuje nejsilnější alternativní přístup目前 používaný v odhadu data obrazu, protože může naučit érové vizuální vzory napříč celým obrazem, místo aby se spoléhal na identitu nebo věk.

Metriky a data

Průměrná absolutní chyba (MAE) mezi předpovězeným rokem a známou skutečnou hodnotou byla hlavní metrikou pro experimenty.

Data byla rozdělena do pěti částí, s pečlivým zajištěním, aby všechny obrázky ze stejného filmu zůstaly v jedné části. Tři z těchto částí byly použity pro trénink, jedna pro validaci a jedna pro testování. Tato pětinásobná rotace byla použita k prevenci přeučení.

Pokud byly modely založené na obličejích trénovány na tomto datasetu, nebylo rozdělení vyžadováno, a místo toho byly vyhodnoceny přímo na plném datasetu CSFD-1.6M.

Scénový model byl trénován po dobu 200 epoch pod Adam optimalizátorem, s obrázky zmenšenými na 384×384 výřez.

Výsledky

Část výsledků v článku je neobvykle rozdělena do několika ukazatelů výkonu, bez jediného výjimečného nebo centrálního testu. Přesto zde prezentujeme výběr nejrelevantnějších výsledků.

Nejvýznamnější výsledek není jediné číslo, ale vzorec: modely agregace obličeje (zejména Plný a Top-1 varianty) konzistentně překonávají silný Scénový baseline, kdykoli jsou přítomny dvě nebo více známých identit – a to i přesto, že Scénový model je trénován přímo na datasetu, podporující centrální tvrzení, že identita spojená s obličejem poskytuje robustnější signál než holistická interpretace scény.

Pro vyhodnocení efektu časových příorů autoři srovnali několik konfigurací svého Plného modelu. Nejlepší výkon byl získán pomocí Dekádového příoru, který výrazně překonal jak Naivní model (který nepoužívá časový příor), tak Uniformní příor (který předpokládá žádnou preferenci nad lety):

Výkon se zhoršuje ostře pro všechny metody, jak se zvyšuje počet obličejů, ale modely využívající realistické časové příory, jako je Dekádový příor, jsou ovlivněny mnohem méně. Naivní a Scénový baseline zůstávají ploché nebo se zhoršují se zvýšením počtu obličejů, zatímco Plný model s informativními příory udržuje nízkou chybu. Oracle-založené příory, které se spoléhají na statistiku testovací sady, definují dolní hranici dosažitelného výkonu.

Pro demonstraci hodnoty datasetu CSFD-1.6M za hranicemi datování fotografie byl dataset také otestován jako zdroj pro předtrénování pro širší úkol odhadu věku obličeje. Podle standardního vyhodnocovacího protokolu byly modely ResNet101 předtrénovány na CSFD-1.6M a srovnány s protějšky předtrénovanými na IMDB-WIKI a ImageNet. Tyto modely byly poté jemně upraveny a vyhodnoceny na pěti populárních benchmarcích: AgeDB; AFAD, MORPH; UTKFace; a CLAP2016:

Průměrná absolutní chyba (plus mínus standardní odchylka) na pěti benchmarcích odhadu věku, srovnávajících modely předtrénované na ImageNet, IMDB-WIKI a CSFD-1.6M. Nižší hodnoty znamenají lepší výkon. CSFD-1.6M poskytuje nejlepší výsledky na všech benchmarcích.

Po všech pěti datechch vedlo předtrénování na CSFD-1.6M k nejnižším chybám, překonávajícím ostatní dvě předtrénovací zdroje o značnou mezеру – rozdíl, který se ukázal jako nejsilnější na AFAD a CLAP2016, ale zůstal konzistentní napříč všemi.

Odkazujeme čtenáře na zbytek poněkud fragmentovaného oddílu výsledků v původním článku, který se také podrobně zabývá studiemi o odstranění jednotlivých součástí.

Závěr

Ačkoli nový článek se rychle stává hustým a nepřístupným pro běžného čtenáře, téma, které se zabývá, je jedním z nejzajímavějších a nejrelevantnějších v literatuře počítačového vidění – nejméně proto, že se velmi dobře překrývá s antropologií a kulturními studiemi, kde jsou konstanty těžko stanoveny.

* Stejně jako evoluce hudby také zpomalila tempo změn.

Poprvé publikováno v pondělí, 10. listopadu 2025