Истраживачи вештачке интелигенције креирају 3Д моделе лица за видео игре од корисничких фотографија

Тим истраживача у НетЕасе, кинеској компанији за игре на срећу, креирао је систем који може аутоматски да издваја лица из фотографија и генерише моделе у игри са подацима о слици. Резултати рада под насловом Превођење лицем у параметар за аутоматско креирање ликова у игри, су резимирао Синцед на Медиум.

Све више и више програмера игара одлучује да користи вештачку интелигенцију за аутоматизацију задатака који одузимају много времена. На пример, програмери игара користе АИ алгоритме да помогну приказати покрете ликова и предмета. Још једна недавна употреба АИ од стране програмера игара је стварање моћнијих алата за прилагођавање карактера.

Прилагођавање карактера је веома омиљена карактеристика видео игара за играње улога, омогућавајући играчима игре да прилагоде своје аватаре играча на мноштво различитих начина. Многи играчи бирају да њихови аватари изгледају као они сами, што постаје све оствариво како се софистицираност система прилагођавања ликова повећава. Међутим, како ови алати за креирање ликова постају софистициранији, они такође постају много сложенији. Стварање лика који личи на себе може потрајати сатима прилагођавања клизача и мењања криптичних параметара. Истраживачки тим НетЕасе има за циљ да све то промени стварањем система који анализира фотографију играча и генерише модел лица играча на лику у игри.

Алат за аутоматско креирање карактера састоји се од две половине: система за учење имитације и система за превођење параметара. Систем за превођење параметара издваја карактеристике из улазне слике и креира параметре које систем учења користи. Ове параметре затим модел учења имитације користи за итеративно генерисање и побољшање репрезентације улазног лица.

Систем учења имитације има архитектуру која симулира начин на који мотор игре креира моделе ликова са сталним стилом. Модел имитације је дизајниран да извуче темељну истину лица, узимајући у обзир сложене варијабле као што су брада, руж за усне, обрве и фризура. Параметри лица се ажурирају кроз процес спуштања градијента, у поређењу са уносом. Разлика између улазних карактеристика и генерисаног модела се стално проверава, а модел се мења све док се модел у игри не усклади са улазним карактеристикама.

Након што је мрежа имитације обучена, систем за превођење параметара проверава излазе имитационе мреже у односу на карактеристике улазне слике, одлучујући за простор карактеристика који омогућава израчунавање оптималних параметара лица.

Највећи изазов је био да се обезбеди да 3Д модели ликова могу да сачувају детаље и изглед на основу фотографија људи. Ово је проблем унакрсних домена, где 3Д генерисане слике и 2Д слике стварних људи морају да се упореде, а основне карактеристике оба морају бити исте.

Истраживачи су решили овај проблем са две различите технике. Прва техника је била да се њихов модел обуке подели на два различита задатка учења: задатак са садржајем лица и задатак дискриминације. Општи облик и структура лица особе се препознају минимизирањем разлике/губитака између две глобалне вредности изгледа, док се дискриминативни/фини детаљи попуњавају минимизирањем губитка између ствари попут сенки у малом региону. Два различита задатка учења су спојена заједно да би се постигла потпуна репрезентација.

Друга техника коришћена за генерисање 3Д модела био је систем 3Д конструкције лица који користи симулирану структуру скелета, узимајући у обзир облик кости. Ово је омогућило истраживачима да креирају много софистицираније и прецизније 3Д слике у поређењу са другим системима 3Д моделирања који се ослањају на мреже или мреже лица.

Стварање система који може да креира реалистичне 3Д моделе засноване на 2Д сликама је довољно импресивно само по себи, али систем аутоматског генерисања не ради само на 2Д фотографијама. Систем такође може узети скице и карикатуре лица и приказати их као 3Д моделе са импресивном прецизношћу. Истраживачки тим сумња да је систем у стању да генерише тачне моделе засноване на 2Д ликовима јер систем анализира семантику лица уместо да тумачи сирове вредности пиксела.

Док се аутоматски генератор карактера може користити за креирање ликова на основу фотографија, истраживачи кажу да би корисници такође требали бити у могућности да га користе као додатну технику и даље уређују генерисани карактер према својим преференцијама.