AI Розкриває Таємну Діяльність, Видиму На Пустих Стінах

Дослідницьке співробітництво, до якого увійшли представники NVIDIA та MIT, розробило метод машинного навчання, який дозволяє ідентифікувати приховані люди просто спостерігаючи за непрямим освітленням на ближній стіні, навіть якщо люди знаходяться недалеко від джерел освітлення. Метод має точність близько 94% при спробі ідентифікувати кількість прихованих людей і також може ідентифікувати конкретну діяльність прихованої людини шляхом масивного посилення світлових відблисків, які є невидимими для людських очей та стандартних методів посилення зображення.

Неможливі для сприйняття людьми коливання світла, посилені новим методом, який використовує卷неві нейронні мережі для ідентифікації областей зміни. Джерело: https://www.youtube.com/watch?v=K4PapXyX-bI

Нова стаття називається Що Ви Можете Вивчити, Дивлячись На Пусту Стіну, до якої увійшли внески від NVIDIA, MIT, а також Ізраїльського технологічного інституту.

Раніші підходи до “бачення за стіною” залежали від керованих джерел світла або попередніх знань про відомі джерела затемнення, тоді як новий метод може узагальнювати будь-яку нову кімнату, без жодних вимог до перезапуску. Дві卷неві нейронні мережі, які індивідуалізують приховані людей, використовували дані, отримані лише з 20 сцен.

Проект спрямований на високоризикові, критичні ситуації безпеки, для пошуково-рятувальних операцій, загальних завдань спостереження поліції, ситуацій реагування на надзвичайні ситуації, для виявлення падінь серед людей похилого віку, а також як засіб для виявлення прихованих пішоходів для автономних транспортних засобів.

Пасивна Оцінка

Як часто буває у проектах комп’ютерного зору, центральним завданням було ідентифікувати, класифікувати та операціоналізувати сприйняті зміни стану в потоці зображень. Конкатенація змін веде до сигнатурних моделей, які можна використовувати для ідентифікації кількості осіб або для виявлення діяльності однієї чи декількох осіб.

Робота відкриває можливість повністю пасивної оцінки сцени, без необхідності використання відбиваючих поверхонь, сигналів Wi-Fi, радару, звука або будь-яких інших “спеціальних обставин”, необхідних у інших дослідженнях останніх років, які намагалися встановити приховану присутність людини в небезпечній або критичній обстановці.

Сценарій збору даних типу, використаного для нового дослідження. Об’єкти розташовані так, щоб не відкидати тінь або безпосередньо закривати світло, і не дозволяється використовувати відбиваючі поверхні або інші “обхідні” вектори. Джерело: https://arxiv.org/pdf/2108.13027.pdf

Ефективно, навколишнє освітлення для типового сценарію, передбаченого для застосування, буде перекривати будь-які незначні порушення, спричинені відбитим світлом від людей, прихованих в іншому місці сцени. Дослідники вважають, що внесок світлових порушень осіб буде зазвичай менше 1% від загального видимого світла.

Видалення Статичного Освітлення

Для витягування руху з очевидно статичної стіни потрібно розрахувати тимчасову середню відео та видалити її з кожного кадру. Результатом є моделі руху, які зазвичай нижче порогу шуму навіть доброї якості відеообладнання, і фактично більша частина руху відбувається в негативному просторі пікселів.

Для виправлення цього дослідники зменшили відео в 16 разів та збільшували отримане відео в 50 разів, додаючи середній рівень сірого, щоб визначити присутність негативних пікселів (які не могли бути пояснені шумом відеосенсора).

Різниця між сприйняттям людини стіни та витягнутими порушеннями прихованих осіб. Оскільки якість зображення є центральною проблемою цього дослідження, зверніться до офіційного відео в кінці статті для вищої якості зображення.

Вікно можливості сприйняття руху дуже хрупке і може бути вплинуто навіть мерцанням світла на частоті 60 Гц. Тому цю природну похибку також потрібно оцінити та видалити з відео перед тим, як рух, спричинений людиною, стане видимим.

Нарешті, система створює просторово-часові графіки, які сигналізують про конкретну кількість прихованих мешканців кімнати – дискретні візуальні сигнатури:

Сигнатурні просторово-часові графіки, що представляють різні кількості прихованих людей у кімнаті.

Різні людські дії також призведуть до сигнатурних порушень, які можна класифікувати та пізніше розпізнати:

Просторово-часові графіки сигнатур для бездіяльності, ходьби, присідання, руху руками та стрибків.

Для створення автоматизованого машинного процесу для розпізнавання прихованих осіб використовувалися різноманітні кадри з 20 відповідних сцен для навчання двох нейронних мереж, які працюють на загальних конфігураціях – одна для підрахунку кількості людей у сцені та інша для ідентифікації будь-якого руху.

Тестування

Дослідники протестували навчену систему в десяти невидимих реальних середовищах, створених для відтворення обмежень, передбачених для кінцевого розгортання. Система змогла досягти до 94,4% точності (за 256 кадрів – зазвичай трохи більше 8 секунд відео) при класифікації кількості прихованих людей та до 93,7% точності (за тих самих умов) при класифікації дій. Хоча точність знижується з меншою кількістю джерел кадрів, це не лінійне зниження, і навіть 64 кадри можуть досягти 79,4% рівня точності для оцінки “кількості людей” (проти майже 95% для чотири рази більшої кількості кадрів).

Хоча метод є стійким до погодних змін освітлення, він має труднощі в сцені, освітленій телевізором, або в обставинах, коли люди носять однотонне одягання того ж кольору, що й відбиваюча стіна.

Більше інформації про дослідження, включаючи відео вищої якості витягнутих екстракцій, можна побачити в офіційному відео нижче.