Погляд Anderson
Завчасне прогнозування насильства за допомогою ШІ

Ключові моментиПрогнозування насильства до того, як воно станеться, ризикує відлунням антиутопічних…
Показати більше
- Прогнозування насильства до того, як воно станеться, ризикує відлунням антиутопічних страхів «Особливої думки».
- Поєднання зовнішності обличчя з аудіо- та руховими сигналами перевершує будь-який окремий сигнал.
- Https://www.youtube.com/watch?v tDSXPQcpybU (несправжній) тест для системи виявлення насильства від IVS.
Типова схема дослідження питання «Чи може ШІ це автоматизувати?» полягає в тому, щоб надати багато прикладів того, чиї характеристики потрібно виокремити, і перевірити, чи здатна навчена на цих даних модель розпізнати відповідну характеристику в подібних даних, які не використовувалися для навчання:

Схема проєкту ШІ, який запускають як останню спробу на удачу: позначені приклади поділяють на навчальний і тестовий набори. Модель навчається на першому, а потім проходить перевірку на незнайомих прикладах із другого. Якщо вона справді засвоїла потрібну характеристику, а не запам’ятала навчальні дані, то має розпізнати той самий закономірний зв’язок у тестовому наборі. Джерело
Це певною мірою остання спроба на удачу, адже такі експерименти ґрунтуються на припущенні, що потрібна характеристика зрештою проявиться, якщо ШІ достатньо довго вивчатиме набір даних, і що взагалі існує якась «прихована тенденція», яку можна виявити. Якби характеристику було легко розпізнати, модель ШІ або взагалі не знадобилася б, або використовувалася б лише для рутинної автоматизації.
Зазвичай це не так: більшість подібних досліджень — це пошук навмання прихованих закономірностей, розпізнати які можна навчитися лише завдяки надлюдській кількості повторних уважних спостережень.
Часто закономірність виявляється невловною і, можливо, взагалі не існує, оскільки деякі події та ознаки справді можуть бути цілком випадковими. Або ж дані в чомусь недостатні, погано підготовлені чи навчання виконане неякісно.
Погляд уперед
Іноді мета настільки бажана — вилікувати рак, здійснити ядерний синтез, подолати закони термодинаміки тощо — і настільки «політично приваблива», що наукова література постійно повертається до неї, перевіряючи, чи кращі дані або методи все-таки дадуть змогу виявити характерну закономірність.
Один із таких напрямів — автоматизоване розуміння відео щодо громадських просторів та сфер роботи поліції. Наприклад, цього року нове дослідження використало реальні відеозаписи спроб самогубства, щоб визначити характерні особливості перебування людини на місці перед спробою та створити прогностичну систему, здатну помічати типовий спосіб пересування відкритою для пасажирів залізничною платформою перед стрибком:

Із праці 2026 року «Оцінювання ризику самогубства за допомогою відеоспостереження на основі ШІ: інтерпретована система запобігання на станціях метро»: прогнози за двома кадрами, один із яких показує реальну спробу самогубства на залізниці, а інший — випадок без інциденту. Теплові карти поруч із кадрами позначають ділянки вищого й нижчого ризику на платформі за «схильністю затримуватися» поблизу входу в тунель та закономірностями, поміченими в попередніх спробах. Джерело
У цьому випадку типові для людини, яка думає про стрибок перед потягом, «моделі перебування на місці» — крайні ліворуч і праворуч на зображенні вище — начебто мали виразний характерний слід. Його можна було б використати для попереджень на основі розпізнавання закономірностей в автоматизованому відеоспостереженні.
Інший популярний напрям — виявлення та розпізнавання насильства. Автономні системи спостереження могли б розпізнавати насильницькі дії, щоб швидко привертати до них увагу людей і навіть запускати додаткові операції: наприклад, позначати відео для довготривалого зберігання та перевіряти, що запис справді ведеться, поряд з іншими заходами.
Постановочний, а не реальний, тест системи виявлення насильства від IVS. Джерело
За даними нового дослідження University of Alabama, дотепер література переважно розглядала розпізнавання насильства, коли воно вже відбувається. У новій роботі модель навчали виключно на відео до насильницької події — або без наступної події для статистичного балансу. Дослідники хотіли з’ясувати, чи існують повторювані, придатні для навчання «переднасильницькі» ознаки: тут це поєднання рухів тіла, виразу обличчя та звуку, яке могло б прогнозувати насильницьку дію, а не лише реагувати після її здійснення.

Приклади «ризикових» послідовностей перед інцидентом із дослідження «Чи можемо ми передбачити насильство? Мультимодальне навчання на поведінкових ознаках до інциденту», показані в чотирьох послідовних кадрах. Система відстежує суглоби та рухи в часі, шукаючи зміни пози, швидкості та взаємодії, які можуть відрізняти ситуації, що загострюються, ще до того, як саме насильство стане видимим. Джерело
Звісно, подальша розробка чи впровадження таких систем ймовірно викличе занепокоєння. Як я вже зазначав, художні твори на кшталт серіалу Person of Interest та науково-фантастичного бойовика 2002 року Minority Report, поряд із багатьма іншими, відображали поширені побоювання щодо прогностичних технологій у руках поліції або регуляторних органів.
Наразі щодо прогнозування насильницьких дій за сигналами тіла, обличчя та звуку — замість чинників на кшталт контексту, часу доби, місця чи історичної статистики злочинності — це питання переважно теоретичне: за словами авторів нової праці, напрям досліджень дуже молодий.
У тестах дослідники порівнювали ознаки обличчя, звук і рухи тіла окремо та в поєднанні, використовуючи три різні базові архітектури комп’ютерного зору. Найкращі результати отримали після об’єднання всіх трьох сигналів. Це свідчить, що прогностичний ефект не визначався лише одним типом ознак:
«Найкраща конфігурація — Deit-Tiny зі звуком, ознаками обличчя та рухом — досягає точності 91,21%, збалансованої точності 88,96%, F1-оцінки 93,65% та ROC-AUC 96,38% на відкладеному тестовому наборі.
«Ці результати вказують, що взаємодоповнювальні візуальні, акустичні та кінематичні ознаки дають корисні свідчення для розпізнавання підвищеного ризику до інциденту».
Підхід
Підготовлений для дослідження набір даних походить із колекції XD-Violence. Спільно обробляються три модальності: ознаки обличчя, звук і рух, виведений з оцінок пози тіла:

Конвеєр обробки дослідження. Кожен кліп позначають за рівнем ризику, який зводять до «без ризику» або «ризиковий», а потім розподіляють кліпи між навчальним, валідаційним і тестовим наборами. До чотирьох секунд відео аналізують у трьох гілках: ознаки обличчя в кадрах, звук, перетворений на спектрограму, і характеристики руху тіла, виведені з відстежуваних ключових точок, зокрема швидкість і прискорення. Ознаки обличчя, звуку та руху об’єднують в одне представлення й передають кінцевому класифікатору, який визначає ймовірність належності кліпу до безризикового або ризикового класу.
Отриманий підготовлений набір містив 443 кліпи до інцидентів. До цього числа ми повернемося наприкінці статті.
Як повідомляє праця, відео з XD-Violence добирали як придатні для орієнтованого на людину аналізу, який прагнули реалізувати в проєкті. Натомість багато схожих попередніх підходів зосереджувалися на сцені загалом як прогностичному контексті.
Кліпи тривали не більше чотирьох секунд; із них вибирали 8 кадрів за секунду. Одношаровий Transformer із вісьмома головами уваги агрегував отримані 32 кадри, а навчені позиційні вкладення зберігали їхній порядок. Базова архітектура залишалася замороженою під час мультимодального навчання, щоб уникнути перенавчання.
Приклади карт активації, зокрема зображень обличчя, для «ризикових» активацій наведено раніше в статті, а для безризикових зразків — нижче:

Безризикові приклади з гілки аналізу облич дослідження доповнюють показані раніше приклади ризикового руху. Ліворуч розташоване оригінальне обрізане зображення обличчя, далі — карти активації дедалі глибших шарів візуальної моделі DeiT-Tiny. Тепліші ділянки означають сильніші відгуки ознак і показують, як увага моделі зміщується та стає абстрактнішою в міру проходження зображення через мережу.
Звукові компоненти вихідного кліпу передискретизували до 16 кГц, нормалізували та вирівняли з відповідним візуальним часовим вікном. Потім їх перетворили на стандартизовані спектрограми логарифмічної амплітуди за допомогою 512-точкового короткочасного перетворення Фур’є та вікна Ганна на 400 відліків:

Порівняння середніх звукових характеристик нормальних і ризикових кліпів до інциденту. Верхній ряд показує нормальні кліпи, нижній — ризикові, від оригінальної хвильової форми та спектрограми до ознак, вивчених на трьох послідовних рівнях глибини мережі. Ризикові кліпи мають більші зміни в часі, зокрема посилення звукової активності наприкінці чотирисекундного вікна, а мережа поступово перетворює ці відмінності на ознаки вищого рівня.
Для компонента руху рухи тіла звели до числових описів, отриманих із ключових точок COCO-17, які визначав оцінювач пози YOLO.
Обчислювали дванадцять показників, зокрема середню та максимальну швидкість, прискорення і швидкість зміни прискорення, мінливість швидкості, швидкості зап’ясть і щиколоток та загальну енергію руху. Значення нормалізували за розміром тіла, щоб більші люди не вважалися автоматично рухливішими. Також об’єднували вимірювання кількох людей у тому самому кліпі.
Після стандартизації відносно навчальних даних ознаки руху розширювали до 64-вимірного представлення і пропускали через часовий Transformer. Це давало змогу розглядати зміни руху протягом кліпу як послідовність, а не як ізольовані кадри.
Потім три потоки об’єднували в одне представлення, відводячи найбільшу частку ознакам обличчя, далі — звуку та руху. Після нормалізації та dropout кінцевий класифікатор перетворював це представлення на ймовірності класів «нормальний» і «ризиковий» із порогом 0,5.
Для потоку ознак обличчя використовували три попередньо навчені на ImageNet базові архітектури: Swin-Tiny, ViT-Tiny та DeiT-Tiny.
Тести
Для тестування кліпам вручну надавали одну з чотирьох міток за видимою поведінкою, рухом і звуком: Без ризику, Низький ризик, Середній ризик або Високий ризик. Для кінцевого бінарного завдання три ризикові категорії об’єднали як «ризикові», а Без ризику перетворили на «нормальні». Щоб зменшити витік даних між навчанням і оцінюванням, кліпи з одного вихідного відео залишали в одній частині набору.
Із кожного ризикового кліпу видалили сам насильницький інцидент, залишивши для оцінювання моделлю лише попередню поведінку:

Результати на тестовому наборі показують, як змінюється якість при використанні ознак обличчя, звуку й руху окремо або разом із трьома візуальними базовими архітектурами. Абляційні експерименти виокремлюють внесок кожного вхідного потоку. Вищі оцінки означають кращу якість, а жирним позначено найкращий результат за кожною метрикою.
Як уже зазначалося, найкращий загальний результат дав DeiT-Tiny з усіма трьома модальностями. Абляції уточнюють внесок кожного потоку: ознаки обличчя вже самі собою були сильним предиктором, рух давав помірні результати, а звук окремо був значно слабшим.
Найкращі результати отримали при поєднанні ознак обличчя, звуку й руху, що показує: навіть слабші потоки додавали корисну взаємодоповнювальну інформацію до візуального сигналу.
Хоча модель навчали лише розрізняти «нормальні» та «ризикові» кліпи, її результати також зіставили з початковими чотирирівневими мітками: Без ризику, Низький ризик, Середній ризик та Високий ризик. Як показано нижче, прогнозований ризик загалом зростає відповідно до цих категорій у навчальному, валідаційному й тестовому наборах:

Прогнозовані оцінки ризику в чотирьох початкових категоріях. Хоча модель навчали лише відрізняти нормальні кліпи від ризикових, оцінки загалом зростають від категорії Без ризику до Високий ризик у навчальному, валідаційному й тестовому наборах. Пунктирна лінія позначає поріг рішення 0,50.
Автори коментують:
«Цей результат важливий, оскільки модель ніколи прямо не навчають розрізняти низький, середній і високий ризик. Попри це, її прогнози відповідають послідовному зростанню початкових рівнів ризику.
«Це вказує на те, що модель уловлює значущі зміни поведінки перед інцидентом, а не лише засвоює просту межу між нормальним і ризиковим. Результат також дає свідчення, що корисні поведінкові ознаки можуть з’являтися до початку позначеного інциденту».
І роблять висновок:
«Ці результати вказують, що корисна розрізнювальна інформація може бути присутня в період перед інцидентом. Це підкреслює потенціал переходу аналізу насильства від виявлення вже наявної події до завчаснішого розпізнавання ризику».
Висновок
Чи справді дослідники знайшли «переднасильницьке» поєднання ознак? За наявності лише 443 кліпів у експериментах перенавчання є суттєвим ризиком, до якого особливо схильні мультимодальні моделі й попередньо навчені візуальні архітектури. Дослідження частково зменшує його, заморожуючи візуальну основу, розділяючи вихідні відео між навчальною, валідаційною й тестовою частинами та перевіряючи кілька комбінацій модальностей.
Висока якість на малому наборі не доводить, що прихована закономірність очевидна або взагалі існує. Вона може відображати специфічні ознаки набору, упередженість анотацій, витік інформації з джерел, не усунутий поділом, або незвично простий тестовий набір.
Однак у нинішньому вигляді результат цікавий саме тому, що набір такий малий і що від перенавчання, схоже, захистилися належним чином. Утім, висновки необхідно відтворити на більшому наборі, перш ніж вважати вивчену закономірність «стійкою».
Уперше опубліковано в четвер, 1 жовтня 2026 року












