Взгляд Anderson

Предсказание насилия с помощью ИИ до того, как оно произойдёт

Martin Anderson
Добавьте Unite.AI в избранные источники в Google
A still from Minority Report (2002), a film centered on predicting violent crimes before they occur, alongside an inset from Can We Anticipate Violence? Multimodal Learning from Pre-Incident Behavioral Cues, which investigates the same problem using AI analysis of facial appearance, audio and body motion. Minority Report image © 2002 Twentieth Century Fox and DreamWorks Pictures; reproduced for editorial commentary.
Ключевые моментыПредсказание насилия до того, как оно произойдёт, рискует повторить антиутопические…
Показать больше
  • Предсказание насилия до того, как оно произойдёт, рискует повторить антиутопические страхи из «Особого мнения».
  • Сочетание внешности лица со звуковыми и двигательными сигналами превосходит любой отдельный сигнал сам по себе.
  • Https://www.youtube.com/watch?v tDSXPQcpybU A (нереальный) тест системы обнаружения насилия от IVS.

Типичный подход к вопросу «Может ли ИИ это автоматизировать?» — подать несколько примеров явления, характеристики которого требуется выделить, и проверить, способен ли обученный на этих данных модельный алгоритм распознать нужную характеристику в похожих данных, которые не использовались при обучении:

Схема ИИ-проекта как последней отчаянной попытки: размеченные примеры делят на обучающую и тестовую выборки. Модель учится на первой, а затем проверяется на ранее не виденных примерах из второй. Если она действительно усвоила интересующую характеристику, а не запомнила обучающие данные, то должна распознать тот же паттерн в тестовой выборке. Источник - https://upload.wikimedia.org/wikipedia/commons/0/09/Supervised_machine_learning_in_a_nutshell.svg

Схема ИИ-проекта как последней отчаянной попытки: размеченные примеры делят на обучающую и тестовую выборки. Модель учится на первой, а затем проверяется на ранее не виденных примерах из второй. Если она действительно усвоила интересующую характеристику, а не запомнила обучающие данные, то должна распознать тот же паттерн в тестовой выборке. Источник

Это своего рода отчаянная попытка: такие эксперименты предполагают, что характеристика рано или поздно проявится, если ИИ продолжит изучать данные, и что вообще существует какая-либо «скрытая тенденция», которую можно выявить. Если бы мы легко распознавали эту характеристику, модель ИИ нам либо вовсе не понадобилась бы, либо использовалась бы лишь для рутинной автоматизации.

Обычно это не так: большинство подобных исследований — поиски наугад скрытых закономерностей, распознавать которые можно научиться лишь благодаря сверхчеловеческой многократности наблюдений.

Нередко паттерн оказывается неуловимым, а возможно, и вовсе не существует, поскольку некоторые события и признаки действительно могут быть совершенно случайными. Либо данные недостаточны, плохо подготовлены или неудачно использованы при обучении.

Заглядывая вперёд

Иногда цель настолько желанна — излечить рак, осуществить ядерный синтез, преодолеть законы термодинамики и так далее — и настолько «политически привлекательна», что научная литература вновь и вновь возвращается к ней, проверяя, не позволят ли более качественные данные или методы всё-таки выявить характерный паттерн.

Одна из таких областей — автоматизированное понимание видео применительно к общественным местам и деятельности полиции. Например, в этом году новое исследование использовало реальные видеозаписи попыток самоубийства, чтобы выявить тенденции задерживаться в определённых местах перед попыткой и создать прогнозирующую систему, способную распознать характерное перемещение человека по общедоступной железнодорожной платформе перед прыжком:

Из статьи 2026 года «Оценка риска самоубийства с помощью видеонаблюдения на основе ИИ: интерпретируемый подход к профилактике на станциях метро»: прогнозы по двум кадрам, один из которых показывает реальную попытку самоубийства на железной дороге, а другой — ситуацию без происшествия. Тепловые карты рядом с кадрами обозначают зоны более высокого и низкого риска на платформе на основе склонности человека задерживаться у входа в тоннель и паттернов, наблюдавшихся при предыдущих попытках. Источник - https://arxiv.org/pdf/2605.22904

Из статьи 2026 года «Оценка риска самоубийства с помощью видеонаблюдения на основе ИИ: интерпретируемый подход к профилактике на станциях метро»: прогнозы по двум кадрам, один из которых показывает реальную попытку самоубийства на железной дороге, а другой — ситуацию без происшествия. Тепловые карты рядом с кадрами обозначают зоны более высокого и низкого риска на платформе на основе склонности человека задерживаться у входа в тоннель и паттернов, наблюдавшихся при предыдущих попытках. Источник

В этом случае «паттерны пребывания» — в крайних левой и правой частях изображения выше, — характерные для человека, думающего о прыжке под поезд, по-видимому, имели отличительную сигнатуру. Её можно было бы использовать для оповещения на основе распознавания паттернов в автоматизированных системах наблюдения.

Ещё одно популярное направление — обнаружение или распознавание насилия. Системы наблюдения без оператора могли бы распознавать насильственные действия, быстро привлекать к ним внимание человека и запускать дополнительные операции: помечать записи для долговременного хранения и проверять, что запись действительно ведётся, наряду с другими мерами.

Постановочный тест системы обнаружения насилия от IVS. Источник

Согласно новому исследованию University of Alabama, до сих пор литература сосредоточивалась на распознавании насилия, когда оно уже происходит. В новой работе модель обучали только на видео до насильственного события — либо без события, для статистического баланса, — чтобы проверить наличие повторяющихся, доступных обучению признаков, предшествующих насилию. Здесь это сочетание движений тела, выражения лица и звука, которое могло бы дать прогнозирующий сигнал, а не просто позволить реагировать постфактум.

Примеры «рискованных» последовательностей перед происшествием из исследования, показанные на четырёх последовательных кадрах. Система отслеживает суставы и движения тела во времени, ища изменения позы, скорости и взаимодействия, позволяющие отличить обостряющиеся ситуации ещё до появления видимого насилия. Источник - https://arxiv.org/pdf/2609.40014

Примеры «рискованных» последовательностей перед происшествием из исследования «Можем ли мы предвидеть насилие? Мультимодальное обучение на поведенческих сигналах до происшествия», показанные на четырёх последовательных кадрах. Система отслеживает суставы и движения тела во времени, ища изменения позы, скорости и взаимодействия, позволяющие отличить обостряющиеся ситуации ещё до появления видимого насилия. Источник

Разумеется, такая работа может вызвать обеспокоенность, если получит развитие или будет внедрена. Как я отмечал ранее, вымышленные истории, в том числе сериал Person of Interest и научно-фантастический боевик 2002 года Minority Report, отражали общественные страхи перед прогнозирующими технологиями в руках полиции или регулирующих органов.

Пока предсказание насильственных действий по сигналам тела, лица и звука — в отличие от факторов вроде контекста, времени суток, места или исторической статистики преступности — остаётся открытым вопросом: по словам авторов, это очень новое направление исследований.

В тестах исследователи сравнивали внешность лица, звук и движения тела отдельно и в сочетании, используя три разные базовые визуальные архитектуры. Лучшие результаты дала комбинация всех трёх сигналов, что указывает на отсутствие зависимости прогнозирующего эффекта от одного типа признаков:

«Лучшая конфигурация, Deit-Tiny со звуком, внешностью лица и движением, достигает доли правильных ответов 91,21 %, сбалансированной точности 88,96 %, F1-меры 93,65 % и ROC-AUC 96,38 % на отложенной тестовой выборке.

«Эти результаты предполагают, что взаимодополняющие признаки внешности, акустики и кинематики дают полезные основания для распознавания повышенного риска перед происшествием».

Подход

Подготовленный для исследования набор данных происходит из коллекции XD-Violence и совместно обрабатывает три модальности: внешность лица, звук и движение, оценённое по позе:

Конвейер обработки исследования. Каждый клип получает метку риска, сведённую к «без риска» или «рискованный», после чего данные делят на обучающую, валидационную и тестовую выборки. До четырёх секунд видео анализируют в трёх ветвях: внешность лица по кадрам, звук, преобразованный в спектрограмму, и движение тела, полученное из отслеживаемых ключевых точек, включая скорость и ускорение. Лицевые, звуковые и двигательные признаки объединяют в представление, передаваемое итоговому классификатору, который назначает клипу вероятность отсутствия или наличия риска.

Конвейер обработки исследования. Каждый клип получает метку риска, сведённую к «без риска» или «рискованный», после чего данные делят на обучающую, валидационную и тестовую выборки. До четырёх секунд видео анализируют в трёх ветвях: внешность лица по кадрам, звук, преобразованный в спектрограмму, и движение тела, полученное из отслеживаемых ключевых точек, включая скорость и ускорение. Лицевые, звуковые и двигательные признаки объединяют в представление, передаваемое итоговому классификатору, который назначает клипу вероятность отсутствия или наличия риска.

Полученный набор содержал 443 клипа, предшествующих происшествию; мы обсудим это число в конце статьи.

Как сообщает статья, видео из XD-Violence отбирали как подходящие для ориентированного на человека анализа, который планировался в проекте. Многие сходные прежние подходы, напротив, рассматривали всю сцену целиком как контекст прогнозирования.

Клипы длились не более четырёх секунд и отбирались с частотой 8 кадров в секунду. Однослойный Transformer с восемью головами внимания объединял полученные 32 кадра, а обучаемые позиционные вложения сохраняли их порядок. Базовая сеть оставалась замороженной при мультимодальном обучении во избежание переобучения.

Примеры карт активации, включая изображения лиц, показаны выше для «рискованных» активаций и ниже для образцов без риска:

Примеры без риска из ветви анализа лиц, дополняющие показанные ранее примеры рискованных движений. Слева расположен исходный фрагмент лица, затем карты активации всё более глубоких слоёв визуальной модели DeiT-Tiny. Более тёплые области обозначают более сильные отклики признаков и показывают, как внимание модели смещается и становится абстрактнее по мере прохождения изображения через сеть.

Примеры без риска из ветви анализа лиц, дополняющие показанные ранее примеры рискованных движений. Слева расположен исходный фрагмент лица, затем карты активации всё более глубоких слоёв визуальной модели DeiT-Tiny. Более тёплые области обозначают более сильные отклики признаков и показывают, как внимание модели смещается и становится абстрактнее по мере прохождения изображения через сеть.

Звук из исходных клипов передискретизировали до 16 кГц, нормализовали и согласовали с соответствующим визуальным окном, после чего преобразовали в стандартизованные спектрограммы логарифма амплитуды с помощью кратковременного преобразования Фурье на 512 точек и окна Ханна на 400 отсчётов:

Сравнение средних звуковых паттернов нормальных и рискованных клипов до происшествия. Верхний ряд показывает нормальные клипы, нижний — рискованные: от исходной формы волны и спектрограммы до признаков, выученных на трёх последовательных глубинах сети. Рискованные клипы сильнее меняются во времени, в том числе имеют повышенную акустическую активность ближе к концу четырёхсекундного окна, а сеть постепенно превращает эти различия в признаки более высокого уровня.

Сравнение средних звуковых паттернов нормальных и рискованных клипов до происшествия. Верхний ряд показывает нормальные клипы, нижний — рискованные: от исходной формы волны и спектрограммы до признаков, выученных на трёх последовательных глубинах сети. Рискованные клипы сильнее меняются во времени, в том числе имеют повышенную акустическую активность ближе к концу четырёхсекундного окна, а сеть постепенно превращает эти различия в признаки более высокого уровня.

Для двигательной компоненты движения тела свели к числовым дескрипторам, полученным из ключевых точек COCO-17, обнаруженных оценщиком позы YOLO.

Рассчитали двенадцать показателей, включая среднюю и максимальную скорость, ускорение и скорость изменения ускорения, изменчивость скорости, скорости запястий и лодыжек и общую энергию движения. Значения нормализовали по размерам тела, чтобы более крупные люди не считались автоматически более подвижными. Также объединили измерения нескольких людей в одном клипе.

После стандартизации относительно обучающих данных двигательные признаки расширили до 64-мерного представления и пропустили через временной Transformer, чтобы рассматривать изменения движений как последовательность, а не как отдельные кадры.

Три потока затем объединили, придав наибольший вес внешности лица, затем звуку и движению. После нормализации и случайного отключения элементов итоговый классификатор преобразовал представление в вероятности классов «нормальный» и «рискованный» с порогом 0,5.

Для потока внешности лица использовали три базовые сети, предобученные на ImageNet: Swin-Tiny, ViT-Tiny и DeiT-Tiny.

Тесты

Клипы вручную помечали по видимому поведению, движению и звуку: Без риска, Низкий риск, Средний риск или Высокий риск. Для итоговой бинарной задачи три уровня риска объединили в «рискованный», а Без риска стал «нормальным». Чтобы сократить утечки между обучением и оценкой, клипы из одного исходного видео сохраняли в одной части набора данных.

Само насильственное происшествие удалили из каждого рискованного клипа, оставив модели для оценки только предшествующее поведение:

Результаты тестовой выборки показывают изменение качества при отдельном или совместном использовании внешности лица, звука и движения в трёх визуальных базовых сетях. Абляционные тесты изолируют вклад каждого входного потока. Более высокие значения означают лучшее качество, а жирным отмечен лучший результат по каждой метрике.

Результаты тестовой выборки показывают изменение качества при отдельном или совместном использовании внешности лица, звука и движения в трёх визуальных базовых сетях. Абляционные тесты изолируют вклад каждого входного потока. Более высокие значения означают лучшее качество, а жирным отмечен лучший результат по каждой метрике.

Как уже отмечалось, лучший общий результат дала DeiT-Tiny при сочетании всех трёх модальностей. Абляции проясняют вклад потоков: внешность лица сама по себе была сильным предиктором, движение показывало умеренный результат, а звук отдельно был значительно слабее.

Лучшие результаты получены при объединении лицевой, звуковой и двигательной информации, что указывает на полезный дополнительный вклад более слабых потоков в визуальный сигнал.

Хотя модель учили лишь различать «нормальный» и «рискованный», её выходы сравнили также с четырьмя исходными метками: Без риска, Низкий риск, Средний риск и Высокий риск. Как показано ниже, прогнозируемый риск в целом растёт вместе с категориями в обучающей, валидационной и тестовой выборках:

Прогнозируемые оценки риска по четырём исходным категориям. Хотя модель учили лишь разделять нормальные и рискованные клипы, оценки обычно растут от Без риска до Высокого риска в обучающей, валидационной и тестовой выборках. Пунктир отмечает порог решения 0,50.

Прогнозируемые оценки риска по четырём исходным категориям. Хотя модель учили лишь разделять нормальные и рискованные клипы, оценки обычно растут от Без риска до Высокого риска в обучающей, валидационной и тестовой выборках. Пунктир отмечает порог решения 0,50.

Авторы комментируют:

«Этот результат важен, поскольку модель никогда явно не обучают различать низкий, средний и высокий риск. Тем не менее её прогнозы следуют последовательному росту исходных уровней риска.

«Это предполагает, что модель улавливает значимые изменения поведения до происшествия, а не просто учит границу между нормальным и рискованным. Результат также свидетельствует, что полезные поведенческие признаки могут появляться до начала размеченного происшествия».

И заключают:

«Эти результаты предполагают наличие полезной различающей информации в период перед происшествием, подчёркивая возможность перейти от обнаружения уже происходящего насилия к более раннему распознаванию риска».

Заключение

Действительно ли исследователи нашли сочетание признаков, предшествующих насилию? При всего 443 клипах переобучение — существенный риск, особенно для мультимодальных моделей и предобученных визуальных базовых сетей. Исследование частично уменьшает его, замораживая визуальную сеть, разделяя исходные видео между обучением, валидацией и тестом и проверяя несколько комбинаций модальностей.

Высокое качество на небольшом наборе не доказывает очевидности или даже существования скрытого паттерна. Оно может отражать специфические признаки набора, смещение разметки, утечку исходных данных, не предотвращённую разделением, либо необычно лёгкую тестовую выборку.

И всё же результат интересен именно потому, что набор настолько мал, а переобучение, по-видимому, достаточно предотвращено. Однако выводы необходимо воспроизвести на более крупном наборе, прежде чем считать выученный паттерн «устойчивым».

 

Впервые опубликовано в четверг, 1 октября 2026 года

Martin Anderson

Автор в области машинного обучения, специалист по синтезу человеческих изображений. Бывший руководитель отдела исследовательского контента в Metaphysic.ai, до его объединения с Brahma.ai от DNEG.
Веб‑сайт: martinanderson.ai
Контакт: martin@martinanderson.ai