Anderson의 관점

AI로 폭력을 사전에 예측하기

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
A still from Minority Report (2002), a film centered on predicting violent crimes before they occur, alongside an inset from Can We Anticipate Violence? Multimodal Learning from Pre-Incident Behavioral Cues, which investigates the same problem using AI analysis of facial appearance, audio and body motion. Minority Report image © 2002 Twentieth Century Fox and DreamWorks Pictures; reproduced for editorial commentary.
핵심 포인트폭력이 발생하기 전에 이를 예측하는 것은 《마이너리티 리포트》가 그린 디스토피아적 공포를 되풀이할 위험이 있다.
더 보기
  • 폭력이 발생하기 전에 이를 예측하는 것은 《마이너리티 리포트》가 그린 디스토피아적 공포를 되풀이할 위험이 있다.
  • 얼굴 생김새를 음성 및 동작 신호와 결합하면 어느 단일 신호만 사용할 때보다 성능이 뛰어나다.
  • Https://www.youtube.com/watch?v tDSXPQcpybU IVS의 폭력 탐지 시스템에 대한 (실제가 아닌) 테스트.

전형적인 ‘AI로 이것을 자동화할 수 있을까?’라는 연구 방식은 분리해 내고 싶은 특성을 가진 사례 여러 개를 입력하고, 그 데이터로 학습한 모델이 학습에 사용되지 않은 유사 데이터에서도 해당 특성을 찾아내는지 확인하는 것이다:

‘승산은 낮지만 마지막 희망을 거는’ AI 프로젝트의 도식. 라벨이 붙은 사례를 학습 세트와 테스트 세트로 나누고, 모델은 전자에서 학습한 다음 후자의 처음 보는 사례로 시험받는다. 학습 데이터를 암기한 것이 아니라 관심 특성을 실제로 학습했다면 테스트 세트에서도 같은 패턴을 인식해야 한다. 출처 - https://upload.wikimedia.org/wikipedia/commons/0/09/Supervised_machine_learning_in_a_nutshell.svg

‘승산은 낮지만 마지막 희망을 거는’ AI 프로젝트의 도식. 라벨이 붙은 사례를 학습 세트와 테스트 세트로 나누고, 모델은 전자에서 학습한 다음 후자의 처음 보는 사례로 시험받는다. 학습 데이터를 암기한 것이 아니라 관심 특성을 실제로 학습했다면 테스트 세트에서도 같은 패턴을 인식해야 한다. 출처

이는 일종의 ‘승산이 낮은 마지막 시도’다. AI가 데이터셋을 계속 살펴보면 결국 해당 특성이 데이터에서 두드러질 것이며, 찾아낼 만한 ‘잠재적 추세’가 실제로 존재한다는 가정에 의존하기 때문이다. 우리가 쉽게 알아볼 수 있는 특성이라면 AI 모델이 아예 필요 없거나, 일상적인 자동화에만 사용할 것이다.

그러나 일반적으로는 그렇지 않다. 이런 연구 대부분은 인간을 뛰어넘는 반복적인 주의와 관찰을 통해서만 인식하는 법을 배울 수 있는 잠재 패턴을 찾아 나서는 탐색 작업이다.

패턴은 쉽게 드러나지 않는 경우가 많고, 실제로 존재하지 않을 수도 있다. 어떤 사건과 특성은 순수한 우연에 따라 발생할 수 있기 때문이다. 또는 데이터가 어떤 면에서 부족하거나 제대로 정리되지 않았거나 학습이 부실할 수도 있다.

앞을 내다보기

어떤 목표는 너무나 매력적이고(암 치료, 핵융합, 열역학 법칙 극복 등) ‘정치적 매력’도 커서, 더 나은 데이터나 기법으로 특징적인 패턴을 찾아낼 수 있는지 확인하려는 연구가 끊임없이 이어진다.

그중 하나는 공공장소 및 경찰이 관여하는 영역과 관련된 자동 영상 이해다. 예를 들어 올해 한 새로운 연구는 실제 자살 시도 영상을 사용해 자살 시도 전의 ‘머무름’ 경향을 파악하고, 공공 철도 승강장에서 뛰어내리기 전에 보이는 특유의 이동 방식을 포착하는 예측 시스템을 만들고자 했다:

2026년 논문 ‘AI 기반 영상 감시를 통한 자살 위험 평가: 지하철역 예방을 위한 해석 가능한 프레임워크’의 두 프레임에 대한 예측. 하나는 실제 철도 자살 시도이고 다른 하나는 사건이 없는 사례다. 각 프레임 옆의 열지도는 터널 입구 부근에서 보이는 개인의 ‘머무름 경향’과 과거 자살 시도에서 관찰된 패턴을 바탕으로 승강장의 위험이 높은 구역과 낮은 구역을 표시한다. 출처 - https://arxiv.org/pdf/2605.22904

2026년 논문 ‘AI 기반 영상 감시를 통한 자살 위험 평가: 지하철역 예방을 위한 해석 가능한 프레임워크’의 두 프레임에 대한 예측. 하나는 실제 철도 자살 시도이고 다른 하나는 사건이 없는 사례다. 각 프레임 옆의 열지도는 터널 입구 부근에서 보이는 개인의 ‘머무름 경향’과 과거 자살 시도에서 관찰된 패턴을 바탕으로 승강장의 위험이 높은 구역과 낮은 구역을 표시한다. 출처

이 경우 열차 앞으로 뛰어들 생각을 하는 사람에게 전형적인 ‘머무름 패턴’(위 이미지의 맨 왼쪽과 맨 오른쪽)은 뚜렷한 특징을 보이는 듯했으며, 자동 감시 체계에서 패턴 인식 경보 시스템으로 활용할 수 있을 것으로 보였다.

이 분야에서 또 다른 인기 연구 방향은 폭력 탐지·인식이다. 무인 감시 시스템이 폭력 행위를 인식해 신속하게 사람의 주의를 환기하고, 더 나아가 영상을 장기 보존용으로 표시하거나 녹화가 실제로 이루어지고 있는지 확인하는 등 부수적인 작업까지 실행하도록 만들 수 있다.

IVS의 폭력 탐지 시스템 테스트(실제 사건이 아님). 출처

앨라배마 대학교의 새 연구에 따르면 지금까지의 문헌은 폭력이 이미 발생하는 중에 이를 인식하는 데 집중해 왔다. 이번 연구에서는 폭력 사건 이전의 영상만으로 모델을 학습시켰다. 통계적 균형을 위해 사건이 없는 영상도 포함했다. 연구진은 반복적으로 나타나며 학습할 수 있는 ‘폭력 이전’ 특성이 있는지 살폈다. 여기서는 몸의 움직임, 얼굴 상태, 오디오의 조합을 뜻하며, 이들을 함께 이용하면 폭력이 발생한 뒤 대응하는 대신 폭력 행위를 예측하는 신호를 얻을 수 있다는 것이다.

연구의 ‘위험’ 사건 전 시퀀스 사례를 연속된 네 프레임으로 표시했다. 시스템은 시간에 따른 신체 관절과 움직임을 추적하면서 자세, 속도, 상호작용 패턴의 변화를 찾는다. 이러한 변화는 폭력 자체가 눈에 보이기 전에 상황이 격화되고 있음을 구별하는 데 도움이 될 수 있다. 출처 - https://arxiv.org/pdf/2609.40014

연구 ‘폭력을 예측할 수 있을까? 사건 전 행동 단서를 통한 멀티모달 학습’의 ‘위험’ 사건 전 시퀀스 사례를 연속된 네 프레임으로 표시했다. 시스템은 시간에 따른 신체 관절과 움직임을 추적하면서 자세, 속도, 상호작용 패턴의 변화를 찾는다. 이러한 변화는 폭력 자체가 눈에 보이기 전에 상황이 격화되고 있음을 구별하는 데 도움이 될 수 있다. 출처

물론 이런 연구가 개발되거나 적용된다면 우려를 불러올 가능성이 크다. 내가 앞서 지적했듯이, TV 드라마 Person of Interest와 2002년 SF 액션 영화 Minority Report를 비롯한 많은 허구 작품은 경찰이나 규제 당국이 예측 기술을 보유하는 데 대한 대중의 두려움을 반영해 왔다.

현재로서는 맥락과 같은 요인, 시간대, 장소, 과거 범죄 통계가 아니라 신체·얼굴·오디오 단서로 폭력 행위를 예측하는 문제는 아직 결론 내리기 어렵다. 새 논문의 저자들에 따르면 아주 새로운 연구 방향이기 때문이다.

테스트에서 연구진은 서로 다른 세 가지 시각 백본을 사용해 얼굴 외형, 오디오, 신체 움직임 단서를 각각 따로 그리고 조합해 비교했다. 세 신호를 모두 결합했을 때 결과가 가장 좋았으며, 이는 예측 효과가 어느 한 종류의 단서에만 의해 나타난 것이 아님을 시사한다:

“오디오, 얼굴 외형, 움직임을 결합한 Deit-Tiny가 최상의 구성으로, 별도로 남겨 둔 테스트 세트에서 정확도 91.21%, 균형 정확도 88.96%, F1 점수 93.65%, ROC-AUC 96.38%를 달성했다.

“이 결과는 서로 보완적인 외형·음향·운동학적 단서가 사건 전 위험의 상승을 인식하는 데 유용한 근거를 제공함을 시사한다.”

접근 방식

연구용으로 정리된 데이터셋은 XD-Violence 모음에서 파생되었으며 얼굴 외형, 오디오, 자세 추정 기반 움직임이라는 세 가지 모달리티를 함께 처리한다:

연구의 처리 파이프라인. 각 클립에 위험 수준 라벨을 붙이고 ‘위험 없음’과 ‘위험’으로 단순화한 뒤 학습·검증·테스트 세트로 나눈다. 최대 4초의 영상을 세 분기로 분석한다. 프레임별 얼굴 외형, 스펙트로그램으로 바꾼 오디오, 그리고 추적한 키포인트에서 도출한 속도·가속도 등의 신체 움직임이다. 이렇게 얻은 얼굴·오디오·움직임 특징을 하나의 표현으로 결합해 최종 분류기에 전달하며, 분류기는 클립이 위험 없음 또는 위험일 확률을 부여한다.

연구의 처리 파이프라인. 각 클립에 위험 수준 라벨을 붙이고 ‘위험 없음’과 ‘위험’으로 단순화한 뒤 학습·검증·테스트 세트로 나눈다. 최대 4초의 영상을 세 분기로 분석한다. 프레임별 얼굴 외형, 스펙트로그램으로 바꾼 오디오, 그리고 추적한 키포인트에서 도출한 속도·가속도 등의 신체 움직임이다. 이렇게 얻은 얼굴·오디오·움직임 특징을 하나의 표현으로 결합해 최종 분류기에 전달하며, 분류기는 클립이 위험 없음 또는 위험일 확률을 부여한다.

최종 정리된 세트에는 사건 전 클립 443개가 포함되었다(이 숫자는 기사 마지막에서 논의한다).

논문에 따르면 XD-Violence 모음에서 고른 영상들은 프로젝트가 구현하려던 사람 중심 분석에 적합한 대상으로 선정되었다. 반면 비슷한 기존 접근법 중 상당수는 예측 맥락으로 장면 전체에 집중했다.

사용한 클립은 4초를 넘지 않았고 8fps로 샘플링했다. 어텐션 헤드 8개를 가진 단일 층 Transformer로 생성된 32개 프레임 샘플을 통합했으며, 학습된 위치 임베딩이 프레임 순서를 유지했다. 멀티모달 학습 중에는 과적합을 피하기 위해 백본을 동결했다.

‘위험’ 활성화의 활성화 맵 예시(얼굴 이미지 포함)는 기사 앞부분에 제시했으며, 아래는 위험 없음 샘플이다:

연구의 얼굴 분석 분기에서 나온 위험 없음 사례로, 앞서 제시한 위험 움직임 사례를 보완한다. 왼쪽에 원본 얼굴 크롭이 있고, 그 뒤로 DeiT-Tiny 시각 모델의 점점 깊어지는 층에서 나온 활성화 맵이 이어진다. 따뜻한 색 영역은 강한 특징 반응을 나타내며, 이미지가 네트워크를 통과하면서 모델의 주의가 어떻게 이동하고 추상화되는지 보여 준다.

연구의 얼굴 분석 분기에서 나온 위험 없음 사례로, 앞서 제시한 위험 움직임 사례를 보완한다. 왼쪽에 원본 얼굴 크롭이 있고, 그 뒤로 DeiT-Tiny 시각 모델의 점점 깊어지는 층에서 나온 활성화 맵이 이어진다. 따뜻한 색 영역은 강한 특징 반응을 나타내며, 이미지가 네트워크를 통과하면서 모델의 주의가 어떻게 이동하고 추상화되는지 보여 준다.

원본 클립의 오디오 성분을 16kHz로 재샘플링하고 정규화 및 해당 영상 구간과의 정렬을 거친 뒤, 512포인트 단시간 푸리에 변환과 400샘플 Hann 윈도를 이용해 표준화된 로그 크기 스펙트로그램으로 변환했다:

정상 및 위험 사건 전 클립의 평균 오디오 패턴 비교. 위 행은 정상 클립, 아래 행은 위험 클립이며, 원본 파형과 스펙트로그램에서 시작해 네트워크의 연속된 세 깊이에서 학습한 특징으로 이어진다. 위험 클립은 4초 구간 끝부분의 음향 활동 증가를 포함해 시간에 따른 변동이 더 크다. 네트워크는 이러한 차이를 점차 더 높은 수준의 특징으로 변환한다.

정상 및 위험 사건 전 클립의 평균 오디오 패턴 비교. 위 행은 정상 클립, 아래 행은 위험 클립이며, 원본 파형과 스펙트로그램에서 시작해 네트워크의 연속된 세 깊이에서 학습한 특징으로 이어진다. 위험 클립은 4초 구간 끝부분의 음향 활동 증가를 포함해 시간에 따른 변동이 더 크다. 네트워크는 이러한 차이를 점차 더 높은 수준의 특징으로 변환한다.

움직임 성분에서는 YOLO 자세 추정기가 검출한 COCO-17 키포인트를 바탕으로 신체 움직임을 수치 기술자 집합으로 축약했다.

평균 속도와 최대 속도, 가속도와 저크, 속도 변동, 손목과 발목 속도, 전체 움직임 에너지 등 12가지 지표를 계산했다. 몸집이 큰 사람이 자동으로 더 많이 움직이는 것으로 기록되지 않도록 체격에 따라 값을 정규화했다. 또한 같은 클립 속 여러 사람의 측정값을 결합했다.

학습 데이터를 기준으로 표준화한 뒤 움직임 특징을 64차원 표현으로 확장하고 시간 Transformer에 통과시켰다. 이를 통해 클립 전체의 움직임 변화를 독립된 프레임이 아니라 시퀀스로 고려할 수 있다.

이후 세 스트림을 하나의 표현으로 융합했으며, 얼굴 외형의 비중이 가장 크고 오디오, 움직임 순이었다. 정규화와 드롭아웃을 거친 뒤 최종 분류기가 결합된 표현을 ‘정상’과 ‘위험’의 확률로 변환했고, 경계값은 0.5였다.

얼굴 외형 스트림에는 ImageNet으로 사전 학습한 백본 세 가지, Swin-Tiny, ViT-Tiny, DeiT-Tiny를 사용했다.

테스트

테스트를 위해 눈에 보이는 행동, 움직임, 오디오를 기준으로 클립마다 위험 없음, 낮은 위험, 중간 위험, 높은 위험 중 하나를 수동으로 부여했다. 최종 이진 분류에서는 세 위험 범주를 ‘위험’으로 묶고 위험 없음은 ‘정상’으로 바꾸었다. 학습과 평가 간 누출을 줄이기 위해 같은 원본 영상에서 나온 클립은 동일한 데이터셋 분할에 유지했다.

위험 클립마다 폭력 사건 자체를 제거해 모델이 판단할 수 있는 것은 그 이전 행동뿐이었다:

세 시각 백본에서 얼굴 외형, 오디오, 움직임을 단독 또는 조합해 사용했을 때의 성능 변화를 보여 주는 테스트 세트 결과. 제거 실험은 각 입력 스트림의 기여를 분리한다. 점수가 높을수록 성능이 좋으며, 굵은 값은 각 지표의 최상 결과다.

세 시각 백본에서 얼굴 외형, 오디오, 움직임을 단독 또는 조합해 사용했을 때의 성능 변화를 보여 주는 테스트 세트 결과. 제거 실험은 각 입력 스트림의 기여를 분리한다. 점수가 높을수록 성능이 좋으며, 굵은 값은 각 지표의 최상 결과다.

앞서 언급했듯이 세 모달리티를 모두 결합한 DeiT-Tiny가 종합적으로 가장 좋은 결과를 냈다. 제거 실험은 각 스트림의 기여를 더 분명하게 보여 준다. 얼굴 외형은 단독으로도 강한 예측력을 보였고, 움직임은 중간 정도였으며, 오디오는 단독 사용 시 상당히 약했다.

얼굴·오디오·움직임 정보를 결합했을 때 결과가 가장 좋았으며, 이는 약한 스트림도 시각 신호에 유용한 보완 정보를 더했음을 뜻한다.

모델은 ‘정상’과 ‘위험’만 구별하도록 학습했지만, 출력은 원래의 네 단계 라벨인 위험 없음, 낮은 위험, 중간 위험, 높은 위험과도 비교했다. 아래에서 보듯 학습·검증·테스트 세트 전반에서 예측 위험은 대체로 이 범주를 따라 증가한다:

원래 네 위험 범주에 걸친 예측 위험 점수. 모델은 정상과 위험 클립을 구별하도록만 학습했지만, 학습·검증·테스트 세트 전반에서 점수는 보통 위험 없음에서 높은 위험으로 갈수록 올라간다. 점선은 0.50의 결정 임계값을 나타낸다.

원래 네 위험 범주에 걸친 예측 위험 점수. 모델은 정상과 위험 클립을 구별하도록만 학습했지만, 학습·검증·테스트 세트 전반에서 점수는 보통 위험 없음에서 높은 위험으로 갈수록 올라간다. 점선은 0.50의 결정 임계값을 나타낸다.

저자들은 다음과 같이 설명한다:

“이 결과가 중요한 이유는 모델을 낮은 위험, 중간 위험, 높은 위험을 구별하도록 명시적으로 학습시킨 적이 없기 때문이다. 그런데도 예측은 원래 위험 수준의 진행을 따른다.

“이는 모델이 단순히 정상과 위험 사이의 경계만 학습한 것이 아니라 사건 전 행동의 의미 있는 변화를 포착하고 있음을 시사한다. 또한 주석으로 표시한 사건이 시작되기 전에도 유용한 행동 단서가 나타날 수 있다는 근거를 제공한다.”

그리고 다음과 같이 결론짓는다:

“이 발견은 사건 이전 시기에 유용한 판별 정보가 존재할 수 있음을 시사하며, 폭력 분석을 사건 발생 중의 탐지에서 더 이른 위험 인식으로 확장할 가능성을 부각한다.”

결론

연구진은 정말 ‘폭력 이전’ 특성의 조합을 찾은 것일까? 실험에 사용한 클립이 443개에 불과하므로 과적합은 상당한 위험이며, 멀티모달 모델과 사전 학습한 시각 백본은 특히 이에 취약하다. 연구는 시각 백본을 동결하고, 원본 영상을 학습·검증·테스트 분할 간에 분리하며, 여러 모달리티 조합을 테스트해 이를 부분적으로 완화했다.

작은 데이터셋에서 좋은 성능을 보였다고 해서 잠재 패턴이 명확하다거나 실제로 존재한다는 것이 입증되는 것은 아니다. 데이터셋 특유의 단서, 주석 편향, 데이터 분할로 포착하지 못한 출처 누출, 유난히 쉬운 테스트 세트가 반영되었을 수도 있다.

하지만 현재로서는 데이터셋이 이처럼 작고 과적합도 적절히 방지한 것으로 보이기 때문에 오히려 결과가 흥미롭다. 다만 학습된 패턴을 ‘견고하다’고 판단하려면 더 큰 데이터셋에서 결과를 재현해야 한다.

 

최초 게시: 2026년 10월 1일 목요일

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai