Andersons vinkel

Å forutsi vold på forhånd med KI

Martin Anderson
Legg til Unite.AI blant dine foretrukne kilder på Google
A still from Minority Report (2002), a film centered on predicting violent crimes before they occur, alongside an inset from Can We Anticipate Violence? Multimodal Learning from Pre-Incident Behavioral Cues, which investigates the same problem using AI analysis of facial appearance, audio and body motion. Minority Report image © 2002 Twentieth Century Fox and DreamWorks Pictures; reproduced for editorial commentary.
Viktige punkterÅ forutsi vold før den skjer risikerer å gjenklange de dystopiske fryktene fra Minority…
Vis mer
  • Å forutsi vold før den skjer risikerer å gjenklange de dystopiske fryktene fra Minority Report.
  • Å kombinere ansiktsutseende med lyd- og bevegelsessignaler gir bedre resultater enn noe enkelt signal alene.
  • Et svært lite klippesett gjør overtilpasning til en reell fare til tross for studiens beskyttende tiltak.

Den vanlige fremgangsmåten når man spør «Kan KI automatisere dette?», er å mate inn flere eksempler på noe man ønsker å isolere egenskapene ved, og se om en modell trent på disse dataene kan gjenkjenne egenskapen i lignende data som ikke ble brukt i treningen:

Skisse av et KI-prosjekt som et siste, desperat forsøk: Merkede eksempler deles i trenings- og testsett. Modellen lærer fra det første og prøves deretter på ukjente eksempler fra det andre. Har den virkelig lært den aktuelle egenskapen i stedet for å memorere treningsdataene, bør den gjenkjenne samme mønster i testsettet. Kilde - https://upload.wikimedia.org/wikipedia/commons/0/09/Supervised_machine_learning_in_a_nutshell.svg

Skisse av et KI-prosjekt som et siste, desperat forsøk: Merkede eksempler deles i trenings- og testsett. Modellen lærer fra det første og prøves deretter på ukjente eksempler fra det andre. Har den virkelig lært den aktuelle egenskapen i stedet for å memorere treningsdataene, bør den gjenkjenne samme mønster i testsettet. Kilde

Det er litt av et sjansespill, siden slike forsøk bygger på at egenskapen til slutt vil tre frem hvis KI fortsetter å undersøke datasettet, og at det faktisk finnes en «underliggende tendens» å avdekke. Kunne vi lett gjenkjenne egenskapen, ville vi ikke trenge KI-modellen, eller bare bruke den til rutinemessig automatisering.

Slik er det vanligvis ikke; de fleste slike forskningsprosjekter er søk på måfå etter skjulte mønstre som bare overmenneskelig gjentatt gransking kan lære å gjenkjenne.

Ofte viser mønsteret seg vanskelig å finne og kan være ikke-eksisterende, fordi enkelte hendelser og egenskaper faktisk kan være helt tilfeldige. Alternativt er dataene utilstrekkelige, dårlig tilrettelagt eller dårlig utnyttet i treningen.

Å se fremover

Noen ganger er målet så ettertraktet — å kurere kreft, oppnå kjernefusjon, overvinne termodynamikkens lover og så videre — og så «politisk attraktivt» at forskningslitteraturen stadig vender tilbake til det, for å se om bedre data eller teknikker likevel kan avdekke et karakteristisk mønster.

Ett slikt felt er automatisert videoforståelse knyttet til offentlige steder og politiarbeid. I år brukte en ny studie virkelige videoopptak av selvmordsforsøk for å identifisere tendenser til å oppholde seg på bestemte steder før et forsøk, og lage et prediktivt system som kunne oppdage hvordan personen karakteristisk beveger seg på en offentlig togplattform før vedkommende hopper:

Fra artikkelen fra 2026 «Vurdering av selvmordsrisiko med KI-drevet videoovervåking: et tolkbart rammeverk for forebygging på metrostasjoner»: prediksjoner fra to bilder, ett med et virkelig selvmordsforsøk på jernbanen og ett uten hendelse. Varmekart ved hvert bilde viser områder med høyere og lavere risiko på plattformen, ut fra personens tendens til å oppholde seg nær tunnelåpningen og mønstre observert ved tidligere forsøk. Kilde - https://arxiv.org/pdf/2605.22904

Fra artikkelen fra 2026 «Vurdering av selvmordsrisiko med KI-drevet videoovervåking: et tolkbart rammeverk for forebygging på metrostasjoner»: prediksjoner fra to bilder, ett med et virkelig selvmordsforsøk på jernbanen og ett uten hendelse. Varmekart ved hvert bilde viser områder med høyere og lavere risiko på plattformen, ut fra personens tendens til å oppholde seg nær tunnelåpningen og mønstre observert ved tidligere forsøk. Kilde

Her så «oppholdsmønstrene» — helt til venstre og høyre i bildet over — som er typiske for noen som vurderer å hoppe foran et tog, ut til å ha en særpreget signatur. Denne kunne brukes som et mønstergjenkjenningsbasert varslingssystem i automatisert overvåking.

Et annet populært forskningsspor er deteksjon eller gjenkjenning av vold. Ubemannede overvåkingssystemer kunne gjenkjenne voldshandlinger for raskt å gjøre mennesker oppmerksomme på dem, og utløse tilleggstiltak som å merke opptakene for langtidslagring og sikre at opptak faktisk pågår, blant annet.

En simulert test av et voldsdeteksjonssystem fra IVS. Kilde

Ifølge ny forskning fra University of Alabama har litteraturen hittil konsentrert seg om å gjenkjenne vold mens den allerede pågår. I den nye studien trente forskerne en modell bare på video før en voldshendelse — eller uten hendelse, for statistisk balanse — for å undersøke om det finnes gjentakende egenskaper før vold som modellen kan lære. Her dreier det seg om kroppsbevegelse, ansiktsuttrykk og lyd, som samlet kunne gi et prediktivt signal om vold i stedet for bare å reagere etterpå.

Eksempler fra studien på risikofylte sekvenser før en hendelse, vist i fire påfølgende bilder. Systemet følger ledd og kroppsbevegelse over tid og leter etter endringer i holdning, hastighet og samhandlingsmønstre som kan skille ut eskalerende situasjoner før selve volden blir synlig. Kilde - https://arxiv.org/pdf/2609.40014

Eksempler på risikofylte sekvenser før en hendelse fra studien «Kan vi forutse vold? Multimodal læring fra atferdssignaler før en hendelse», vist i fire påfølgende bilder. Systemet følger ledd og kroppsbevegelse over tid og leter etter endringer i holdning, hastighet og samhandlingsmønstre som kan skille ut eskalerende situasjoner før selve volden blir synlig. Kilde

Slikt arbeid vil naturligvis kunne vekke bekymring hvis det utvikles eller innføres. Som jeg har påpekt tidligere, har fiksjon som TV-serien Person of Interest og science fiction-actionfilmen Minority Report fra 2002, blant mange lignende verk, speilet folkelig frykt for prediktiv teknologi i hendene på politiet eller regulerende myndigheter.

Foreløpig er det et åpent spørsmål om vold kan forutsies fra kroppslige, ansiktsrelaterte og auditive signaler fremfor faktorer som kontekst, tidspunkt, sted eller historisk kriminalstatistikk. Ifølge forfatterne er dette en svært ny forskningsretning.

I testene sammenlignet forskerne ansiktsutseende, lyd og kroppsbevegelse hver for seg og kombinert, med tre ulike visuelle grunnmodeller. Best resultat kom når alle tre signalene ble kombinert, noe som tyder på at den prediktive effekten ikke ble drevet av én enkelt signaltype:

«Den beste konfigurasjonen, Deit-Tiny med lyd, ansiktsutseende og bevegelse, oppnår 91,21 % nøyaktighet, 88,96 % balansert nøyaktighet, 93,65 % F1-skår og 96,38 % ROC-AUC på det avsatte testsettet.

«Resultatene tyder på at komplementære signaler fra utseende, akustikk og kinematikk gir nyttig informasjon for å gjenkjenne forhøyet risiko før en hendelse.»

Tilnærming

Datasettet som ble tilrettelagt for studien, stammer fra samlingen XD-Violence og behandler tre modaliteter sammen: ansiktsutseende, lyd og bevegelse beregnet med posestimering:

Studiens behandlingskjede. Hvert klipp merkes etter risiko, redusert til «ingen risiko» eller «risikofylt», og dataene deles i trenings-, validerings- og testsett. Opptil fire sekunder analyseres i tre grener: ansiktsutseende gjennom bildene, lyd omgjort til et spektrogram og kroppsbevegelse utledet fra sporede nøkkelpunkter, som hastighet og akselerasjon. Ansikts-, lyd- og bevegelsesegenskapene kombineres til én representasjon og sendes til en endelig klassifikator, som tilordner klippet en sannsynlighet for ingen risiko eller risiko.

Studiens behandlingskjede. Hvert klipp merkes etter risiko, redusert til «ingen risiko» eller «risikofylt», og dataene deles i trenings-, validerings- og testsett. Opptil fire sekunder analyseres i tre grener: ansiktsutseende gjennom bildene, lyd omgjort til et spektrogram og kroppsbevegelse utledet fra sporede nøkkelpunkter, som hastighet og akselerasjon. Ansikts-, lyd- og bevegelsesegenskapene kombineres til én representasjon og sendes til en endelig klassifikator, som tilordner klippet en sannsynlighet for ingen risiko eller risiko.

Det ferdige datasettet inneholdt 443 klipp fra før en hendelse; vi kommer tilbake til dette tallet mot slutten.

Ifølge artikkelen ble videoene fra XD-Violence valgt fordi de egnet seg for den menneskesentrerte analysen prosjektet ønsket å gjennomføre. Mange tidligere, lignende tilnærminger hadde derimot konsentrert seg om hele scenen som prediktiv kontekst.

Klippene var høyst fire sekunder lange og ble samplet med 8 bilder per sekund. En ettlags Transformer med åtte oppmerksomhetshoder samlet de 32 bildene, mens lærte posisjonsinnbygginger bevarte rekkefølgen. Grunnmodellen forble fryst under multimodal trening for å unngå overtilpasning.

Eksempler på aktiveringskart, inkludert ansiktsbilder, vises tidligere for risikofylte aktiveringer og nedenfor for eksempler uten risiko:

Eksempler uten risiko fra studiens ansiktsanalysegren, som supplerer de tidligere viste risikofylte bevegelseseksemplene. Det opprinnelige ansiktsutsnittet vises til venstre, fulgt av aktiveringskart fra stadig dypere lag i synsmodellen DeiT-Tiny. Varmere områder viser sterkere egenskapsresponser og hvordan modellens oppmerksomhet flytter seg og blir mer abstrakt gjennom nettverket.

Eksempler uten risiko fra studiens ansiktsanalysegren, som supplerer de tidligere viste risikofylte bevegelseseksemplene. Det opprinnelige ansiktsutsnittet vises til venstre, fulgt av aktiveringskart fra stadig dypere lag i synsmodellen DeiT-Tiny. Varmere områder viser sterkere egenskapsresponser og hvordan modellens oppmerksomhet flytter seg og blir mer abstrakt gjennom nettverket.

Lyden fra kildeklippene ble resamplet til 16 kHz, normalisert og justert mot det tilsvarende visuelle tidsvinduet før den ble omgjort til standardiserte spektrogrammer av logaritmisk magnitude med en korttids-Fourier-transformasjon på 512 punkter og et Hann-vindu på 400 sampler:

Sammenligning av gjennomsnittlige lydmønstre i normale og risikofylte klipp før en hendelse. Øverste rad viser normale klipp og nederste risikofylte klipp, fra opprinnelig bølgeform og spektrogram til egenskaper lært på tre påfølgende nettverksdybder. Risikofylte klipp varierer mer over tid, med økt akustisk aktivitet mot slutten av firesekundersvinduet, mens nettverket gradvis omgjør forskjellene til egenskaper på høyere nivå.

Sammenligning av gjennomsnittlige lydmønstre i normale og risikofylte klipp før en hendelse. Øverste rad viser normale klipp og nederste risikofylte klipp, fra opprinnelig bølgeform og spektrogram til egenskaper lært på tre påfølgende nettverksdybder. Risikofylte klipp varierer mer over tid, med økt akustisk aktivitet mot slutten av firesekundersvinduet, mens nettverket gradvis omgjør forskjellene til egenskaper på høyere nivå.

For bevegelseskomponenten ble kroppsbevegelse redusert til numeriske beskrivelser utledet fra COCO-17-nøkkelpunkter oppdaget av en YOLO-posestimator.

Tolv mål ble beregnet, blant annet gjennomsnittlig og maksimal hastighet, akselerasjon og endringsrate for akselerasjonen, hastighetsvariasjon, hastighet ved håndledd og ankler og samlet bevegelsesenergi. Verdiene ble normalisert etter kroppsstørrelse, slik at større personer ikke automatisk ble registrert som mer bevegelige. Målinger fra flere personer i samme klipp ble også kombinert.

Etter standardisering mot treningsdataene ble bevegelsesegenskapene utvidet til en 64-dimensjonal representasjon og ført gjennom en temporal Transformer. Dermed kunne endringer gjennom klippet behandles som en sekvens fremfor isolerte bilder.

De tre strømmene ble deretter slått sammen, med størst vekt på ansiktsutseende, fulgt av lyd og bevegelse. Etter normalisering og tilfeldig utkobling av enheter omgjorde en sluttklassifikator representasjonen til sannsynligheter for «normal» og «risikofylt», med 0,5 som grense.

For ansiktsutseende ble tre grunnmodeller forhåndstrent på ImageNet brukt: Swin-Tiny, ViT-Tiny og DeiT-Tiny.

Tester

Klippene ble manuelt merket ut fra synlig atferd, bevegelse og lyd som Ingen risiko, Lav risiko, Middels risiko eller Høy risiko. I sluttoppgaven med to klasser ble de tre risikonivåene samlet som «risikofylt», mens Ingen risiko ble «normal». For å redusere lekkasje mellom trening og evaluering ble klipp fra samme kildevideo holdt i samme del av datasettet.

Selve voldshendelsen ble fjernet fra alle risikofylte klipp, slik at modellen bare fikk vurdere atferden i forkant:

Testresultater som viser hvordan ytelsen endres når ansiktsutseende, lyd og bevegelse brukes separat eller sammen på tvers av de tre visuelle grunnmodellene. Ablasjonsoppsettet isolerer bidraget fra hver inngangsstrøm. Høyere skår betyr bedre ytelse; uthevede verdier markerer beste resultat for hvert mål.

Testresultater som viser hvordan ytelsen endres når ansiktsutseende, lyd og bevegelse brukes separat eller sammen på tvers av de tre visuelle grunnmodellene. Ablasjonsoppsettet isolerer bidraget fra hver inngangsstrøm. Høyere skår betyr bedre ytelse; uthevede verdier markerer beste resultat for hvert mål.

Som nevnt ga DeiT-Tiny med alle tre modaliteter best samlet resultat. Ablasjonene tydeliggjør bidragene: ansiktsutseende alene var allerede en sterk prediktor, bevegelse presterte moderat, og lyd alene var betydelig svakere.

Best resultat kom når ansikts-, lyd- og bevegelsesinformasjon ble kombinert. Det viser at de svakere strømmene likevel bidro med nyttig, komplementær informasjon til det visuelle signalet.

Selv om modellen bare ble trent til å skille «normal» fra «risikofylt», ble utdataene også sammenlignet med de fire opprinnelige etikettene: Ingen risiko, Lav risiko, Middels risiko og Høy risiko. Som vist nedenfor stiger predikert risiko stort sett med kategoriene i trenings-, validerings- og testsettene:

Predikerte risikoskårer for de fire opprinnelige risikokategoriene. Selv om modellen bare ble trent til å skille normale og risikofylte klipp, stiger skårene vanligvis fra Ingen risiko til Høy risiko i trenings-, validerings- og testsettene. Den stiplede linjen markerer beslutningsgrensen på 0,50.

Predikerte risikoskårer for de fire opprinnelige risikokategoriene. Selv om modellen bare ble trent til å skille normale og risikofylte klipp, stiger skårene vanligvis fra Ingen risiko til Høy risiko i trenings-, validerings- og testsettene. Den stiplede linjen markerer beslutningsgrensen på 0,50.

Forfatterne kommenterer:

«Dette resultatet er viktig fordi modellen aldri eksplisitt trenes til å skille mellom lav, middels og høy risiko. Likevel følger prediksjonene progresjonen i de opprinnelige risikonivåene.

«Dette tyder på at modellen fanger opp meningsfulle endringer i atferd før en hendelse, fremfor bare å lære en enkel grense mellom normal og risikofylt. Resultatet gir også belegg for at nyttige atferdssignaler kan oppstå før den annoterte hendelsen begynner.»

Og de konkluderer:

«Funnene tyder på at nyttig diskriminerende informasjon kan finnes før en hendelse. Det fremhever muligheten for å utvide voldsanalyse fra deteksjon mens hendelsen pågår til tidligere gjenkjenning av risiko.»

Konklusjon

Fant forskerne virkelig en kombinasjon av egenskaper som varsler vold? Med bare 443 klipp er overtilpasning en vesentlig risiko, særlig for multimodale modeller og forhåndstrente visuelle grunnmodeller. Studien begrenser dette delvis ved å fryse grunnmodellen, skille kildevideoene mellom trening, validering og test og prøve flere kombinasjoner av modaliteter.

Gode resultater på et lite datasett beviser ikke at det underliggende mønsteret er åpenbart eller finnes i det hele tatt. De kan også gjenspeile datasettspesifikke signaler, annoteringsskjevhet, kildelekkasje som oppdelingen ikke fanger opp, eller et uvanlig enkelt testsett.

Likevel er resultatet interessant nettopp fordi datasettet er så lite og overtilpasning ser ut til å være tilstrekkelig motvirket. Funnene må imidlertid replikeres på et større datasett før det lærte mønsteret kan regnes som «robust».

 

Først publisert torsdag 1. oktober 2026

Skribent innen maskinlæring, domenespesialist i menneskelig bildesyntese. Tidligere leder for forskningsinnhold hos Metaphysic.ai, frem til oppløsningen i DNEG's Brahma.ai.
Nettsted: martinanderson.ai
Kontakt: martin@martinanderson.ai