Andersons vinkel

Att förutsäga våld i förväg med AI

Martin Anderson
Lägg till Unite.AI bland dina föredragna källor på Google
A still from Minority Report (2002), a film centered on predicting violent crimes before they occur, alongside an inset from Can We Anticipate Violence? Multimodal Learning from Pre-Incident Behavioral Cues, which investigates the same problem using AI analysis of facial appearance, audio and body motion. Minority Report image © 2002 Twentieth Century Fox and DreamWorks Pictures; reproduced for editorial commentary.
Viktiga punkterAtt förutse våld innan det inträffar riskerar att eka de dystopiska farhågorna i…
Visa mer
  • Att förutse våld innan det inträffar riskerar att eka de dystopiska farhågorna i Minority Report.
  • Att kombinera ansiktsutseende med ljud- och rörelsesignaler överträffar varje enskild signal för sig.
  • Https://www.youtube.com/watch?v tDSXPQcpybU Ett (icke-verkligt) test för ett våldsdetekteringssystem från IVS.

Mallen för en typisk frågeställning av typen ”Kan AI automatisera det här?” är att mata in flera exempel på något vars egenskaper man vill isolera och se om en modell som tränats på dessa data kan identifiera den egenskapen i liknande data som inte användes vid träningen:

Schema för ett AI-projekt som är ett långskott: märkta exempel delas upp i tränings- och testmängder. Modellen lär sig av den första och sätts sedan på prov med exempel från den andra som den inte har sett tidigare. Om den verkligen har lärt sig den intressanta egenskapen i stället för att memorera träningsdata bör den känna igen samma mönster i testmängden. Källa - https://upload.wikimedia.org/wikipedia/commons/0/09/Supervised_machine_learning_in_a_nutshell.svg

Schema för ett AI-projekt som är ett långskott: märkta exempel delas upp i tränings- och testmängder. Modellen lär sig av den första och sätts sedan på prov med exempel från den andra som den inte har sett tidigare. Om den verkligen har lärt sig den intressanta egenskapen i stället för att memorera träningsdata bör den känna igen samma mönster i testmängden. Källa

Det är lite av ett ”långskott”, eftersom sådana experiment bygger på antagandet att egenskapen till slut kommer att framträda i data om AI:n fortsätter att granska datamängden, och att det faktiskt finns någon form av ”underliggande trend” att upptäcka. Om det var något vi enkelt kunde känna igen skulle vi antingen inte behöva AI-modellen alls eller bara använda den för rutinmässig automatisering.

Så är det vanligtvis inte; de flesta sådana forskningsinitiativ är ”fiskeexpeditioner” efter dolda mönster som bara en övermänsklig upprepning av granskningen skulle kunna lära sig att känna igen.

Ofta visar sig mönstret vara svårfångat och kanske rentav obefintligt, eftersom vissa händelser och egenskaper verkligen kan bero helt på slumpen. Alternativt är data på något sätt otillräckliga, bristfälligt sammanställda eller dåligt tränade.

Blick framåt

I vissa fall är vinsten så eftertraktad (att bota cancer, åstadkomma kärnfusion, övervinna termodynamikens lagar och så vidare) och så ”politiskt attraktiv” att forskningslitteraturen återkommer till frågan gång på gång för att se om bättre data eller bättre metoder kan få fram ett karakteristiskt mönster.

Ett sådant område är automatiserad videoförståelse, i fråga om offentliga platser och områden där polis är inblandad. Exempelvis använde en ny studie i år videomaterial från verkliga självmordsförsök för att identifiera mönster i hur länge personer dröjde sig kvar före ett självmordsförsök och skapa ett prediktivt system som kunde upptäcka det karakteristiska rörelsemönster som personer uppvisar på en offentlig tågperrong innan de hoppar:

Ur 2026 års artikel ”Bedömning av självmordsrisk med AI-driven videoövervakning: ett tolkningsbart ramverk för förebyggande arbete på tunnelbanestationer”: förutsägelser utifrån två bildrutor, där den ena visar ett verkligt självmordsförsök på järnvägsspår och den andra ett fall utan incident. Värmekartor intill varje bildruta visar områden med högre respektive lägre risk på perrongen, baserat på en persons ”benägenhet att dröja sig kvar” nära tunnelmynningen och mönster som observerats vid tidigare självmordsförsök. Källa - https://arxiv.org/pdf/2605.22904

Ur 2026 års artikel ”Bedömning av självmordsrisk med AI-driven videoövervakning: ett tolkningsbart ramverk för förebyggande arbete på tunnelbanestationer”: förutsägelser utifrån två bildrutor, där den ena visar ett verkligt självmordsförsök på järnvägsspår och den andra ett fall utan incident. Värmekartor intill varje bildruta visar områden med högre respektive lägre risk på perrongen, baserat på en persons ”benägenhet att dröja sig kvar” nära tunnelmynningen och mönster som observerats vid tidigare självmordsförsök. Källa

I det här fallet tycktes ”mönstren i hur personen dröjer sig kvar” (längst till vänster och höger i bilden ovan), som är typiska för en person som överväger att hoppa framför ett tåg, ha en tydlig signatur som skulle kunna användas i ett mönsterigenkänningsbaserat varningssystem i automatiserad övervakning.

En annan populär forskningsinriktning på området är detektion och igenkänning av våld, där obemannade övervakningssystem skulle kunna göras kapabla att känna igen våldshandlingar, så att de snabbt kan uppmärksammas av människor – och till och med utlösa kompletterande åtgärder, som att flagga videomaterialet för långtidsbevarande och säkerställa att inspelning faktiskt sker, bland annat.

Ett (icke-verkligt) test av ett system för våldsdetektion från IVS. Källa 

Enligt ny forskning från University of Alabama har litteraturen hittills fokuserat på att känna igen våld när det redan pågår. I det nya arbetet tränade forskarna en modell enbart på videomaterial från tiden före en våldsam händelse (eller från perioder utan någon händelse, för att få statistisk balans), för att undersöka om det fanns återkommande och inlärningsbara ”förvåldsamma” kännetecken – i det här fallet en kombination av kroppsrörelser, ansiktsuttryck och ljud, som tillsammans skulle kunna ge en prediktiv signal om en våldshandling i stället för att bara reagera när den väl har inträffat.

Exempel på ”riskfyllda” sekvenser före en incident från studien, visade i fyra på varandra följande bildrutor. Systemet följer kroppens leder och rörelser över tid och letar efter förändringar i hållning, hastighet och interaktionsmönster som kan skilja situationer under upptrappning från andra innan själva våldet blir synligt. Källa – https://arxiv.org/pdf/2609.40014

Exempel på ”riskfyllda” sekvenser före en incident från studien ”Kan vi förutse våld? Multimodal inlärning från beteendesignaler före en incident”, visade i fyra på varandra följande bildrutor. Systemet följer kroppens leder och rörelser över tid och letar efter förändringar i hållning, hastighet och interaktionsmönster som kan skilja situationer under upptrappning från andra innan själva våldet blir synligt. Källa

Sådant arbete väcker sannolikt oro om det utvecklas eller införs. Som jag har påpekat tidigare har fiktiva skildringar, däribland tv-serien Person of Interest och science fiction-actionfilmen Minority Report från 2002, liksom många liknande verk, speglat den allmänna oron för prediktiv teknik i händerna på polisen eller tillsynsmyndigheter.

I nuläget är frågan om att förutsäga våldshandlingar utifrån kroppsliga signaler, ansiktsuttryck och ljud (snarare än faktorer som sammanhang, tid på dygnet, plats eller historisk brottsstatistik) ännu omtvistad, eftersom det enligt författarna till den nya artikeln rör sig om ett mycket nytt forskningsområde.

I testerna jämförde forskarna ansiktsutseende, ljud och rörelsesignaler var för sig och i kombination, med hjälp av tre olika visionmodeller som bas. De bästa resultaten uppnåddes när alla tre signalerna kombinerades, vilket tyder på att den prediktiva effekten inte drevs av någon enskild typ av signal:

”Den bästa konfigurationen, Deit-Tiny med ljud, ansiktsutseende och rörelser, uppnår 91,21 % träffsäkerhet, 88,96 % balanserad träffsäkerhet, 93,65 % F1-poäng och 96,38 % ROC-AUC på testmängden som hölls utanför träningen.

”Resultaten tyder på att kompletterande visuella, akustiska och kinematiska signaler ger användbara belägg för att identifiera förhöjd risk före en incident.”

Tillvägagångssätt

Datamängden som sammanställdes för studien bygger på samlingen XD-Violence och kombinerar tre modaliteter: ansiktsutseende, ljud och rörelser uppskattade med posestimering:

Studiens bearbetningsflöde. Varje klipp märks med en risknivå, som begränsas till ”ingen risk” eller ”riskfyllt”, och delas sedan upp i tränings-, validerings- och testmängder. Upp till fyra sekunders videomaterial analyseras i tre grenar: ansiktsutseende genom bildrutorna, ljud som omvandlats till ett spektrogram samt kroppsrörelser beräknade utifrån spårade nyckelpunkter, till exempel hastighet och acceleration. De resulterande ansikts-, ljud- och rörelseegenskaperna kombineras till en gemensam representation och skickas till en slutlig klassificerare, som tilldelar klippet en sannolikhet för att tillhöra kategorin ingen risk eller riskfyllt.

Studiens bearbetningsflöde. Varje klipp märks med en risknivå, som begränsas till ”ingen risk” eller ”riskfyllt”, och delas sedan upp i tränings-, validerings- och testmängder. Upp till fyra sekunders videomaterial analyseras i tre grenar: ansiktsutseende genom bildrutorna, ljud som omvandlats till ett spektrogram samt kroppsrörelser beräknade utifrån spårade nyckelpunkter, till exempel hastighet och acceleration. De resulterande ansikts-, ljud- och rörelseegenskaperna kombineras till en gemensam representation och skickas till en slutlig klassificerare, som tilldelar klippet en sannolikhet för att tillhöra kategorin ingen risk eller riskfyllt.

Den sammanställda datamängden innehöll 443 klipp från tiden före en incident (vi återkommer till den här siffran i slutet av artikeln).

Enligt artikeln valdes videorna från samlingen XD-Violence ut eftersom de lämpade sig för den typ av människofokuserad analys som projektet syftade till att genomföra. Många liknande tidigare metoder hade däremot fokuserat på hela scenen som prediktivt sammanhang.

Klippen var högst fyra sekunder långa och samplades med 8 bilder per sekund. En transformer med ett enda lager och åtta uppmärksamhetshuvuden användes för att sammanställa de 32 samplade bildrutorna, medan inlärda positionella inbäddningar bevarade bildrutornas ordning. Basnätverket förblev fryst under den multimodala träningen för att undvika överanpassning.

Exempel på aktiveringskartor (inklusive ansiktsbilder) visas tidigare i artikeln för ”riskfyllda” aktiveringar och nedan för exempel utan risk:

Exempel utan risk från studiens gren för ansiktsanalys, som kompletterar exemplen på riskfyllda rörelser som visades tidigare. Det ursprungliga ansiktsutsnittet visas till vänster, följt av aktiveringskartor från allt djupare lager i synmodellen DeiT-Tiny. Varmare färger visar starkare egenskapsrespons och illustrerar hur modellens uppmärksamhet skiftar och blir mer abstrakt när bilden passerar genom nätverket.

Exempel utan risk från studiens gren för ansiktsanalys, som kompletterar exemplen på riskfyllda rörelser som visades tidigare. Det ursprungliga ansiktsutsnittet visas till vänster, följt av aktiveringskartor från allt djupare lager i synmodellen DeiT-Tiny. Varmare färger visar starkare egenskapsrespons och illustrerar hur modellens uppmärksamhet skiftar och blir mer abstrakt när bilden passerar genom nätverket.

Ljudkomponenterna från källklippet samplades om till 16kHz och anpassades genom normalisering och synkronisering med motsvarande visuella tidsfönster, innan de omvandlades till standardiserade log-magnitudspektrogram med en korttids-Fouriertransform på 512 punkter och ett Hann-fönster på 400 sampel:

Jämförelse av genomsnittliga ljudmönster i normala klipp och riskfyllda klipp från tiden före en incident. Den översta raden visar normala klipp och den nedersta riskfyllda klipp, från den ursprungliga vågformen och spektrogrammet till egenskaper som lärts in på tre successiva nivåer i nätverket. Riskfyllda klipp uppvisar större variation över tid, däribland ökad ljudaktivitet mot slutet av fyrasekundersfönstret, medan nätverket stegvis omvandlar dessa skillnader till egenskaper på högre nivå.

Jämförelse av genomsnittliga ljudmönster i normala klipp och riskfyllda klipp från tiden före en incident. Den översta raden visar normala klipp och den nedersta riskfyllda klipp, från den ursprungliga vågformen och spektrogrammet till egenskaper som lärts in på tre successiva nivåer i nätverket. Riskfyllda klipp uppvisar större variation över tid, däribland ökad ljudaktivitet mot slutet av fyrasekundersfönstret, medan nätverket stegvis omvandlar dessa skillnader till egenskaper på högre nivå.

För rörelsekomponenten reducerades kroppsrörelser till en uppsättning numeriska beskrivningar som härletts från nyckelpunkter från COCO-17, detekterade av en YOLO-baserad poseestimator.

Tolv mått beräknades, däribland genomsnittlig och maximal hastighet, acceleration och ryck, variation i hastighet, handleds- och fotledshastigheter samt övergripande rörelseenergi. Värdena normaliserades efter kroppsstorlek, så att större personer inte automatiskt skulle registreras som mer rörliga. Dessutom slogs mätningar från flera personer i samma klipp samman.

Efter standardisering mot träningsdata utökades rörelseegenskaperna till en 64-dimensionell representation och skickades genom en temporal Transformer, så att förändringar i rörelserna under klippet kunde beaktas som en sekvens i stället för som isolerade bildrutor.

Därefter sammanfördes de tre strömmarna till en enda representation, där ansiktsutseendet fick störst vikt, följt av ljud och rörelse. Efter normalisering och dropout omvandlade en slutlig klassificerare den sammanslagna representationen till sannolikheter för ”normal” respektive ”riskfylld”, med 0,5 som gränsvärde.

För strömmen för ansiktsutseende användes tre ImageNet–förtränade basmodeller: Swin-Tiny, ViT-Tiny och DeiT-Tiny.

Tester

För testningen tilldelades klippen manuellt en av fyra etiketter: Ingen risk, Låg risk, Medelhög risk eller Hög risk, baserat på synligt beteende, rörelse och ljud. I den slutliga binära uppgiften grupperades de tre riskkategorierna tillsammans som ”riskfylld”, medan Ingen risk blev ”normal”. För att minska risken för dataläckage mellan träning och utvärdering hölls klipp från samma källvideo inom samma datamängdsparti.

Själva våldsincidenten togs bort från alla riskfyllda klipp, så att endast beteendet före incidenten återstod för modellen att bedöma:

Resultat på testmängden som visar hur prestandan förändras när ansiktsutseende, ljud och rörelse används var för sig eller i kombination med de tre visuella basmodellerna. Ablationsupplägget isolerar varje indataströms bidrag. Högre poäng innebär bättre prestanda, och värden i fetstil anger det bästa resultatet för varje mått.

Resultat på testmängden som visar hur prestandan förändras när ansiktsutseende, ljud och rörelse används var för sig eller i kombination med de tre visuella basmodellerna. Ablationsupplägget isolerar varje indataströms bidrag. Högre poäng innebär bättre prestanda, och värden i fetstil anger det bästa resultatet för varje mått.

Som redan nämnts kom det starkaste samlade resultatet från DeiT-Tiny med alla tre modaliteter kombinerade. Ablationerna tydliggör varje ströms bidrag: ansiktsutseende var redan en stark prediktor på egen hand, medan rörelse presterade måttligt och ljud var betydligt svagare när det användes isolerat.

De bästa resultaten uppnåddes när information om ansikte, ljud och rörelse kombinerades, vilket visar att de svagare strömmarna ändå tillförde användbar kompletterande information till den visuella signalen.

Även om modellen bara tränades för att skilja mellan ”normal” och ”riskfylld” jämfördes dess utdata också med de ursprungliga etiketterna på fyragradig skala: Ingen risk, Låg risk, Medelhög risk och Hög risk. Som visas nedan ökar den förutsagda risken i stort sett i takt med dessa kategorier i tränings-, validerings- och testmängderna:

Förutsagda riskpoäng för de fyra ursprungliga riskkategorierna. Även om modellen bara tränades för att skilja mellan normala och riskfyllda klipp stiger poängen i allmänhet från Ingen risk till Hög risk i tränings-, validerings- och testmängderna. Den streckade linjen markerar beslutströskeln 0,50.

Förutsagda riskpoäng för de fyra ursprungliga riskkategorierna. Även om modellen bara tränades för att skilja normala klipp från riskfyllda klipp, stiger poängen i allmänhet från Ingen risk till Hög risk i tränings-, validerings- och testuppsättningarna. Den streckade linjen markerar beslutströskeln 0,50.

Författarna kommenterar:

”Det här resultatet är viktigt eftersom modellen aldrig tränas uttryckligen för att skilja mellan låg, medelhög och hög risk. Trots det följer dess förutsägelser utvecklingen genom de ursprungliga risknivåerna. ”

”Detta tyder på att modellen fångar upp meningsfulla förändringar i beteendet före en incident, i stället för att bara lära sig en enkel gräns mellan normalt och riskfyllt. Resultatet ger också belägg för att användbara beteendesignaler kan förekomma innan den annoterade incidenten börjar.”

Och de drar slutsatsen:

”Dessa resultat tyder på att det kan finnas användbar särskiljande information under perioden före en incident, vilket belyser möjligheten att gå från att analysera våld först när det inträffar till att upptäcka risk tidigare.”

Slutsats

Har forskarna verkligen hittat en kombination av egenskaper som föregår våld? Med bara 443 klipp i experimenten är överanpassning en påtaglig risk, något som multimodala modeller och förtränade visuella basmodeller är särskilt benägna att drabbas av. Studien motverkar delvis detta genom att frysa den visuella basmodellen, fördela källvideorna mellan tränings-, validerings- och testuppdelningarna samt testa flera kombinationer av modaliteter.

Goda resultat på en liten datamängd bevisar inte att det underliggande mönstret är uppenbart eller ens existerar, eftersom resultaten också kan bero på signaler som är specifika för datamängden, annoteringsbias, läckage från källmaterialet som inte fångas upp av uppdelningen eller ett ovanligt lätt testset.

Men som läget är nu är resultatet intressant just eftersom datamängden är så liten och eftersom överanpassning verkar ha motverkats tillräckligt väl. Resultaten behöver dock upprepas med en större datamängd innan det inlärda mönstret kan betraktas som ”robust”.

 

Först publicerad torsdagen den 1 oktober 2026

Skribent inom maskininlärning, domänspecialist på mänsklig bildsyntes. Tidigare chef för forskningsinnehåll på Metaphysic.ai, fram till dess upplösning i DNEG:s Brahma.ai.
Webbplats: martinanderson.ai
Kontakt: martin@martinanderson.ai