Andersonin kulma

Väkivallan ennustaminen etukäteen tekoälyn avulla

Martin Anderson
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
A still from Minority Report (2002), a film centered on predicting violent crimes before they occur, alongside an inset from Can We Anticipate Violence? Multimodal Learning from Pre-Incident Behavioral Cues, which investigates the same problem using AI analysis of facial appearance, audio and body motion. Minority Report image © 2002 Twentieth Century Fox and DreamWorks Pictures; reproduced for editorial commentary.
Keskeiset kohdatVäkivallan ennustaminen ennen kuin se tapahtuu uhkaa toistaa Minority Reportin…
Näytä lisää
  • Väkivallan ennustaminen ennen kuin se tapahtuu uhkaa toistaa Minority Reportin dystooppisia pelkoja.
  • Kasvojen ulkonäön yhdistäminen ääni- ja liikevihjeisiin päihittää minkä tahansa yksittäisen signaalin.
  • Https://www.youtube.com/watch?v tDSXPQcpybU A (ei-todellinen) testi IVS:n väkivallantunnistusjärjestelmälle.

Tyypillinen tapa tutkia kysymystä ”Voiko tekoäly automatisoida tämän?” on antaa mallille useita esimerkkejä asiasta, jonka ominaisuus halutaan erottaa, ja selvittää, pystyykö niillä koulutettu malli tunnistamaan saman ominaisuuden samankaltaisesta aineistosta, jota ei käytetty koulutuksessa:

Kaavio viimeisenä oljenkortena kokeiltavasta tekoälyhankkeesta: merkityt esimerkit jaetaan koulutus- ja testiaineistoihin. Malli oppii ensimmäisestä ja kohtaa sitten toisesta aiemmin näkemättömiä esimerkkejä. Jos se on todella oppinut kiinnostavan ominaisuuden eikä vain opetellut koulutusdataa ulkoa, sen pitäisi tunnistaa sama kuvio testiaineistosta. Lähde - https://upload.wikimedia.org/wikipedia/commons/0/09/Supervised_machine_learning_in_a_nutshell.svg

Kaavio viimeisenä oljenkortena kokeiltavasta tekoälyhankkeesta: merkityt esimerkit jaetaan koulutus- ja testiaineistoihin. Malli oppii ensimmäisestä ja kohtaa sitten toisesta aiemmin näkemättömiä esimerkkejä. Jos se on todella oppinut kiinnostavan ominaisuuden eikä vain opetellut koulutusdataa ulkoa, sen pitäisi tunnistaa sama kuvio testiaineistosta. Lähde

Kyse on tavallaan viimeisestä oljenkorresta, sillä tällaiset kokeet perustuvat oletukseen, että ominaisuus erottuu lopulta datasta, kun tekoäly tarkastelee aineistoa riittävän pitkään, ja että jokin ”taustalla vaikuttava suuntaus” on ylipäätään olemassa. Jos ominaisuus olisi helppo tunnistaa, emme tarvitsisi tekoälymallia lainkaan tai käyttäisimme sitä vain rutiinien automatisointiin.

Yleensä näin ei ole: useimmat tällaiset tutkimushankkeet etsivät avoimesti piileviä kuvioita, joiden tunnistaminen saattaisi vaatia yli-inhimillisen määrän toistuvaa tarkastelua.

Usein kuvio jää vaikeasti tavoitettavaksi eikä sitä välttämättä ole olemassakaan, sillä jotkin tapahtumat ja ominaisuudet voivat todella olla täysin sattumanvaraisia. Vaihtoehtoisesti aineisto on jollakin tavalla riittämätöntä, huonosti valmisteltua tai koulutus on puutteellista.

Katse eteenpäin

Joskus tavoite on niin haluttu — syövän parantaminen, ydinfuusio, termodynamiikan lakien ylittäminen ja niin edelleen — ja niin ”poliittisesti houkutteleva”, että tutkimuskirjallisuus palaa siihen yhä uudelleen selvittääkseen, voisivatko parempi data tai paremmat menetelmät sittenkin paljastaa ominaisen kuvion.

Yksi tällainen ala on automaattinen videon ymmärtäminen julkisissa tiloissa ja poliisiin liittyvissä käyttöympäristöissä. Esimerkiksi tänä vuonna uusi tutkimus käytti todellisia videoita itsemurhayrityksistä tunnistaakseen yritystä edeltäviä oleskelutaipumuksia ja kehittääkseen ennustavan järjestelmän, joka voisi havaita ihmiselle ominaisen liikkumistavan julkisella junalaiturilla ennen hyppäämistä:

Vuoden 2026 tutkimuksesta ”Itsemurhariskin arviointi tekoälypohjaisesta videovalvonnasta: tulkittava viitekehys ehkäisyyn metroasemilla”: ennusteet kahdesta ruudusta, joista toinen näyttää todellisen itsemurhayrityksen raiteilla ja toinen tilanteen ilman tapausta. Ruutujen vieressä olevat lämpökartat kuvaavat laiturin suuremman ja pienemmän riskin alueita henkilön tunnelin suuaukon lähellä ilmenevän ”oleskelutaipumuksen” ja aiemmissa yrityksissä havaittujen kuvioiden perusteella. Lähde - https://arxiv.org/pdf/2605.22904

Vuoden 2026 tutkimuksesta ”Itsemurhariskin arviointi tekoälypohjaisesta videovalvonnasta: tulkittava viitekehys ehkäisyyn metroasemilla”: ennusteet kahdesta ruudusta, joista toinen näyttää todellisen itsemurhayrityksen raiteilla ja toinen tilanteen ilman tapausta. Ruutujen vieressä olevat lämpökartat kuvaavat laiturin suuremman ja pienemmän riskin alueita henkilön tunnelin suuaukon lähellä ilmenevän ”oleskelutaipumuksen” ja aiemmissa yrityksissä havaittujen kuvioiden perusteella. Lähde

Tässä tapauksessa junan eteen hyppäämistä harkitsevalle henkilölle tyypillisissä ”oleskelukuvioissa” — yllä olevan kuvan äärilaidoilla — näytti olevan erottuva tunnusmerkki. Sitä voisi käyttää kuviontunnistukseen perustuvana hälytysjärjestelmänä automaattisessa valvonnassa.

Toinen suosittu tutkimussuunta on väkivallan havaitseminen ja tunnistaminen. Miehittämättömät valvontajärjestelmät voitaisiin saada tunnistamaan väkivaltaisia tekoja, jotta ihmisten huomio kiinnittyisi niihin nopeasti. Ne voisivat myös käynnistää lisätoimia, kuten merkitä videon pitkäaikaista säilytystä varten ja varmistaa, että tallennus on todella käynnissä.

IVS:n väkivallan tunnistusjärjestelmän lavastettu testi, ei todellinen väkivaltatilanne. Lähde

University of Alabaman uuden tutkimuksen mukaan aiempi kirjallisuus on keskittynyt tunnistamaan väkivaltaa sen jo tapahtuessa. Uudessa työssä tutkijat kouluttivat mallin ainoastaan väkivaltatapahtumaa edeltävällä videolla — tai tilastollisen tasapainon vuoksi videolla, jota ei seurannut tapahtuma. Tarkoituksena oli selvittää, voisiko olla toistuvia ja opittavia ”väkivaltaa edeltäviä” ominaisuuksia: tässä kehon liikkeen, kasvojen ilmeen ja äänen yhdistelmä, joka voisi ennakoida väkivaltaista toimintaa sen sijaan, että siihen vain reagoitaisiin jälkikäteen.

Esimerkkejä tutkimuksen ”riskialttiista” tapahtumaa edeltävistä jaksoista neljän peräkkäisen ruudun sarjoina. Järjestelmä seuraa kehon niveliä ja liikettä ajan kuluessa ja etsii asennon, nopeuden ja vuorovaikutuskuvioiden muutoksia, jotka saattavat erottaa kärjistyvät tilanteet ennen kuin väkivalta itsessään näkyy. Lähde - https://arxiv.org/pdf/2609.40014

Esimerkkejä tutkimuksen ”Voimmeko ennakoida väkivaltaa? Multimodaalinen oppiminen tapahtumaa edeltävistä käyttäytymisvihjeistä” riskialttiista jaksoista neljän peräkkäisen ruudun sarjoina. Järjestelmä seuraa kehon niveliä ja liikettä ajan kuluessa ja etsii asennon, nopeuden ja vuorovaikutuskuvioiden muutoksia, jotka saattavat erottaa kärjistyvät tilanteet ennen kuin väkivalta itsessään näkyy. Lähde

Tällainen työ tietenkin herättäisi todennäköisesti huolta, jos sitä kehitettäisiin tai otettaisiin käyttöön. Kuten olen aiemmin huomauttanut, televisiosarja Person of Interest ja vuoden 2002 tieteistoimintaelokuva Minority Report ovat monien vastaavien fiktiivisten teosten tavoin heijastaneet yleisiä pelkoja ennustusteknologioista poliisin tai valvontaviranomaisten käsissä.

Väkivaltaisen toiminnan ennustamisessa kehon, kasvojen ja äänen vihjeistä — ei esimerkiksi kontekstista, vuorokaudenajasta, sijainnista tai aiemmista rikostilastoista — kysymys on kuitenkin toistaiseksi lähinnä teoreettinen. Uuden artikkelin kirjoittajien mukaan tutkimussuunta on hyvin tuore.

Testeissä tutkijat vertasivat kasvojen ulkonäköön, ääneen ja kehon liikkeeseen liittyviä vihjeitä erikseen ja yhdessä käyttäen kolmea eri näkömallin perusarkkitehtuuria. Parhaat tulokset saatiin yhdistämällä kaikki kolme signaalia, mikä viittaa siihen, ettei ennustevaikutus perustunut vain yhteen vihjetyyppiin:

”Paras kokoonpano, Deit-Tiny yhdessä äänen, kasvojen ulkonäön ja liikkeen kanssa, saavuttaa erillään pidetyssä testiaineistossa 91,21 prosentin tarkkuuden, 88,96 prosentin tasapainotetun tarkkuuden, 93,65 prosentin F1-arvon ja 96,38 prosentin ROC-AUC-arvon.

”Tulokset viittaavat siihen, että toisiaan täydentävät ulkonäköön, akustiikkaan ja kinematiikkaan liittyvät vihjeet antavat hyödyllistä näyttöä kohonneen riskin tunnistamiseksi ennen tapahtumaa.”

Menetelmä

Tutkimusta varten koostettu aineisto on peräisin XD-Violence-kokoelmasta, ja siinä käsitellään yhdessä kolmea modaliteettia: kasvojen ulkonäköä, ääntä ja asennon arvioinnista johdettua liikettä:

Tutkimuksen käsittelyketju. Jokaiselle leikkeelle merkitään riskitaso, joka pelkistetään luokaksi ”ei riskiä” tai ”riskialtis”, minkä jälkeen leikkeet jaetaan koulutus-, validointi- ja testiaineistoihin. Enintään neljän sekunnin video analysoidaan kolmessa haarassa: kasvojen ulkonäkö eri ruuduissa, spektrogrammiksi muunnettu ääni sekä seuratuista avainpisteistä johdetut kehon liikkeen suureet, kuten nopeus ja kiihtyvyys. Kasvo-, ääni- ja liikepiirteet yhdistetään yhdeksi esitykseksi ja syötetään lopulliseen luokittimeen, joka antaa leikkeelle todennäköisyyden kuulua riskittömään tai riskialttiiseen luokkaan.

Tutkimuksen käsittelyketju. Jokaiselle leikkeelle merkitään riskitaso, joka pelkistetään luokaksi ”ei riskiä” tai ”riskialtis”, minkä jälkeen leikkeet jaetaan koulutus-, validointi- ja testiaineistoihin. Enintään neljän sekunnin video analysoidaan kolmessa haarassa: kasvojen ulkonäkö eri ruuduissa, spektrogrammiksi muunnettu ääni sekä seuratuista avainpisteistä johdetut kehon liikkeen suureet, kuten nopeus ja kiihtyvyys. Kasvo-, ääni- ja liikepiirteet yhdistetään yhdeksi esitykseksi ja syötetään lopulliseen luokittimeen, joka antaa leikkeelle todennäköisyyden kuulua riskittömään tai riskialttiiseen luokkaan.

Näin koottu aineisto sisälsi 443 tapahtumaa edeltävää leikettä. Palaamme tähän määrään artikkelin lopussa.

Artikkelin mukaan XD-Violence-kokoelmasta valitut videot soveltuivat hankkeen tavoittelemaan ihmisiin keskittyvään analyysiin. Monet vastaavat aiemmat lähestymistavat olivat sen sijaan käyttäneet koko näkymää ennustamisen kontekstina.

Leikkeet olivat enintään neljän sekunnin pituisia, ja niistä poimittiin 8 ruutua sekunnissa. Yksikerroksinen Transformer, jossa oli kahdeksan huomiopäätä, kokosi näin saadut 32 ruutunäytettä. Opitut paikkaupotukset säilyttivät ruutujen järjestyksen. Perusmalli pidettiin jäädytettynä multimodaalisen koulutuksen ajan ylisovittamisen välttämiseksi.

Esimerkkejä aktivointikartoista, myös kasvokuvista, esitettiin aiemmin artikkelissa riskialttiille aktivoinneille; alla ovat esimerkit ilman riskiä:

Riskittömiä esimerkkejä tutkimuksen kasvoanalyysihaarasta täydentämässä aiemmin esitettyjä riskialttiita liike-esimerkkejä. Alkuperäinen kasvorajaus on vasemmalla, ja sitä seuraavat DeiT-Tiny-näkömallin yhä syvempien kerrosten aktivointikartat. Lämpimämmät alueet kertovat voimakkaammista piirrevasteista ja havainnollistavat, miten mallin huomio siirtyy ja muuttuu abstraktimmaksi kuvan kulkiessa verkon läpi.

Riskittömiä esimerkkejä tutkimuksen kasvoanalyysihaarasta täydentämässä aiemmin esitettyjä riskialttiita liike-esimerkkejä. Alkuperäinen kasvorajaus on vasemmalla, ja sitä seuraavat DeiT-Tiny-näkömallin yhä syvempien kerrosten aktivointikartat. Lämpimämmät alueet kertovat voimakkaammista piirrevasteista ja havainnollistavat, miten mallin huomio siirtyy ja muuttuu abstraktimmaksi kuvan kulkiessa verkon läpi.

Lähdeleikkeen ääni näytteistettiin uudelleen 16 kHz:n taajuudelle, normalisoitiin ja kohdistettiin vastaavaan visuaaliseen aikaikkunaan. Sitten se muunnettiin standardoiduiksi logaritmisen magnitudin spektrogrammeiksi käyttämällä 512 pisteen lyhytaikaista Fourier-muunnosta ja 400 näytteen Hann-ikkunaa:

Normaalien ja riskialttiiden tapahtumaa edeltävien leikkeiden keskimääräisten äänikuvioiden vertailu. Ylärivillä ovat normaalit ja alarivillä riskialttiit leikkeet, alkaen alkuperäisestä aaltomuodosta ja spektrogrammista ja päätyen verkon kolmella peräkkäisellä syvyydellä opittuihin piirteisiin. Riskialttiissa leikkeissä ajallinen vaihtelu on suurempaa, ja esimerkiksi akustinen aktiivisuus lisääntyy neljän sekunnin ikkunan loppua kohti. Verkko muuntaa nämä erot vähitellen korkeamman tason piirteiksi.

Normaalien ja riskialttiiden tapahtumaa edeltävien leikkeiden keskimääräisten äänikuvioiden vertailu. Ylärivillä ovat normaalit ja alarivillä riskialttiit leikkeet, alkaen alkuperäisestä aaltomuodosta ja spektrogrammista ja päätyen verkon kolmella peräkkäisellä syvyydellä opittuihin piirteisiin. Riskialttiissa leikkeissä ajallinen vaihtelu on suurempaa, ja esimerkiksi akustinen aktiivisuus lisääntyy neljän sekunnin ikkunan loppua kohti. Verkko muuntaa nämä erot vähitellen korkeamman tason piirteiksi.

Liikeosuutta varten kehon liike pelkistettiin numeerisiksi kuvaajiksi, jotka johdettiin YOLO-asentoestimaattorin tunnistamista COCO-17-avainpisteistä.

Laskettiin kaksitoista mittaria, kuten keskimääräinen ja suurin nopeus, kiihtyvyys ja kiihtyvyyden muutosnopeus, nopeuden vaihtelu, ranteiden ja nilkkojen nopeudet sekä kokonaisvaltainen liike-energia. Arvot normalisoitiin kehon koon mukaan, jotta suurempien ihmisten ei automaattisesti tulkittaisi liikkuvan enemmän. Myös saman leikkeen useiden ihmisten mittaukset yhdistettiin.

Koulutusdataan perustuvan standardoinnin jälkeen liikepiirteet laajennettiin 64-ulotteiseksi esitykseksi ja vietiin ajallisen Transformerin läpi. Näin leikkeen liikkeen muutoksia voitiin käsitellä jaksona yksittäisten irrallisten ruutujen sijaan.

Kolme tietovirtaa yhdistettiin sitten yhdeksi esitykseksi. Kasvojen ulkonäölle annettiin suurin osuus, seuraavina tulivat ääni ja liike. Normalisoinnin ja dropout-menetelmän jälkeen lopullinen luokitin muunsi yhdistelmän luokkien ”normaali” ja ”riskialtis” todennäköisyyksiksi käyttäen rajana arvoa 0,5.

Kasvojen ulkonäköä käsittelevässä haarassa käytettiin kolmea ImageNet-aineistolla esikoulutettua perusmallia: Swin-Tiny, ViT-Tiny ja DeiT-Tiny.

Testit

Testausta varten leikkeille annettiin käsin näkyvän käyttäytymisen, liikkeen ja äänen perusteella yksi neljästä luokasta: Ei riskiä, Matala riski, Keskitasoinen riski tai Korkea riski. Lopullisessa kaksiluokkaisessa tehtävässä kolme riskiluokkaa yhdistettiin luokaksi ”riskialtis”, ja luokasta Ei riskiä tuli ”normaali”. Koulutuksen ja arvioinnin välisen tietovuodon vähentämiseksi samasta lähdevideosta otetut leikkeet pidettiin samassa aineiston osassa.

Jokaisesta riskialttiista leikkeestä poistettiin itse väkivaltatapahtuma, jolloin mallin arvioitavaksi jäi vain sitä edeltävä käyttäytyminen:

Testiaineiston tulokset osoittavat suorituskyvyn muutokset, kun kasvojen ulkonäköä, ääntä ja liikettä käytetään erikseen tai yhdessä kolmessa visuaalisessa perusmallissa. Ablaatiokokeet erottavat kunkin syötevirran vaikutuksen. Korkeammat arvot merkitsevät parempaa suorituskykyä, ja lihavoidut arvot ovat kunkin mittarin parhaat tulokset.

Testiaineiston tulokset osoittavat suorituskyvyn muutokset, kun kasvojen ulkonäköä, ääntä ja liikettä käytetään erikseen tai yhdessä kolmessa visuaalisessa perusmallissa. Ablaatiokokeet erottavat kunkin syötevirran vaikutuksen. Korkeammat arvot merkitsevät parempaa suorituskykyä, ja lihavoidut arvot ovat kunkin mittarin parhaat tulokset.

Kuten jo todettiin, paras kokonaistulos saatiin DeiT-Tinylla yhdistämällä kaikki kolme modaliteettia. Ablaatiot selventävät eri virtojen vaikutusta: kasvojen ulkonäkö oli vahva ennustaja jo yksinään, liike suoriutui kohtalaisesti ja ääni oli yksin selvästi heikompi.

Parhaat tulokset saatiin yhdistämällä kasvo-, ääni- ja liiketiedot. Se osoittaa, että heikommatkin virrat lisäsivät visuaaliseen signaaliin hyödyllistä täydentävää tietoa.

Vaikka malli koulutettiin erottamaan vain ”normaali” ja ”riskialtis”, sen tuloksia verrattiin myös alkuperäisiin neljään luokkaan: Ei riskiä, Matala riski, Keskitasoinen riski ja Korkea riski. Kuten alla näkyy, ennustettu riski kasvaa pääosin näiden luokkien mukana koulutus-, validointi- ja testiaineistoissa:

Ennustetut riskipisteet neljässä alkuperäisessä riskiluokassa. Vaikka malli koulutettiin vain erottamaan normaalit leikkeet riskialttiista, pisteet yleensä nousevat luokasta Ei riskiä luokkaan Korkea riski koulutus-, validointi- ja testiaineistoissa. Katkoviiva merkitsee päätösrajaa 0,50.

Ennustetut riskipisteet neljässä alkuperäisessä riskiluokassa. Vaikka malli koulutettiin vain erottamaan normaalit leikkeet riskialttiista, pisteet yleensä nousevat luokasta Ei riskiä luokkaan Korkea riski koulutus-, validointi- ja testiaineistoissa. Katkoviiva merkitsee päätösrajaa 0,50.

Kirjoittajat kommentoivat:

”Tulos on tärkeä, sillä mallia ei koskaan nimenomaisesti kouluteta erottamaan matalaa, keskitasoista ja korkeaa riskiä. Silti sen ennusteet seuraavat alkuperäisten riskitasojen etenemistä.

”Tämä viittaa siihen, että malli tavoittaa merkityksellisiä muutoksia tapahtumaa edeltävässä käyttäytymisessä eikä opi vain yksinkertaista normaalin ja riskialttiin rajaa. Tulos antaa myös näyttöä siitä, että hyödyllisiä käyttäytymisvihjeitä voi esiintyä ennen merkityn tapahtuman alkua.”

He päättelevät:

”Havainnot viittaavat siihen, että tapahtumaa edeltävänä aikana voi esiintyä hyödyllistä erottelevaa tietoa. Tämä korostaa mahdollisuutta laajentaa väkivallan analyysiä jo käynnissä olevien tapahtumien havaitsemisesta varhaisempaan riskin tunnistamiseen.”

Johtopäätös

Löysivätkö tutkijat todella ”väkivaltaa edeltävän” ominaisuuksien yhdistelmän? Kun kokeissa oli vain 443 leikettä, ylisovittamisen riski on huomattava, ja multimodaaliset mallit sekä esikoulutetut näkömallit ovat sille erityisen alttiita. Tutkimus vähentää riskiä osittain jäädyttämällä visuaalisen perusmallin, erottamalla lähdevideot koulutus-, validointi- ja testiosiin sekä kokeilemalla useita modaliteettien yhdistelmiä.

Hyvä suorituskyky pienellä aineistolla ei osoita taustakuvion olevan ilmeinen tai edes olemassa. Se voi myös heijastaa aineistokohtaisia vihjeitä, annotointiharhaa, jaossa huomaamatta jäänyttä lähteiden tietovuotoa tai poikkeuksellisen helppoa testiaineistoa.

Nykyisellään tulos on kuitenkin kiinnostava juuri siksi, että aineisto on niin pieni ja ylisovittamiselta näyttää suojaudutun riittävästi. Havainnot pitäisi silti toistaa suuremmalla aineistolla, ennen kuin opittua kuviota voisi pitää ”vankkana”.

 

Julkaistu ensimmäisen kerran torstaina 1. lokakuuta 2026

Kirjoittaja koneoppimisen parissa, ihmisiä esittävien kuvien synteesin asiantuntija. Entinen tutkimussisällön johtaja Metaphysic.ai:ssa, kunnes se sulautui DNEG:n Brahma.ai:hin.
Verkkosivu: martinanderson.ai
Yhteystiedot: martin@martinanderson.ai