Sudut Anderson

Memprediksi Kekerasan Sebelum Terjadi dengan AI

Martin Anderson
Tambahkan Unite.AI ke sumber pilihan Anda di Google
A still from Minority Report (2002), a film centered on predicting violent crimes before they occur, alongside an inset from Can We Anticipate Violence? Multimodal Learning from Pre-Incident Behavioral Cues, which investigates the same problem using AI analysis of facial appearance, audio and body motion. Minority Report image © 2002 Twentieth Century Fox and DreamWorks Pictures; reproduced for editorial commentary.
Poin utamaMemprediksi kekerasan sebelum terjadi berisiko menggemakan ketakutan distopia dari…
Lihat selengkapnya
  • Memprediksi kekerasan sebelum terjadi berisiko menggemakan ketakutan distopia dari Minority Report.
  • Menggabungkan penampilan wajah dengan isyarat audio dan gerakan mengungguli sinyal tunggal mana pun.
  • Https://www.youtube.com/watch?v tDSXPQcpybU Sebuah uji (non-nyata) untuk sistem deteksi kekerasan dari IVS.

Pola umum dalam penyelidikan “Bisakah AI mengotomatiskan ini?” adalah memasukkan sejumlah contoh sesuatu yang karakteristiknya ingin Anda isolasi, lalu melihat apakah model yang dilatih dengan data tersebut dapat mengenali karakteristik itu pada data serupa yang tidak digunakan dalam pelatihan:

Skema untuk proyek AI yang merupakan upaya terakhir dengan peluang keberhasilan kecil: contoh berlabel dibagi menjadi set pelatihan dan set pengujian. Model belajar dari set pertama, lalu diuji dengan contoh-contoh yang belum pernah dilihat dari set kedua. Jika model benar-benar mempelajari karakteristik yang dicari, alih-alih menghafal data pelatihan, model seharusnya mengenali pola yang sama dalam set pengujian. Sumber - https://upload.wikimedia.org/wikipedia/commons/0/09/Supervised_machine_learning_in_a_nutshell.svg

Skema untuk proyek AI yang merupakan upaya terakhir dengan peluang keberhasilan kecil: contoh berlabel dibagi menjadi set pelatihan dan set pengujian. Model belajar dari set pertama, lalu diuji dengan contoh-contoh yang belum pernah dilihat dari set kedua. Jika model benar-benar mempelajari karakteristik yang dicari, alih-alih menghafal data pelatihan, model seharusnya mengenali pola yang sama dalam set pengujian. Sumber

Ini agak seperti upaya spekulatif, karena eksperimen semacam itu bertumpu pada asumsi bahwa karakteristik tersebut pada akhirnya akan tampak dalam data jika AI terus mengamati kumpulan data, dan bahwa memang ada semacam “tren mendasar” yang dapat diungkap. Jika karakteristik itu mudah kita kenali, kita tidak akan membutuhkan model AI sama sekali, atau kita hanya akan menggunakannya untuk otomatisasi rutin.

Biasanya tidak demikian; sebagian besar inisiatif penelitian semacam ini merupakan “ekspedisi mencari pola” tersembunyi yang hanya dapat dikenali dengan pengamatan berulang kali dalam skala yang melampaui kemampuan manusia.

Sering kali, pola tersebut sulit ditemukan, bahkan mungkin tidak ada, karena beberapa peristiwa dan sifat memang dapat terjadi secara acak sepenuhnya; atau, datanya tidak memadai, dikurasi dengan buruk, atau kurang terlatih.

Menatap ke Depan

Dalam beberapa kasus, hadiahnya begitu besar (menyembuhkan kanker, mewujudkan fusi nuklir, mengatasi hukum termodinamika, dan sebagainya) dan begitu “menarik secara politis” sehingga literatur penelitian terus kembali membahasnya, untuk melihat apakah data atau teknik yang lebih baik dapat mengungkap pola karakteristik tersebut.

Salah satu bidangnya adalah Pemahaman Video Otomatis, khususnya yang berkaitan dengan ruang publik dan ranah yang melibatkan polisi. Sebagai contoh, tahun ini sebuah studi baru menggunakan rekaman video dunia nyata tentang upaya bunuh diri untuk mengidentifikasi pola “berdiam diri” sebelum seseorang mencoba bunuh diri, serta membuat sistem prediksi yang dapat mengenali pola gerak khas mereka di peron kereta umum sebelum melompat:

Dari makalah tahun 2026 “Penilaian Risiko Bunuh Diri dari Pengawasan Video Bertenaga AI: Kerangka Kerja yang Dapat Ditafsirkan untuk Pencegahan di Stasiun Metro”, prediksi dari dua bingkai: satu menampilkan upaya bunuh diri yang benar-benar terjadi di rel kereta, sedangkan yang lain menunjukkan kasus tanpa insiden. Peta panas di samping setiap bingkai menunjukkan area berisiko lebih tinggi dan lebih rendah di peron, berdasarkan “kecenderungan seseorang untuk berdiam diri” di dekat mulut terowongan dan pola yang teramati dalam upaya bunuh diri sebelumnya. Sumber - https://arxiv.org/pdf/2605.22904

Dari makalah tahun 2026 “Penilaian Risiko Bunuh Diri dari Pengawasan Video Bertenaga AI: Kerangka Kerja yang Dapat Ditafsirkan untuk Pencegahan di Stasiun Metro”, prediksi dari dua bingkai: satu menampilkan upaya bunuh diri yang benar-benar terjadi di rel kereta, sedangkan yang lain menunjukkan kasus tanpa insiden. Peta panas di samping setiap bingkai menunjukkan area berisiko lebih tinggi dan lebih rendah di peron, berdasarkan “kecenderungan seseorang untuk berdiam diri” di dekat mulut terowongan dan pola yang teramati dalam upaya bunuh diri sebelumnya. Sumber

Dalam kasus ini, “pola berdiam diri” (di sisi paling kiri dan paling kanan gambar di atas) yang lazim dilakukan seseorang ketika mempertimbangkan untuk melompat ke depan kereta tampaknya memiliki ciri khas tersendiri yang dapat digunakan sebagai sistem peringatan berbasis pengenalan pola dalam sistem pengawasan otomatis.

Bidang penelitian populer lainnya dalam ranah ini adalah deteksi/pengenalan kekerasan, yang memungkinkan sistem pengawasan tanpa operator mengenali tindakan kekerasan agar segera diketahui oleh manusia—bahkan memicu tindakan tambahan, seperti menandai rekaman untuk disimpan dalam jangka panjang dan memastikan bahwa perekaman benar-benar sedang berlangsung, di antara langkah-langkah lainnya.

Uji coba (bukan kejadian nyata) untuk sistem deteksi kekerasan dari IVS. Sumber 

Menurut penelitian baru dari University of Alabama, penelitian yang ada hingga saat ini berfokus pada pengenalan kekerasan saat kekerasan itu sedang terjadi. Untuk penelitian baru ini, para peneliti melatih model hanya menggunakan rekaman video yang diambil sebelum suatu peristiwa kekerasan (atau rekaman tanpa peristiwa apa pun, demi keseimbangan statistik), untuk mengetahui apakah ada karakteristik “pra-kekerasan” yang berulang dan dapat dipelajari—dalam hal ini, gabungan gerakan tubuh, ekspresi wajah, dan audio yang bersama-sama dapat memberikan sinyal prediktif tentang tindakan kekerasan, alih-alih sekadar merespons setelah tindakan itu terjadi.

Contoh rangkaian pra-insiden yang “berisiko” dari penelitian ini, ditampilkan dalam empat bingkai berurutan. Sistem melacak sendi tubuh dan gerakan dari waktu ke waktu, untuk mencari perubahan postur, kecepatan, dan pola interaksi yang dapat membedakan situasi yang kian memanas sebelum kekerasan itu sendiri terlihat. Sumber - https://arxiv.org/pdf/2609.40014

Contoh rangkaian pra-insiden yang “berisiko” dari penelitian “Bisakah Kita Mengantisipasi Kekerasan? Pembelajaran Multimodal dari Isyarat Perilaku Pra-Insiden”, ditampilkan dalam empat bingkai berurutan. Sistem melacak sendi tubuh dan gerakan dari waktu ke waktu, untuk mencari perubahan postur, kecepatan, dan pola interaksi yang dapat membedakan situasi yang kian memanas sebelum kekerasan itu sendiri terlihat. Sumber

Tentu saja, penelitian semacam ini berpotensi menimbulkan kekhawatiran jika dikembangkan atau diterapkan. Seperti yang pernah saya singgung sebelumnya, karya fiksi seperti serial TV Person of Interest dan film laga fiksi ilmiah tahun 2002 Minority Report, di antara banyak karya serupa, mencerminkan kekhawatiran publik terhadap teknologi prediktif di tangan polisi atau otoritas regulator.

Untuk saat ini, dalam hal memprediksi tindakan kekerasan berdasarkan isyarat tubuh, wajah, dan audio (bukan faktor seperti konteks, waktu, lokasi, atau angka kejahatan historis), pertanyaan ini masih belum terjawab karena, menurut penulis makalah baru tersebut, bidang penelitian ini masih sangat baru.

Dalam pengujian, para peneliti membandingkan isyarat penampilan wajah, audio, dan gerakan tubuh secara terpisah maupun gabungan, dengan menggunakan tiga model dasar visi komputer yang berbeda. Hasil terbaik diperoleh saat ketiga sinyal digabungkan, yang menunjukkan bahwa efek prediktif tersebut tidak didorong oleh satu jenis isyarat saja:

“Konfigurasi terbaik, Deit-Tiny dengan audio, penampilan wajah, dan gerakan, mencapai akurasi 91,21%, akurasi seimbang 88,96%, skor F1 93,65%, dan ROC-AUC 96,38% pada set pengujian yang disisihkan.”

“Hasil ini menunjukkan bahwa isyarat penampilan, akustik, dan kinematik yang saling melengkapi memberikan bukti yang berguna untuk mengenali peningkatan risiko pra-insiden.”

Pendekatan

Kumpulan data yang disusun untuk penelitian ini berasal dari koleksi XD-Violence, dan memproses tiga modalitas secara bersamaan: penampilan wajah, audio, dan gerakan yang diperkirakan dari pose:

Alur pemrosesan penelitian. Setiap klip diberi label berdasarkan tingkat risikonya, lalu dikelompokkan ke dalam kategori “tanpa risiko” atau “berisiko” sebelum dibagi menjadi set pelatihan, validasi, dan pengujian. Rekaman hingga empat detik dianalisis melalui tiga cabang: penampilan wajah di seluruh bingkai, audio yang diubah menjadi spektrogram, dan gerakan tubuh yang diturunkan dari titik-titik kunci yang dilacak, seperti kecepatan dan akselerasi. Fitur wajah, audio, dan gerakan yang dihasilkan digabungkan menjadi satu representasi dan dimasukkan ke pengklasifikasi akhir, yang menetapkan probabilitas bahwa klip tersebut termasuk kategori tanpa risiko atau berisiko.

Alur pemrosesan penelitian. Setiap klip diberi label berdasarkan tingkat risikonya, lalu dikelompokkan ke dalam kategori “tanpa risiko” atau “berisiko” sebelum dibagi menjadi set pelatihan, validasi, dan pengujian. Rekaman hingga empat detik dianalisis melalui tiga cabang: penampilan wajah di seluruh bingkai, audio yang diubah menjadi spektrogram, dan gerakan tubuh yang diturunkan dari titik-titik kunci yang dilacak, seperti kecepatan dan akselerasi. Fitur wajah, audio, dan gerakan yang dihasilkan digabungkan menjadi satu representasi dan dimasukkan ke pengklasifikasi akhir, yang menetapkan probabilitas bahwa klip tersebut termasuk kategori tanpa risiko atau berisiko.

Kumpulan data hasil kurasi tersebut memuat 443 klip pra-insiden (angka ini akan kita bahas di bagian akhir artikel).

Menurut makalah tersebut, video yang dipilih dari koleksi XD-Violence dianggap cocok sebagai subjek untuk jenis analisis yang berfokus pada manusia yang hendak diterapkan oleh proyek ini. Sebaliknya, banyak pendekatan serupa sebelumnya berfokus pada keseluruhan adegan sebagai konteks prediktif.

Klip yang digunakan berdurasi tidak lebih dari empat detik dan disampel pada 8 fps. Transformer satu lapis dengan delapan kepala atensi digunakan untuk menggabungkan 32 sampel bingkai yang dihasilkan, sementara embedding posisi yang dipelajari mempertahankan urutan bingkai. Model dasar tetap dibekukan selama pelatihan multimodal untuk menghindari pencocokan berlebihan.

Contoh peta aktivasi (termasuk gambar wajah) ditampilkan sebelumnya dalam artikel untuk aktivasi “berisiko”, dan di bawah ini untuk sampel tanpa risiko:

Contoh tanpa risiko dari cabang analisis wajah penelitian ini, yang melengkapi contoh gerakan berisiko yang ditampilkan sebelumnya. Potongan wajah asli terlihat di sebelah kiri, diikuti peta aktivasi dari lapisan model visi DeiT-Tiny yang semakin dalam. Area yang lebih hangat menunjukkan respons fitur yang lebih kuat, memperlihatkan bagaimana perhatian model bergeser dan menjadi lebih abstrak saat gambar melewati jaringan.

Contoh tanpa risiko dari cabang analisis wajah penelitian ini, yang melengkapi contoh gerakan berisiko yang ditampilkan sebelumnya. Potongan wajah asli terlihat di sebelah kiri, diikuti peta aktivasi dari lapisan model visi DeiT-Tiny yang semakin dalam. Area yang lebih hangat menunjukkan respons fitur yang lebih kuat, memperlihatkan bagaimana perhatian model bergeser dan menjadi lebih abstrak saat gambar melewati jaringan.

Komponen audio yang diambil dari klip sumber disampel ulang menjadi 16kHz, lalu dinormalisasi dan diselaraskan dengan jendela visual yang bersesuaian sebelum diubah menjadi spektrogram magnitudo logaritmik baku menggunakan transformasi Fourier waktu singkat 512 titik dan jendela Hann 400 sampel:

Perbandingan pola audio rata-rata pada klip sebelum insiden yang normal dan berisiko. Baris atas menampilkan klip normal dan baris bawah klip berisiko, dimulai dari bentuk gelombang dan spektrogram asli hingga fitur yang dipelajari pada tiga tingkat kedalaman jaringan berturut-turut. Klip berisiko menunjukkan variasi yang lebih besar dari waktu ke waktu, termasuk peningkatan aktivitas akustik menjelang akhir jendela empat detik, sementara jaringan secara bertahap mengubah perbedaan tersebut menjadi fitur tingkat tinggi.

Perbandingan pola audio rata-rata pada klip sebelum insiden yang normal dan berisiko. Baris atas menampilkan klip normal dan baris bawah klip berisiko, dimulai dari bentuk gelombang dan spektrogram asli hingga fitur yang dipelajari pada tiga tingkat kedalaman jaringan berturut-turut. Klip berisiko menunjukkan variasi yang lebih besar dari waktu ke waktu, termasuk peningkatan aktivitas akustik menjelang akhir jendela empat detik, sementara jaringan secara bertahap mengubah perbedaan tersebut menjadi fitur tingkat tinggi.

Untuk komponen gerakan, pergerakan tubuh diringkas menjadi sekumpulan deskriptor numerik yang diperoleh dari titik kunci COCO-17 yang dideteksi oleh estimator pose YOLO.

Dua belas ukuran dihitung, termasuk kecepatan rata-rata dan kecepatan maksimum, percepatan dan sentakan, variasi kecepatan, kecepatan pergelangan tangan dan pergelangan kaki, serta energi gerakan secara keseluruhan. Nilai-nilai ini dinormalisasi berdasarkan ukuran tubuh agar orang bertubuh lebih besar tidak otomatis tercatat bergerak lebih banyak. Selain itu, pengukuran dari beberapa orang dalam klip yang sama digabungkan.

Setelah menjalani standardisasi berdasarkan data pelatihan, fitur gerakan diperluas menjadi representasi 64 dimensi, lalu dimasukkan ke dalam Transformer temporal. Dengan demikian, perubahan gerakan sepanjang klip dapat dipertimbangkan sebagai suatu rangkaian, bukan sebagai bingkai-bingkai yang terpisah.

Ketiga aliran kemudian digabungkan menjadi satu representasi, dengan porsi terbesar diberikan pada tampilan wajah, disusul audio dan gerakan. Setelah normalisasi dan dropout, pengklasifikasi akhir mengubah representasi gabungan tersebut menjadi probabilitas untuk kategori “normal” dan “berisiko”, dengan ambang batas 0,5.

Untuk aliran tampilan wajah, digunakan tiga model dasar yang telah dilatih sebelumnya menggunakan ImageNet: Swin-Tiny; ViT-Tiny; dan DeiT-Tiny.

Pengujian

Untuk pengujian, klip diberi salah satu dari empat label secara manual: Tanpa Risiko, Risiko Rendah, Risiko Sedang, atau Risiko Tinggi, berdasarkan perilaku yang terlihat, gerakan, dan audio. Untuk tugas klasifikasi biner akhir, ketiga kategori risiko digabungkan menjadi “berisiko”, sedangkan Tanpa Risiko menjadi “normal”. Untuk mengurangi kebocoran antara pelatihan dan evaluasi, klip yang diambil dari video sumber yang sama ditempatkan dalam partisi dataset yang sama.

Insiden kekerasan itu sendiri dihapus dari setiap klip berisiko, sehingga hanya perilaku sebelum insiden yang tersisa untuk dinilai oleh model:

Hasil pada set pengujian yang menunjukkan perubahan kinerja saat tampilan wajah, audio, dan gerakan digunakan secara terpisah atau digabungkan pada ketiga backbone visual. Pengujian ablasi mengisolasi kontribusi setiap aliran masukan. Skor yang lebih tinggi menunjukkan kinerja yang lebih baik, dan nilai yang dicetak tebal menandai hasil terbaik untuk setiap metrik.

Hasil pada set pengujian yang menunjukkan perubahan kinerja saat tampilan wajah, audio, dan gerakan digunakan secara terpisah atau digabungkan pada ketiga backbone visual. Pengujian ablasi mengisolasi kontribusi setiap aliran masukan. Skor yang lebih tinggi menunjukkan kinerja yang lebih baik, dan nilai yang dicetak tebal menandai hasil terbaik untuk setiap metrik.

Seperti telah disebutkan, hasil keseluruhan terbaik diperoleh DeiT-Tiny dengan menggabungkan ketiga modalitas. Hasil ablasi memperjelas kontribusi setiap aliran: tampilan wajah saja sudah menjadi prediktor yang kuat, sementara kinerja gerakan tergolong sedang dan audio jauh lebih lemah jika digunakan sendiri.

Hasil terbaik diperoleh saat informasi tentang wajah, audio, dan gerakan digabungkan. Ini menunjukkan bahwa aliran yang lebih lemah tetap menambahkan informasi pelengkap yang berguna bagi sinyal visual.

Meskipun model hanya dilatih untuk membedakan “normal” dari “berisiko”, keluarannya juga dibandingkan dengan label empat tingkat yang asli: Tanpa Risiko, Risiko Rendah, Risiko Sedang, dan Risiko Tinggi. Seperti ditunjukkan di bawah ini, prediksi risiko secara umum meningkat seiring dengan kategori tersebut pada set pelatihan, validasi, dan pengujian:

Skor risiko yang diprediksi untuk empat kategori risiko asli. Meskipun model hanya dilatih untuk membedakan klip normal dari klip berisiko, skor umumnya meningkat dari Tanpa Risiko hingga Risiko Tinggi pada set pelatihan, validasi, dan pengujian. Garis putus-putus menandai ambang keputusan 0,50.

Skor risiko yang diprediksi untuk keempat kategori risiko awal. Meskipun model hanya dilatih untuk membedakan klip normal dari klip berisiko, skornya secara umum meningkat dari Tanpa Risiko hingga Risiko Tinggi pada set pelatihan, validasi, dan pengujian. Garis putus-putus menandai ambang keputusan 0,50.

Para penulis berkomentar:

‘Hasil ini penting karena model tidak pernah secara eksplisit dilatih untuk membedakan Risiko Rendah, Sedang, dan Tinggi. Meski demikian, prediksinya mengikuti urutan tingkat risiko awal.

‘Ini menunjukkan bahwa model menangkap perubahan bermakna dalam perilaku sebelum insiden, alih-alih hanya mempelajari batas sederhana antara Normal dan Berisiko. Hasil ini juga memberikan bukti bahwa petunjuk perilaku yang berguna dapat muncul sebelum insiden yang dianotasi dimulai.’

Dan mereka menyimpulkan:

‘Temuan ini menunjukkan bahwa informasi diskriminatif yang berguna dapat hadir pada periode sebelum insiden, yang menyoroti potensi peralihan analisis kekerasan dari deteksi saat peristiwa berlangsung menuju pengenalan risiko lebih dini.’

Kesimpulan

Apakah para peneliti benar-benar menemukan kombinasi ciri ‘pra-kekerasan’? Dengan hanya 443 klip yang digunakan dalam eksperimen, risiko overfitting cukup besar—masalah yang sangat rentan dialami model multimodal dan backbone visi pralatih. Studi ini mengurangi risiko tersebut, meski hanya sebagian, dengan membekukan backbone visual, memisahkan video sumber ke dalam set pelatihan/validasi/pengujian, serta menguji beberapa kombinasi modalitas.

Kinerja yang kuat pada kumpulan data kecil tidak membuktikan bahwa pola yang mendasarinya kentara atau bahkan benar-benar ada, sebab hal itu juga dapat mencerminkan petunjuk khusus kumpulan data, bias anotasi, kebocoran sumber yang tidak terdeteksi dalam pembagian data, atau set pengujian yang luar biasa mudah.

Namun, hasil ini menarik justru karena kumpulan datanya sangat kecil dan karena overfitting tampaknya telah diantisipasi secara memadai. Meski demikian, temuan ini perlu direplikasi pada kumpulan data yang lebih besar sebelum pola yang dipelajari dapat dianggap ‘andal’.

 

Pertama kali diterbitkan pada Kamis, 1 Oktober 2026

Penulis tentang pembelajaran mesin, spesialis domain dalam sintesis gambar manusia. Mantan kepala konten riset di Metaphysic.ai, hingga dibubarkannya menjadi Brahma.ai milik DNEG.
Website: martinanderson.ai
Kontak: martin@martinanderson.ai