Pembelajaran Mesin Mengeluarkan Data Serangan Dari Laporan Ancaman Yang Panjang

Penelitian baru dari Universitas Chicago menggambarkan konflik yang telah muncul dalam sepuluh tahun terakhir antara manfaat SEO dari konten panjang, dan kesulitan yang sistem pembelajaran mesin hadapi dalam mengambil data esensial dari konten tersebut.

Dalam mengembangkan sistem analisis NLP untuk mengeluarkan informasi ancaman esensial dari laporan Intelijen Ancaman Siber (CTI), peneliti Chicago menghadapi tiga masalah: laporan tersebut biasanya sangat panjang, dengan hanya sebagian kecil yang didedikasikan untuk perilaku serangan yang sebenarnya; gaya penulisan yang padat dan kompleks secara gramatikal, dengan informasi domain-spesifik yang luas yang menganggap pengetahuan sebelumnya dari pembaca; dan materi tersebut memerlukan pengetahuan hubungan antar domain, yang harus “diingat” untuk memahami konteksnya (masalah persisten, catatan peneliti).

Laporan Ancaman Yang Panjang

Masalah utama adalah verbositas. Sebagai contoh, makalah Chicago mencatat bahwa di antara laporan ancaman 42 halaman ClearSky tahun 2019 untuk malware DustySky (juga dikenal sebagai NeD Worm), hanya 11 kalimat yang sebenarnya membahas dan menguraikan perilaku serangan.

Kedua, hambatan adalah kompleksitas teks, dan secara efektif, panjang kalimat: peneliti mengamati bahwa di antara 4020 laporan ancaman dari pusat laporan ancaman Microsoft (MSFT ), kalimat rata-rata terdiri dari 52 kata – hanya sembilan kata lebih pendek dari panjang kalimat rata-rata 500 tahun yang lalu (dalam konteks bahwa panjang kalimat telah menurun 75% sejak saat itu).

Namun, makalah tersebut berpendapat bahwa kalimat panjang ini pada dasarnya adalah ‘paragraf terkompresi’ dalam diri mereka sendiri, penuh dengan klausa, adverbia, dan adjektiva yang menutupi makna inti informasi; dan bahwa kalimat-kalimat tersebut seringkali kekurangan tanda baca konvensional dasar yang sistem NLP seperti spaCy, Stanford, dan NLTK bergantung untuk menginferensi niat atau mengambil data keras.

NLP Untuk Mengeluarkan Informasi Ancaman Yang Signifikan

Pipa pembelajaran mesin yang dikembangkan oleh peneliti Chicago untuk menangani ini disebut EXTRACTOR, dan menggunakan teknik NLP untuk menghasilkan grafik yang menyaring dan meringkas perilaku serangan dari laporan panjang dan diskursif. Proses ini membuang hiasan sejarah, naratif, dan bahkan geografis yang menciptakan ‘cerita’ yang menarik dan lengkap pada biaya prioritas informasi.

Sumber: https://arxiv.org/pdf/2104.08618.pdf

Karena konteks adalah tantangan dalam laporan CTI yang panjang dan berbelit-belit, peneliti memilih model representasi bahasa BERT (Bidirectional Encoder Representations from Transformer) daripada Word2Vec Google atau GloVe Stanford.

BERT mengevaluasi kata-kata dari konteks sekitarnya, dan juga mengembangkan embeddings untuk subkata (yaitu, launch, launching, dan launches semua berasal dari launch). Ini membantu EXTRACTOR untuk mengatasi kosakata teknis yang tidak ada dalam model pelatihan BERT, dan untuk mengklasifikasikan kalimat sebagai ‘produktif’ (mengandung informasi yang relevan) atau ‘non-produktif’.

Meningkatkan Kosakata Lokal

Tidak dapat dihindari bahwa beberapa wawasan domain spesifik harus diintegrasikan ke dalam pipa NLP yang menangani materi semacam ini, karena bentuk kata yang sangat relevan seperti alamat IP dan nama proses teknis tidak boleh dibuang.

Bagian lain dari proses menggunakan jaringan BiLSTM (Bidirectional LSTM) untuk menangani kepanjangan kata, menghasilkan peran semantik untuk bagian kalimat, sebelum menghapus kata-kata yang tidak produktif. BiLSTM sangat cocok untuk ini, karena dapat mengorelasikan ketergantungan jarak jauh yang muncul dalam dokumen yang panjang, di mana perhatian dan retensi yang lebih besar diperlukan untuk menyimpulkan konteks.

EXTRACTOR mendefinisikan peran semantik dan hubungan antara kata-kata, dengan peran yang dihasilkan oleh anotasi PropBank.

Dalam pengujian, EXTRACTOR (sebagian didanai oleh DARPA) terbukti mampu mencocokkan ekstraksi data manusia dari laporan DARPA. Sistem ini juga dijalankan melawan volume besar laporan tidak terstruktur dari Microsoft Security Intelligence dan Ensiklopedia Ancaman TrendMicro, dengan berhasil mengeluarkan informasi signifikan dalam sebagian besar kasus.

Peneliti mengakui bahwa kinerja EXTRACTOR kemungkinan akan menurun ketika mencoba menyaring tindakan yang terjadi di beberapa kalimat atau paragraf, meskipun re-tooling sistem untuk mengakomodasi laporan lain diindikasikan sebagai cara maju di sini. Namun, ini pada dasarnya adalah kembali ke labeling yang dipimpin oleh manusia dengan proksi.

Panjang == Otoritas?

Menarik untuk dicatat bahwa ketegangan yang berkelanjutan antara cara algoritma SEO Google yang semakin menghargai konten panjang dalam beberapa tahun terakhir (meskipun saran resmi tentang hal ini kontradiktif), dan tantangan yang dihadapi oleh peneliti AI (termasuk banyak inisiatif penelitian Google) dalam mendekode niat dan data sebenarnya dari artikel yang semakin panjang dan diskursif.

Hal ini dapat diperdebatkan bahwa dengan menghargai konten panjang, Google menganggap kualitas yang konsisten yang tidak dapat diidentifikasi atau dikuantifikasi melalui proses NLP, kecuali dengan menghitung jumlah situs otoritas yang terhubung ke sana (metrik ‘daging’, dalam sebagian besar kasus); dan bahwa tidak biasa untuk melihat postingan dengan 2.500 kata atau lebih mencapai prominen SERPS meskipun ada ‘kembung’ naratif, selama konten tambahan itu secara umum dapat dipahami dan tidak melanggar pedoman lain.

Di Mana Resepnya?

Akibatnya, hitungan kata meningkat, sebagian karena keinginan yang tulus untuk konten panjang yang baik, tetapi juga karena ‘menceritakan’ beberapa fakta dapat meningkatkan panjang artikel ke standar SEO ideal, dan memungkinkan konten yang ringan untuk bersaing dengan output yang lebih berat.

Satu contoh dari ini adalah situs resep, yang sering dikeluhkan di komunitas Hacker News untuk memulai informasi inti (resep) dengan banyak konten autobiografis atau khayalan yang dirancang untuk menciptakan ‘pengalaman resep’ yang didorong oleh cerita, dan untuk mendorong apa yang akan menjadi hitungan kata yang sangat rendah ke wilayah SEO-ramah 2.500+ kata.

Beberapa solusi prosedural telah muncul untuk mengeluarkan resep sebenarnya dari situs resep yang panjang, termasuk penggaruk resep sumber terbuka, dan pengeluarkan resep untuk Firefox dan Chrome. Pembelajaran mesin juga terkait dengan ini, dengan berbagai pendekatan dari Jepang, Amerika Serikat, dan Portugal, serta penelitian dari Stanford, di antara lain.

Dalam hal laporan intelijen ancaman yang ditangani oleh peneliti Chicago, praktik umum laporan ancaman yang panjang mungkin sebagian karena kebutuhan untuk mencerminkan skala prestasi (yang dapat diringkas dalam satu paragraf) dengan menciptakan narasi yang sangat panjang di sekitarnya, dan menggunakan panjang kata sebagai proxy untuk skala upaya yang terlibat, terlepas dari keterapan.

Kedua, dalam iklim di mana sumber asli dari sebuah cerita sering hilang karena praktik kutipan yang buruk oleh outlet berita populer, menghasilkan volume kata yang lebih tinggi daripada yang dapat dilakukan oleh seorang jurnalis yang melaporkan kembali, menjamin kemenangan SERPS dengan volume kata murni, dengan asumsi bahwa verbositas – sekarang tantangan yang tumbuh bagi NLP – benar-benar dihargai dengan cara ini.