Hanah-Marie Darley, Chief AI Officer di Geordie AI – Seri Wawancara

Hanah-Marie Darley, Chief AI Officer di Geordie AI, adalah seorang pemimpin AI dan keamanan yang berpengalaman, yang mendirikan perusahaan untuk membantu tim IT, risiko, dan keamanan perusahaan untuk mengadopsi AI agen dengan kejelasan dan kontrol. Dengan hampir satu dekade mendukung operasi intelijen dalam Pemerintah Federal AS dan peran kepemimpinan senior di Darktrace, dia menggabungkan keahlian mendalam dalam intelijen ancaman, analisis geopolitik, dan psikologi terapan dengan pengalaman tangan pertama dalam strategi AI dan pengembangan produk. Pekerjaannya berfokus pada menyelaraskan sistem otonom dengan niat manusia, memungkinkan perusahaan untuk mengoperasikan agen AI dengan cara yang seimbang antara inovasi, pengawasan, dan kendala dunia nyata.

Geordie AI adalah perusahaan perangkat lunak perusahaan yang berbasis di London, yang fokus pada mengamankan dan mengatur agen AI saat mereka menjadi terintegrasi di seluruh lingkungan perusahaan. Platformnya menyediakan visibilitas ke dalam aktivitas agen, pemantauan terus-menerus postur risiko, dan kontrol tata kelola yang terstruktur yang memungkinkan organisasi untuk mengirim dan menskala sistem AI dengan percaya diri. Dengan menyediakan observabilitas, dukungan kepatuhan, dan pengawasan operasional yang disesuaikan dengan era agen, Geordie bertujuan untuk memberikan transparansi dan kontrol yang diperlukan untuk mengintegrasikan teknologi otonom yang semakin meningkat tanpa mengorbankan keamanan atau akuntabilitas.

Anda telah menghabiskan hampir satu dekade dalam intelijen ancaman dan analisis geopolitik AS, kemudian memimpin penelitian ancaman dan strategi AI di Darktrace, dan sekarang memimpin strategi AI dan produk di Geordie AI. Pengalaman apa di pemerintah dan keamanan perusahaan yang paling mempengaruhi keputusan Anda untuk membangun Geordie, dan apa masalah inti yang Anda tentukan untuk diselesaikan?

Di seluruh pemerintah dan keamanan perusahaan, saya terus-menerus menemukan ketegangan struktural yang sama. Organisasi berinvestasi besar-besaran dalam AI, namun kepercayaan dalam cara sistem tersebut berperilaku tertinggal di belakang harapan untuk pengembalian investasi. Tantangan bukanlah kemampuan. Itu adalah kepercayaan.

Saat AI bergerak dari alat eksperimental ke alur kerja operasional, kesenjangan itu menjadi lebih terlihat. Agen memperkenalkan otonomi, pengambilan keputusan, dan persistensi di seluruh sistem dengan cara yang perangkat lunak tradisional tidak pernah lakukan. Bisnis memerlukan cara untuk memahami bagaimana agen berfungsi, di mana mereka beroperasi, dan bagaimana risiko muncul melalui perilaku mereka. Geordie dibangun untuk menutup kesenjangan kejelasan sehingga organisasi dapat mengadopsi otonomi dengan kepercayaan daripada keraguan.

Menurut Anda, apa risiko yang paling kurang dipahami yang disajikan oleh sistem AI otonom atau agen kepada perusahaan, dan bagaimana “efek rantai” dari pengambilan keputusan kontekstual berbeda dari model paparan keamanan tradisional?

Kelewatan sunyi tetap tidak dipahami. Sebuah agen dapat beroperasi dalam batas akses yang disetujui dan batas akses yang sah sambil masih menghasilkan hasil yang menyimpang dari niat.

Ini mencerminkan sifat sistem agen. Mereka menafsirkan konteks dan membuat keputusan dalam waktu nyata. Tidak seperti perangkat lunak deterministik, perilaku dibentuk secara dinamis di seluruh urutan tindakan. Itu menggeser model keamanan. Paparan tidak lagi bergantung hanya pada pelanggaran akses. Itu muncul melalui bagaimana keputusan, alat, dan konteks berinteraksi seiring waktu.

Pendekatan Geordie menekankan observabilitas perilaku, penilaian risiko kontekstual, dan kontrol dinamis atas aktivitas agen. Bagaimana organisasi harus menyeimbangkan kebutuhan akan visibilitas waktu nyata dengan kekhawatiran seputar kompleksitas operasional atau kinerja sistem?

Perusahaan tidak harus menukar kinerja untuk pengawasan. Arsitektur kami secara sengaja menghindari proksi dan gerbang inline, memungkinkan organisasi untuk membangun dan mengoperasikan agen di mana itu secara operasional masuk akal.

Visibilitas dan kontrol harus berkembang dengan otonomi tanpa memperkenalkan gesekan atau keterlambatan. Jika mekanisme tata kelola menghambat alur kerja, adopsi terhambat. Keamanan yang efektif memungkinkan ekosistem untuk berkembang dengan aman daripada membatasi inovasi.

Dari pekerjaan Anda dengan pelanggan perusahaan dan pemimpin risiko, jenis alur kerja atau kasus penggunaan apa yang paling rentan terhadap penyimpangan agen ke aktivitas risiko yang lebih tinggi, dan bagaimana indikator awal dapat dideteksi sebelum mereka eskalasi menjadi insiden material?

Risiko cenderung meningkat dengan kompleksitas. Semakin banyak pilihan yang dibuat agen secara independen, semakin besar potensi untuk penyimpangan perilaku.

Penyimpangan sering muncul melalui rantai alat, penggunaan kembali konteks, dan alur kerja yang muncul. Indikator awal termasuk panggilan alat yang tidak terduga, pola pengurutan yang tidak biasa, dan pergeseran dalam pergerakan data. Mendeteksi sinyal ini memerlukan analisis perilaku daripada pemantauan acara yang terisolasi.

Ketika agen AI menggunakannya kembali konteks dan alat di seluruh tugas, apa mode kegagalan yang paling halus atau kurang dipahami yang tim keamanan harus perhatikan lebih dekat?

Penggunaan kembali konteks tetap kurang dipahami. Paparan sering muncul tidak dari izin yang berlebihan tetapi dari bagaimana informasi bertahan dan menyebar di seluruh tugas.

Agen dapat mengakses data secara sah dalam satu konteks dan secara tidak sengaja membawa keadaan itu ke konteks lain. Dikombinasikan dengan rantai alat, ini dapat menghasilkan pengungkapan atau transformasi informasi sensitif yang tidak disengaja.

Banyak organisasi masih mengandalkan alat keamanan perusahaan tradisional seperti Endpoint Detection and Response dan Extended Detection and Response. Di mana pendekatan ini gagal ketika mengelola sistem AI otonom yang mengambil tindakan multi-langkah?

Platform EDR dan XDR tetap penting, namun mereka dirancang di sekitar model ancaman yang berfokus pada manusia. Agen beroperasi di seluruh lapisan keputusan yang meluas di luar telemetri titik akhir dan identitas.

Memahami perilaku agen memerlukan wawasan ke dalam pola alasan, pemilihan alat, dan aliran keputusan kontekstual. Tanpa lapisan itu, sebagian besar aktivitas agen tetap tidak jelas.

Bagi pemimpin IT, risiko, dan keamanan yang ingin memungkinkan inovasi tetapi menghindari otonomi yang tidak terkendali, apa yang terlihat seperti “otonomi yang dikelola” dalam prakteknya?

Otonomi yang dikelola dimulai dengan visibilitas. Organisasi harus memahami di mana agen beroperasi, seberapa banyak wewenang keputusan yang mereka pegang, dan risiko apa yang kemampuan mereka perkenalkan.

Tata kelola paling efektif ketika dimasukkan dari awal, memungkinkan eksperimen dalam batas yang ditentukan. Ini mendukung inovasi sambil mempertahankan kepercayaan dalam hasil.

Jelaskan bagaimana perusahaan harus memikirkan keterjelasan dan keterauditan ketika risiko sebenarnya mungkin terletak pada urutan tindakan yang diambil agen dari waktu ke waktu?

Keterjelasan model hanya sebagian dari persamaan. Risiko perusahaan semakin banyak berada dalam urutan perilaku daripada output yang terisolasi.

Keterauditan memerlukan pemahaman tentang bagaimana pengaman membentuk interpretasi, alat mana yang digunakan, dan bagaimana konteks mempengaruhi keputusan. Observabilitas perilaku menjadi dasar untuk akuntabilitas.

Bagi organisasi yang mengakui kebutuhan akan pengawasan yang lebih kuat atas sistem AI otonom, langkah-langkah konkrit apa yang harus mereka ambil hari ini untuk mengurangi risiko agen tanpa memperlambat inovasi, dan bagaimana Geordie AI secara khusus membantu perusahaan mengoperasikan keseimbangan antara kontrol dan kemampuan?

Organisasi diuntungkan dengan memulai dari awal daripada menunggu kerangka kerja yang sempurna. Fokus awal harus berpusat pada inventaris, visibilitas perilaku, dan pemahaman tentang bagaimana agen berinteraksi dengan sistem.

Model tata kelola yang memperkenalkan keterlambatan sering menghambat skalabilitas. Pengawasan harus selaras dengan kecepatan operasional. Geordie menyediakan visibilitas ke dalam konfigurasi agen, perilaku, dan dinamika risiko sambil memungkinkan kontrol korektif yang dirancang untuk sistem otonom.

Menghadap ke depan, apa yang akan membedakan organisasi yang berhasil menskalakan AI agen di seluruh alur kerja dari mereka yang mengalami kemunduran karena risiko yang tidak dikelola, dan bagaimana kepemimpinan harus mempersiapkan diri sekarang?

Pembeda awal akan menjadi kejelasan dan pengukuran. Tim yang memahami kemampuan agen, dampak, dan pola perilaku akan menskalakan dengan lebih percaya diri.

Di jangka panjang, keunggulan kompetitif akan menguntungkan organisasi yang mengembangkan ekosistem agen yang sadar konteks dan khusus. Presisi, bukan generalisasi, menjadi penggerak kinerja dan ketahanan.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Geordie AI.