Agen Otonom Membutuhkan Lebih dari Observabilitas AI

Saat perusahaan menggunakan agen AI untuk berpikir, bertindak, dan memulai alur kerja, sangat penting untuk mengembangkan rencana untuk memantau dan mengelola mereka.

Ketika berbagai komponen sistem AI mulai membuat keputusan mereka sendiri, observabilitas saja tidak cukup untuk memastikan bahwa operasi akan tetap stabil, aman, atau dapat diandalkan.

Untuk mengelola agen AI secara efektif di seluruh perusahaan, bisnis harus menjembatani kesenjangan antara identifikasi masalah dan tindakan. Itu melampaui sekadar mengamati masalah; bisnis harus secara aktif mencegahnya.

Munculnya Agen Otonom

Gelombang pertama AI perusahaan adalah sistem berbasis prompt; pengguna mengajukan pertanyaan, model merespons, dan pertukaran berakhir di sana. Meskipun teknologi awal ini pada dasarnya reaktif, mereka berguna untuk pencarian, copilot, pembuatan konten, dan ringkasan.

Gelombang berikutnya berbeda. Agen AI otonom tidak hanya bereaksi, tetapi juga bernalar melintasi tujuan, memilih alat, mengekstrak informasi, mengambil tindakan, dan memulai alur kerja. Mereka terkadang bekerja bersama dengan agen lain atau sistem dan semakin banyak berfungsi sebagai pemain operasional dalam perusahaan daripada sebagai lapisan antarmuka untuk instruksi manusia.

Perubahan ini signifikan karena mempengaruhi karakteristik operasional AI. Tim tidak lagi hanya memantau output model. Sebaliknya, mereka mengelola sistem dinamis yang dapat segera mempengaruhi klien, staf, infrastruktur, proses bisnis, dan aplikasi lainnya.

Kemampuan Agen Saat Ini

Talenta agen berkembang seiring dengan mereka. Agen dapat memilih apa yang harus dilakukan selanjutnya, memecah tujuan menjadi langkah-langkah, dan menyelesaikan kegiatan pada berbagai tingkat. Dengan menghubungi API, mengquery database, mencari sistem internal, memperbarui catatan, dan memulai tindakan hilir, mereka mengoordinasikan alur kerja. Dengan mengintegrasikan prompt, memori, aturan bisnis, informasi yang diperoleh, dan sinyal operasional waktu nyata, agen juga dapat membuat keputusan berbasis konteks.

Agen yang lebih canggih dapat mengidentifikasi ketika alur kerja gagal, mencoba lagi, mengeskalasi masalah, atau meneruskan pekerjaan ke peninjau manusia. Dalam CRM, ticketing, infrastruktur cloud, basis pengetahuan internal, platform observabilitas, dan aplikasi bisnis, agen dapat berfungsi secara mandiri. Kami antisipasi bahwa keterampilan ini akan terus berkembang dengan cepat.

Cara Bisnis Mengintegrasikan Agen AI Otonom

Agen sedang diintegrasikan ke dalam berbagai operasi organisasi, dan mereka semakin dekat dengan proses operasional di mana kecepatan, akurasi, keamanan, dan tata kelola sangat penting. Beberapa operasi tersebut termasuk: layanan pelanggan dan penanganan kasus, respons insiden dan operasi TI, alur kerja untuk DevOps dan ketergantungan situs, koreksi kode dan pengembangan perangkat lunak, perencanaan operasional dan rantai pasokan, dan lain-lain.

Ancaman Operasional yang Muncul

Namun, ketika agen menjadi semakin mandiri, bisnis harus menghadapi jenis baru ancaman operasional.

• Pilihan yang buruk tidak hanya disarankan; mereka sering dilaksanakan
• Kesalahan kecil dapat dengan cepat menyebar ke sistem terkait lainnya
• Tindakan dunia nyata dapat dipicu oleh halusinasi
• Agen mungkin menyimpang dari niat bisnis, kebijakan, atau kepatuhan
• Interaksi antara komponen multiple dapat menghasilkan kegagalan
• Pengambilan keputusan otomatis dapat membuat keputusan lebih cepat daripada evaluasi manusia

Sementara tim mungkin mengamati gejala, mereka juga harus dapat memahami alasan di balik perilaku sistem. AI perusahaan memerlukan kontrol keandalan selain visibilitas.

Kompleksitas Sistem AI

Sistem AI yang digerakkan saat ini jarang sekali merupakan satu model. Mereka adalah sistem terdistribusi, berlapis yang terdiri dari banyak komponen yang berinteraksi yang termasuk:

• Model dasar (LLM)
• Model bahasa kecil yang diperhalus atau khusus tugas (SLM)
• Model penyematan
• Basis data vektor
• Pipa pengambilan dan komponen RAG
• Templat prompt dan lapisan orkestrasi prompt
• Dataset pelatihan dan evaluasi
• Lapisan pengaman dan kebijakan
• Agen dan alur kerja
• Sistem pemanggil alat
• Telemetri (juga dikenal sebagai log, metrik, dan jejak)
• Titik periksa persetujuan manusia dalam loop

Risiko Mereka

Setiap komponen menambahkan mode kegagalan yang berbeda, dan cara mereka berinteraksi menambah kompleksitas lebih lanjut. Bahkan jika sistem tampak kuat pada lapisan infrastruktur, itu masih dapat membuat pilihan yang buruk dan menghasilkan hasil yang memuaskan; semuanya sambil membangun risiko operasional di bawah permukaan.

Beberapa risiko yang terkait termasuk: pengenalan input yang buruk atau rusak oleh pipa data, bottleneck infrastruktur yang mengurangi keandalan, hasil yang berbahaya atau salah, dan bottleneck operasional dalam menanggapi tinjauan manusia. Masalah ini diperumit lebih lanjut, sistem dengan beberapa agen atau langkah mungkin gagal dengan cara yang tidak segera jelas.

Observabilitas AI

Pemantauan tradisional tidak cukup untuk memahami perilaku prompt, kualitas pengambilan, drift model, saluran eksekusi agen, atau koneksi antara perilaku AI dan dampak bisnis atau operasional hilir.

Itulah di mana observabilitas AI masuk. Observabilitas AI memungkinkan tim untuk memahami bagaimana sistem AI berfungsi di produksi dengan mengumpulkan, mengorelasikan, dan mengevaluasi input dan output, perilaku yang diinginkan, dan sinyal keputusan yang dihasilkan oleh sistem tersebut. Itu sangat penting, karena sistem AI tersebar, non-deterministik, dan sangat sensitif konteks.

Observabilitas AI menawarkan wawasan ujung-ke-ujung ke dalam alur kerja AI, sehingga tim yang menggunakannya dapat memahami bagaimana prompt, model, lapisan pengambilan, alat, dan sistem hilir berinteraksi selama eksekusi.

Observabilitas AI memungkinkan memantau kinerja dan perilaku, termasuk latensi, biaya, penggunaan token, throughput, tingkat kesalahan, perilaku model, dan indikator kualitas output. Ini melacak dan menganalisis jalur eksekusi dalam alur kerja agen yang kompleks dan menunjukkan bagaimana hasil dicapai melintasi beberapa langkah dan ketergantungan.

Observabilitas AI juga menemukan anomali di seluruh sinyal operasional dan AI dengan mengekspos perilaku anomali dalam model, pipa, infrastruktur, atau hasil yang dihadapi pengguna sebelum tim menemukannya secara manual. Ini mempercepat diagnosa ketika sesuatu salah dan membuat penyelidikan penyebab akar lebih mudah dengan memasukkan operasi AI khusus ke dalam telemetri sistem (log, metrik, jejak, dan acara).

Observabilitas Sendiri Tidak Cukup

Meskipun merupakan praktik bisnis yang penting, observabilitas AI memiliki keterbatasan bawaan.

Observabilitas bersifat diagnostik daripada pencegahan; tim dapat mempelajari apa yang salah tetapi tidak selalu bagaimana mencegahnya terjadi lagi. Penting untuk memahami bahwa pengetahuan tentang tindakan agen sebelumnya tidak secara otomatis diterjemahkan menjadi kontrol atas tindakan agen di masa depan.

Ketika datang ke sistem non-deterministik yang kompleks, observabilitas sering kali dapat membanjiri tim dengan data yang mengarah ke ketidakpastian. Alih-alih menawarkan jawaban operasional, observabilitas sering kali berakhir pada penjelasan. Bahkan ketika tim menyadari adanya masalah, mereka mungkin tidak memiliki otomatisasi, pengaman, dan loop kontrol yang diperlukan untuk mengambil tindakan korektif.

Itu menciptakan kesenjangan operasional. Bisnis mungkin dapat mendeteksi drift, hasil yang buruk, perilaku berbahaya, atau produktivitas yang terdegradasi, tetapi mereka mungkin masih tidak dapat mencegahnya terjadi lagi, memitigasi efeknya, atau mempertahankan sistem otonom dalam parameter operasional yang aman.

Ini berarti tim terus beroperasi secara reaktif. Mereka menggunakan intervensi manual ketika sesuatu rusak, menyelidiki insiden setelah fakta, dan mengandalkan tenaga kerja manusia untuk mengkompensasi sistem yang menjadi lebih cepat dan lebih otonom.

Ringkasan Keandalan AI

Keandalan AI melampaui sekadar mengamati masalah. Ini adalah disiplin untuk memastikan bahwa sistem AI berfungsi dengan aman, konsisten, dapat diprediksi, dan sukses dalam konteks produksi dunia nyata. Keandalan AI memahami dan mengelola sistem lengkap di sekitar AI. Ini menutup loop antara deteksi dan tindakan.

Keandalan AI fokus pada apakah sistem AI yang digerakkan secara keseluruhan dapat berfungsi dalam batasan operasional yang wajar dari waktu ke waktu, bukan hanya apakah model memberikan respons yang akurat. Kualitas, keamanan, ketahanan, keterjelasan, kepatuhan kebijakan, efisiensi biaya, dan stabilitas operasional semua merupakan bagian dari persamaan.

Transisi dari Deteksi ke Pencegahan

Keandalan AI mengurangi waktu antara mengenali masalah dan menanganinya. Ini memindahkan percakapan dari “apa yang salah?” ke “berapa cepat AI kami akan diperbaiki?” Menggunakan teknik berikut memindahkan observabilitas dari pengamatan pasif ke pencegahan proaktif:

• Mengorelasikan sinyal di seluruh model, data, dan infrastruktur untuk mengidentifikasi masalah
• Deteksi masalah proaktif sebelum dampak
• Memverifikasi semua input dan output dalam sistem AI probabilistik untuk mendeteksi perubahan perilaku halus
• Membuat loop umpan balik antara mendeteksi output yang tidak diinginkan dalam produksi dan menggunakan itu untuk menghasilkan data perhalusan yang memperbaiki akurasi model dasar
• Pengujian alur kerja multi-agen untuk memastikan Anda dapat menghubungkan titik-titik pada mengapa dan bagaimana data berkembang untuk mempengaruhi tindakan yang kompleks
• Alur kerja agen manusia dalam loop yang ditentukan untuk respons yang aman dan remediasi otomatis

Menutup Kesenjangan Antara Kontrol dan Observasi

Bisnis mendapat manfaat dari kerangka kerja yang mengintegrasikan visibilitas dan kontrol dan memerlukan lebih dari sekadar lapisan observabilitas di atas AI generatif. Dalam sistem deterministik dan non-deterministik, platform keandalan dapat mengidentifikasi, memprediksi, menjelaskan, dan membantu mengontrol masalah.

Berikut harus disertakan dalam kerangka kerja yang layak untuk operasi AI yang dapat diandalkan:

• Telemetri terintegrasi untuk sistem IT dan AI
• Pelacakan alur kerja agen dan ketergantungan sistem ujung-ke-ujung
• Pelacakan perilaku dan kualitas AI khusus (prompt dan eval)
• Deteksi anomali lanjutan, terlepas dari sumber
• Penalaran kausal dan analisis penyebab akar
• Pengaturan peringatan yang menyesuaikan diri dengan lingkungan Anda dan tidak memerlukan ambang batas manual
• Pengaman dan pengawasan kebijakan
• Evaluasi manusia dalam loop untuk tindakan yang halus atau signifikan
• Otomatisasi alur kerja dan koordinasi remediasi
• Menggunakan analisis prediktif untuk mencegah masalah terjadi
• Loop umpan balik yang menghubungkan deteksi anomali dengan kualitas model AI yang diperbaiki

Mempromosikan Fungsi AI

Sistem AI bergantung pada infrastruktur, layanan, pipa data, dan rutinitas operasional; mereka tidak gagal sendiri. Tim mendapatkan gambaran lengkap ketika keandalan AI dan IT digabungkan.

Wrapper LLM tipis tidak boleh menjadi dasar platform yang dapat dipercaya. Untuk mengidentifikasi dan memperbaiki masalah yang diabaikan oleh alat AI generatif saja, berbagai teknik AI harus dipertimbangkan, termasuk AI tak terawasi, AI prediktif, AI kausal, dan AI generatif. Campuran teknik ini umumnya dikenal sebagai “AI komposit.”

AI generatif baik dalam merangkum bahasa alami. Ini paling cocok untuk situasi yang memerlukan penalaran melalui data tak terstruktur atau ketika berinteraksi dengan manusia. Tapi itu tidak sesuai dengan bentuk sebagian besar masalah keandalan dalam produksi.

AI prediktif fokus pada mengidentifikasi sinyal awal sebelum mereka menjadi gangguan, pengalaman pelanggan yang buruk, atau kegagalan yang mahal dengan menggunakan algoritma deteksi anomali.

AI kausal membantu menentukan penyebab akar sejati untuk mengungkapkan apakah kualitas pengambilan, perilaku model, kelemahan infrastruktur, drift data hilir, atau kegagalan sistem hilir adalah penyebab penurunan kinerja.

AI tak terawasi secara otonom mengungkap pola, struktur, atau anomali tersembunyi dalam data tanpa bimbingan manusia. Ini outperforms AI generatif untuk keandalan karena fokus pada menemukan struktur tersembunyi dalam data kompleks yang tidak terklasifikasi untuk mengelompokkan item yang serupa atau menemukan hubungan.

Ketika risiko, ketidakpastian, atau dampak bisnis signifikan, agen AI operasional harus dapat mengotomatisasi respons sambil mempertahankan keterlibatan manusia untuk operasi yang dapat diandalkan.

Pemahaman model AI tentang konteks bisnis tertentu dapat ditingkatkan dalam setiap pertemuan dengan menggunakan pembelajaran penguatan dari data pengguna aktual dalam produksi.

Bahkan sistem yang paling canggih melampaui pengaturan peringatan; remediasi loop tertutup belajar dari setiap insiden dari waktu ke waktu, mengotomatisasi reaksi yang dikenal, dan memulai langkah-langkah yang aman.

Mempersiapkan Sistem AI Otonom

Bisnis dapat mempersiapkan diri untuk sistem AI otonom dengan beberapa cara. Pertama, agen harus dilihat sebagai sistem operasional daripada sebagai instrumen untuk produktivitas. Setelah agen memiliki kemampuan untuk bertindak, itu menjadi bagian integral dari operasi bisnis dan harus diatur secara tepat.

Tim dapat merekam sinyal dari model, prompt, alat, alur kerja, infrastruktur, dan hasil pengguna segera dengan menginstrumentasi agen. Pengawasan dasar ini tidak boleh ditunda sampai agen menjadi penting untuk bisnis.

Mengembangkan standar keandalan sebelum penerapan agen yang luas juga sangat penting. Sebagai gantinya, ambang batas yang dapat diterima untuk keamanan, latensi, tingkat kesalahan, risiko halusinasi, kepatuhan kebijakan, dan dampak bisnis harus diintegrasikan ke dalam desain mereka.

Menghubungkan perilaku AI dengan sistem dan prosedur yang mendasarinya memungkinkan bisnis untuk mengintegrasikan operasi AI dan IT. Menggunakan alat yang berbeda untuk infrastruktur dan pemantauan model menciptakan titik buta.

Rekayasa platform, SRE, keamanan, tim data, tim AI, dan pemilik bisnis harus bekerja sama untuk menyediakan operasi AI yang dapat diandalkan, dan sistem otonom melampaui silo konvensional.

Setiap insiden, anomali, dan hampir-miss akan meningkatkan sistem dengan mengintegrasikan loop umpan balik ke dalam operasi, memungkinkan bisnis untuk terus belajar dari perilaku produksi.

Terakhir, sangat penting untuk memilih platform yang dirancang untuk kontrol daripada hanya observasi. Bisnis akan mendapat manfaat dari sistem yang mengintegrasikan observabilitas, prediksi, penjelasan, dan tindakan ketika agen AI menjadi lebih otonom. Organisasi yang berhasil beralih dari mengidentifikasi masalah ke mengendalikan hasil dengan aman akan menjadi pemenang.

Garisan Bawah

AI dalam bisnis sekarang merupakan sistem operasional di lingkungan perusahaan daripada alat. Dalam pengaturan produksi dunia nyata, menambahkan keandalan ke sistem AI menjamin operasi yang aman, konsisten, dapat diprediksi, dan efisien. Dari mengidentifikasi masalah ke mengendalikan hasil dengan aman akan menjadi pemenang.