Langkah Taktis untuk PoC GenAI yang Sukses

Proof of Concept (PoC) adalah tempat pengujian untuk teknologi baru, dan Generative AI (GenAI) tidak terkecuali. Apa yang sebenarnya dimaksud dengan kesuksesan untuk PoC GenAI? Secara sederhana, PoC yang sukses adalah yang dapat bertransisi dengan lancar ke produksi. Masalahnya, karena kebaruan teknologi dan evolusi yang cepat, sebagian besar PoC GenAI lebih fokus pada kelayakan teknis dan metrik seperti akurasi dan recall. Fokus yang sempit ini merupakan salah satu alasan utama mengapa PoC gagal. Survei McKinsey menemukan bahwa sementara seperempat responden khawatir tentang akurasi, banyak yang juga bergelut dengan keamanan, keterjelasan, pengelolaan Hak Cipta (IP), dan kepatuhan regulasi. Tambahkan masalah umum seperti kualitas data yang buruk, keterbatasan skalabilitas, dan sakit kepala integrasi, dan mudah untuk melihat mengapa banyak PoC GenAI gagal untuk maju.

Melampaui Hype: Realitas PoC GenAI

Adopsi GenAI jelas meningkat, tetapi tingkat kesuksesan PoC yang sebenarnya tidak jelas. Laporan menawarkan statistik yang bervariasi:

• Gartner memprediksi bahwa pada akhir 2025, setidaknya 30% proyek GenAI akan ditinggalkan setelah tahap PoC, yang berarti 70% bisa masuk ke produksi.
• Studi oleh Avanade (yang dikutip di RTInsights) menemukan bahwa 41% proyek GenAI tetap terjebak dalam PoC.
• Laporan Deloitte bulan Januari 2025 The State of GenAI in the Enterprise memperkirakan bahwa hanya 10-30% PoC yang akan berkembang ke produksi.
• Penelitian oleh IDC (yang dikutip di CIO.com) menemukan bahwa rata-rata, hanya 5 dari 37 PoC (13%) yang mencapai produksi.

Dengan perkiraan yang berkisar dari 10% hingga 70%, tingkat kesuksesan yang sebenarnya kemungkinan lebih dekat dengan ujung bawah. Ini menekankan bahwa banyak organisasi bergelut untuk merancang PoC dengan jalur yang jelas untuk penskalaan. Tingkat kesuksesan yang rendah dapat menguras sumber daya, memadamkan antusiasme, dan menghambat inovasi, yang menyebabkan apa yang sering disebut “kelelahan PoC,” di mana tim merasa terjebak menjalankan pilot yang tidak pernah mencapai produksi.

Melampaui Upaya yang Sia-sia

GenAI masih dalam tahap awal siklus adopsinya, seperti komputasi awan dan AI tradisional sebelumnya. Komputasi awan membutuhkan 15-18 tahun untuk mencapai adopsi yang luas, sedangkan AI tradisional membutuhkan 8-10 tahun dan masih tumbuh. Secara historis, adopsi AI mengikuti siklus boom-bust di mana kegembiraan awal mengarah pada harapan yang terlalu tinggi, diikuti oleh perlambatan ketika tantangan muncul, sebelum akhirnya stabil menjadi penggunaan mainstream. Jika sejarah menjadi pedoman, adopsi GenAI akan memiliki naik-turunnya sendiri.

Untuk menavigasi siklus ini secara efektif, organisasi harus memastikan bahwa setiap PoC dirancang dengan penskalaan dalam pikiran, menghindari jebakan umum yang mengarah pada upaya yang sia-sia. Mengenali tantangan ini, perusahaan teknologi dan konsultasi terkemuka telah mengembangkan kerangka kerja terstruktur untuk membantu organisasi melampaui eksperimen dan menskala inisiatif GenAI mereka dengan sukses.

Tujuan artikel ini adalah untuk melengkapi kerangka kerja dan upaya strategis ini dengan menguraikan langkah-langkah taktis praktis yang dapat meningkatkan kemungkinan PoC GenAI berpindah dari pengujian ke dampak dunia nyata.

Langkah Taktis Kunci untuk PoC GenAI yang Sukses

1. Pilih Kasus Penggunaan dengan Produksi dalam Pikiran

Pertama dan terutama, pilih kasus penggunaan dengan jalur yang jelas ke produksi. Ini tidak berarti melakukan penilaian kesiapan GenAI yang komprehensif dan menyeluruh. Sebaliknya, evaluasi setiap kasus penggunaan secara individual berdasarkan faktor seperti kualitas data, skalabilitas, dan persyaratan integrasi, dan prioritaskan mereka dengan kemungkinan tertinggi untuk mencapai produksi.

Beberapa pertanyaan kunci lagi untuk dipertimbangkan saat memilih kasus penggunaan yang tepat:

• Apakah PoC saya selaras dengan tujuan bisnis jangka panjang?
• Dapatkah data yang diperlukan diakses dan digunakan secara legal?
• Apakah ada risiko yang jelas yang akan mencegah penskalaan?

2. Definisikan dan Sesuaikan Metrik Kesuksesan sebelum Dimulai

Salah satu alasan terbesar PoC terjebak adalah kurangnya metrik yang terdefinisi dengan baik untuk mengukur kesuksesan. Tanpa keselarasan yang kuat pada tujuan dan harapan ROI, bahkan PoC yang teknisnya solid mungkin bergelut untuk mendapatkan persetujuan untuk produksi. Mengestimasi ROI tidaklah mudah, tetapi berikut beberapa rekomendasi:

• Buat atau adopsi kerangka kerja seperti ini.
• Gunakan kalkulator biaya, seperti kalkulator harga API OpenAI ini dan kalkulator penyedia cloud untuk memperkirakan biaya.
• Bukannya satu target, kembangkan perkiraan ROI berbasis rentang dengan probabilitas untuk mempertimbangkan ketidakpastian.

Berikut contoh bagaimana tim QueryGPT Uber memperkirakan dampak potensial dari alat GenAI text-to-SQL mereka.

3. Aktifkan Eksperimen Cepat

Membangun aplikasi GenAI adalah semua tentang eksperimen yang memerlukan iterasi konstan. Ketika memilih tumpukan teknologi, arsitektur, tim, dan proses, pastikan mereka mendukung pendekatan iteratif ini. Pilihan harus memungkinkan eksperimen yang lancar, dari menghasilkan hipotesis dan menjalankan tes hingga mengumpulkan data, menganalisis hasil, belajar, dan memperbaiki.

• Pertimbangkan untuk mempekerjakan vendor jasa kecil dan menengah untuk mempercepat eksperimen.
• Pilih benchmarks, evals, dan kerangka evaluasi pada awalnya untuk memastikan bahwa mereka selaras dengan kasus penggunaan dan tujuan Anda.
• Gunakan teknik seperti LLM-as-a-judge atau LLM-as-Juries untuk mengotomatisasi (semi-otomatisasi) evaluasi.

4. Tuju Solusi Rendah Gesekan

Solusi rendah gesekan memerlukan persetujuan yang lebih sedikit dan, oleh karena itu, menghadapi lebih sedikit atau tidak ada keberatan untuk adopsi dan penskalaan. Pertumbuhan cepat GenAI telah mengarah pada ledakan alat, kerangka kerja, dan platform yang dirancang untuk mempercepat PoC dan penerapan produksi. Namun, banyak dari solusi ini beroperasi sebagai kotak hitam yang memerlukan pemeriksaan ketat dari tim IT, hukum, keamanan, dan manajemen risiko. Untuk mengatasi tantangan ini dan memperlancar proses, pertimbangkan rekomendasi berikut untuk membangun solusi rendah gesekan:

• Buat jalan untuk persetujuan: Pertimbangkan untuk membuat jalan yang didedikasikan untuk mengatasi kekhawatiran tim mitra dan mendapatkan persetujuan.
• Gunakan tumpukan teknologi yang sudah disetujui: Kapanpun memungkinkan, gunakan tumpukan teknologi yang sudah disetujui dan digunakan untuk menghindari keterlambatan dalam persetujuan dan integrasi.
• Fokus pada alat esensial: PoC awal biasanya tidak memerlukan penyesuaian model, loop umpan balik otomatis, atau observabilitas/SRE yang luas. Sebaliknya, prioritaskan alat untuk tugas inti seperti vektorisasi, embeddings, pengambilan pengetahuan, guardrails, dan pengembangan UI.
• Gunakan alat low-code/no-code dengan hati-hati: Sementara alat ini dapat mempercepat timeline, sifat kotak hitam mereka membatasi kemampuan penyesuaian dan integrasi. Gunakan dengan hati-hati dan pertimbangkan implikasi jangka panjangnya.
• Atasi kekhawatiran keamanan lebih awal: Implementasikan teknik seperti generasi data sintetis, pemaskaran data PII, dan enkripsi untuk mengatasi kekhawatiran keamanan secara proaktif.

5. Kumpulkan Tim yang Ramping dan Wirausaha

Seperti dengan proyek apa pun, memiliki tim yang tepat dengan keterampilan esensial sangat kritis untuk kesuksesan. Di luar keahlian teknis, tim Anda juga harus lincah dan wirausaha.

• Pertimbangkan untuk memasukkan manajer produk dan ahli mata pelajaran (SME) untuk memastikan bahwa Anda memecahkan masalah yang tepat.
• Pastikan Anda memiliki pengembang full-stack dan insinyur pembelajaran mesin di tim.
• Hindari merekrut khusus untuk PoC atau meminjam sumber daya internal dari proyek prioritas tinggi, jangka panjang. Sebaliknya, pertimbangkan untuk mempekerjakan vendor jasa kecil dan menengah yang dapat membawa bakat yang tepat dengan cepat.
• Integrasikan mitra dari tim hukum dan keamanan sejak hari pertama.

6. Prioritaskan Persyaratan Non-Fungsional Juga

Untuk PoC yang sukses, sangat penting untuk menetapkan batas masalah yang jelas dan himpunan persyaratan fungsional yang tetap. Namun, persyaratan non-fungsional tidak boleh diabaikan. Sementara PoC harus tetap fokus dalam batas masalah, arsitektur harus dirancang untuk kinerja tinggi. Lebih khusus, mencapai latensi milidetik mungkin tidak diperlukan segera, namun PoC harus dapat berkembang dengan lancar ketika pengguna beta berkembang. Pilih arsitektur modular yang tetap fleksibel dan netral terhadap alat.

7. Buat Rencana untuk Menangani Halusinasi

Halusinasi tidak dapat dihindari dengan model bahasa. Oleh karena itu, guardrails sangat kritis untuk menskala solusi GenAI dengan bertanggung jawab. Namun, evaluasi apakah guardrails otomatis diperlukan selama tahap PoC dan seberapa jauh. Sebaliknya, deteksi kapan model Anda mengalami halusinasi dan tandai mereka kepada pengguna PoC.

8. Adopsi Praktik Manajemen Proyek dan Produk Terbaik

Ilustrasi XKCD ini berlaku untuk PoC sama seperti untuk produksi. Tidak ada buku pedoman yang pas untuk semua. Namun, mengadopsi praktik terbaik dari manajemen proyek dan produk dapat membantu memperlancar dan mencapai kemajuan.

• Gunakan metode kanban atau agile untuk perencanaan taktis dan eksekusi.
• Dokumentasikan semua hal.
• Tahan scrum-of-scrums untuk berkolaborasi secara efektif dengan tim mitra.
• Jaga agar pemangku kepentingan dan kepemimpinan Anda tetap mendapat informasi tentang kemajuan.

Kesimpulan

Mengoperasikan PoC GenAI yang sukses tidak hanya tentang membuktikan kelayakan teknis, tetapi tentang mengevaluasi pilihan dasar untuk jangka panjang. Dengan memilih kasus penggunaan yang tepat, menyelaraskan metrik kesuksesan, memungkinkan eksperimen cepat, meminimalkan gesekan, mengumpulkan tim yang tepat, mengatasi persyaratan fungsional dan non-fungsional, dan merencanakan tantangan seperti halusinasi, organisasi dapat secara dramatis meningkatkan kemungkinan mereka untuk berpindah dari PoC ke produksi.

Namun, langkah-langkah yang diuraikan di atas tidaklah lengkap, dan tidak semua rekomendasi akan berlaku untuk setiap kasus penggunaan. Setiap PoC unik, dan kunci kesuksesan adalah menyesuaikan praktik terbaik ini untuk memenuhi tujuan bisnis spesifik, keterbatasan teknis, dan lanskap regulasi.

Visi dan strategi yang kuat sangat penting untuk adopsi GenAI, tetapi tanpa langkah-langkah taktis yang tepat, bahkan rencana yang terbaik dapat terjebak pada tahap PoC. Eksekusi adalah tempat di mana ide-ide hebat baik sukses atau gagal, dan memiliki pendekatan yang jelas dan terstruktur memastikan bahwa inovasi diterjemahkan menjadi dampak dunia nyata.