Memilih Model AI yang Tepat: Menyeimbangkan Biaya dan Kinerja

Memilih model paling kuat memberikan rasa tenang tersendiri. Ketika Anda membangun produk yang didukung AI, terasa sebagai langkah yang bertanggung jawab, bahkan hampir logis, untuk memilih model paling kuat yang tersedia. GPT-4o. Claude Opus. Gemini Ultra. Ini adalah teknologi yang mengesankan, dan tidak ada yang pernah dipecat karena memilih alat paling pintar di ruangan.

Namun, ada hal yang perlu dipertimbangkan. Proyek membengkak. Biaya melonjak. Latensi merayap. Dan sekitar bulan ketiga, tim mulai mengajukan pertanyaan tidak nyaman tentang mengapa fitur autocomplete sederhana membakar kredit API seperti startup dengan pendanaan ventura dan tidak ada pertanggungjawaban.

Inilah masalahnya: “paling mampu” dan “paling sesuai” adalah dua standar yang sangat berbeda. Penyedia layanan pengembangan aplikasi AI memilih model berdasarkan evaluasi, bukan peringkat leaderboard.

Lebih Besar Bukan Selalu Lebih Baik

Model frontier memiliki kinerja luar biasa dalam kondisi ideal tetapi biayanya mahal untuk dioperasikan, menangani input yang tidak sempurna dengan buruk, dan melebihi persyaratan untuk tugas sederhana.

GPT-4o dapat menulis puisi, menalar isi kontrak hukum, memperbaiki kode, dan menjelaskan keterbelitan kuantum kepada anak berusia sepuluh tahun, terkadang dalam respons yang sama. Itu benar-benar luar biasa. Tapi jika aplikasi Anda meringkas tiket dukungan pelanggan atau mengekstrak data terstruktur dari faktur, Anda membayar kemampuan yang tidak digunakan.

Model yang lebih kecil dan khusus menangani tugas yang terfokus dengan akurasi yang mengesankan:

• GPT-4o mini menangani sebagian besar tugas bahasa dengan biaya sekitar seperlima belas biaya GPT-4o
• Claude Haiku dibangun untuk kecepatan dan efisiensi pada beban kerja terstruktur dengan volume tinggi
• Mistral 7B dan Llama 3.1 8B adalah pilihan open-source yang berjalan cepat dan cocok untuk fine-tuning

Jarak antara model-model ini dan model frontier menyusut secara signifikan ketika tugasnya sempit dan promptnya dirancang dengan baik.

Matematika Biaya yang Tidak Dibicarakan dalam Pertemuan Perencanaan

Harga API untuk model frontier per token dapat mencapai 10 hingga 30 kali harga model yang lebih ringan. Jarak itu terdengar abstrak sampai Anda menghitungnya pada skala besar.

Misalkan aplikasi Anda melakukan 500.000 panggilan API per bulan:

Fiturnya sama, tetapi margin keuntungannya sangat berbeda.

Beberapa tim menjalankan arsitektur hybrid, mengarahkan tugas klasifikasi sederhana ke model ringan sementara model yang lebih berat dikhususkan untuk langkah generasi atau penalaran yang kompleks. Perusahaan seperti Martian dan RouteLLM telah membangun alat khusus untuk jenis perutean model ini. Ini bukanlah rekayasa yang glamor, tetapi ini adalah hal yang membuat para direktur keuangan jauh lebih tenang.

Latensi Adalah Masalah Pengalaman Pengguna

Ada alasan mengapa makanan cepat saji ada. Orang tidak selalu ingin makan malam lima hidangan. Terkadang mereka ingin jawabannya sekarang.

Model frontier lebih lambat. Selisihnya tidak selalu besar, tetapi cukup berarti dalam aplikasi waktu nyata. Jika pengguna Anda menunggu respons AI dalam antarmuka percakapan, antarmuka obrolan, atau asisten coding langsung, latensi respons secara langsung memengaruhi persepsi terhadap produk. Model yang membutuhkan waktu 4-6 detik untuk merespons mulai terasa tidak dapat diandalkan, bahkan jika outputnya secara teknis superior.

Aturan praktis: Jika pengguna melihat spinner loading, setiap detik tambahan mengurangi kepercayaan.

Haiku, Mistral, dan Llama 3.1 8B berjalan jauh lebih cepat (terkadang 3 hingga 5 kali lebih cepat) dalam kondisi beban yang serupa. Untuk fitur yang digunakan langsung oleh pengguna di mana kecepatan yang dirasakan penting, ini bukanlah pertimbangan kecil. Ini adalah keputusan produk.

Variabel Teknik Prompt (Yang Mengubah Semuanya)

Inilah sesuatu yang sering diabaikan dalam diskusi perbandingan model: prompt yang dirancang dengan baik pada model yang lebih kecil sering mengalahkan prompt yang dibuat asal-asalan pada model frontier.

Kualitas output adalah produk dari kemampuan model DAN kualitas prompt. Ketika tim berinvestasi dalam teknik prompt (instruksi yang jelas, format output terstruktur, contoh few-shot, batasan yang dirumuskan dengan jelas) model yang lebih kecil berkinerja jauh di atas batas yang tampak.

Beberapa alat yang patut diketahui di sini:

• LangChain dan DSPy untuk menyusun dan mengoptimalkan alur pemrosesan prompt
• Guidance untuk pembangkitan keluaran dengan batasan dan output terstruktur
• PromptFoo untuk menjalankan evaluasi prompt sistematis di seluruh model

Beberapa fitur AI paling mengesankan dalam produksi saat ini berjalan pada model yang tidak akan masuk lima besar dalam daftar kemampuan apa pun. Mereka hanya berjalan pada prompt yang sangat baik.

Fine-Tuning Mengubah Persamaan

Perbandingan antara model frontier umum dan model open-source yang lebih kecil menjadi sangat berbeda ketika fine-tuning diterapkan. Model Llama 3.1 8B yang difine-tuning pada data domain spesifik Anda (terminologi Anda, kasus batas Anda, format output yang dipilih) dapat mengungguli GPT-4o pada tugas spesifik Anda.

Ini bukanlah hipotetis. Perusahaan di bidang kesehatan, teknologi hukum, dan e-commerce telah menunjukkannya berulang kali.

Beberapa tempat untuk memulai fine-tuning:

• Hugging Face untuk hosting model open-source, dataset, dan infrastruktur pelatihan
• Together AI untuk fine-tuning cepat dan terjangkau pada model open yang populer
• Replicate untuk menerapkan model kustom tanpa mengelola infrastruktur GPU Anda sendiri

Fine-tuning membutuhkan investasi awal: kurasi data, waktu komputasi, dan pekerjaan evaluasi. Tapi untuk tugas domain-spesifik dengan volume tinggi, perhitungan ekonominya sering kali menjadi jauh lebih menguntungkan.

Keamanan dan Residensi Data Bukanlah Hal yang Dapat Diabaikan

Beberapa aplikasi tidak dapat mengirim data ke API pihak ketiga sama sekali. Pertimbangkan:

• Platform kesehatan yang beroperasi di bawah HIPAA
• Alat keuangan yang menangani PII atau data transaksi yang diatur
• Perangkat lunak perusahaan dengan persyaratan residensi data yang ketat

Lingkungan ini memiliki batasan yang tidak dapat diatasi oleh API model frontier mana pun, terlepas dari kemampuan. Model self-hosted, baik on-premises maupun di cloud pribadi, adalah satu-satunya jalur ke depan. Itu berarti model open-source seperti Llama 3, Mistral, atau Phi-3 yang berjalan pada infrastruktur Anda sendiri. Model frontier yang tidak dapat digunakan dalam produksi secara hukum bukanlah pilihan yang tepat, titik.

Langkah Evaluasi yang Sering Dilewati Tim

Sebagian besar tim memilih model dengan menganggap bahwa model yang paling mahal adalah yang terbaik tanpa mengujinya. Apa yang seharusnya mereka lakukan adalah menjalankan evaluasi terstruktur pada sampel representatif dari kasus penggunaan aktual mereka.

Inilah proses yang berhasil:

1. Bangun set evaluasi dari 100 hingga 200 input representatif dengan output yang diharapkan
2. Proses input tersebut dengan dua atau tiga model kandidat dalam kondisi realistis
3. Beri nilai berdasarkan kriteria nyata Anda: akurasi, kepatuhan format, nada, latensi, biaya per panggilan
4. Putuskan berdasarkan data, bukan perasaan atau peringkat leaderboard

Alat seperti Braintrust, PromptFoo, dan Weights & Biases Prompts membuat evaluasi sistematis ini dapat diakses tanpa latar belakang penelitian. Ini membutuhkan beberapa jam untuk disiapkan. Manfaatnya adalah Anda tidak terjebak menggunakan model yang salah selama enam bulan.

Ketika Model Frontier Memang Adalah Pilihan yang Tepat

Agar adil: ada tugas yang membuat model frontier benar-benar sepadan dengan harganya.

Gunakan model frontier ketika:

• Tugas memerlukan penalaran kompleks dalam beberapa langkah tanpa pola yang jelas
• Variasi kualitas output menimbulkan kerugian besar dan volume pemakaian relatif rendah
• Anda membutuhkan pengetahuan dunia yang luas atau pertimbangan bernuansa yang tidak dapat digantikan dengan mengutak-atik prompt
• Anda sedang memprototip dan belum menentukan batas tugas

Tetap dengan model yang lebih ringan ketika:

• Tugasnya terdefinisi dengan jelas dan berulang
• Kecepatan dan biaya penting pada volume yang Anda jalankan
• Anda dapat berinvestasi dalam teknik prompt atau fine-tuning
• Aturan residensi data atau kepatuhan menutup kemungkinan penggunaan API pihak ketiga

Poinnya bukan untuk menghindari model yang kuat. Poinnya adalah memilih dengan sengaja, dengan bukti, daripada beralih ke nama terbesar di leaderboard karena rasanya seperti pilihan yang aman.

Merangkum Semuanya

Memilih model AI untuk aplikasi Anda tidak boleh terasa seperti kompetisi prestise. Model paling mampu di atas kertas tidak selalu menjadi model yang tepat untuk masalah Anda; bahkan biasanya bukan itulah pilihan yang tepat.

Padankan model dengan tugas. Jalankan evaluasi pada data nyata. Faktorkan latensi, biaya, persyaratan keamanan, dan kemampuan tim Anda untuk melakukan rekayasa prompt atau fine-tuning. Keputusan produk AI terbaik didasarkan pada faktor-faktor konkret tersebut, bukan pada perusahaan mana yang menerbitkan angka paling mencolok kuartal lalu.

Tim yang mengirimkan produk AI yang hebat tidak selalu menjalankan model paling kuat. Mereka menjalankan model yang paling sesuai.