Jangan Bangun Enterprise AI Anda pada Akses yang Dipinjam

Semua aplikasi dan penerapan AI perusahaan telah dibangun hingga saat ini dengan asumsi bahwa akses ke model AI frontier akan tetap memungkinkan dan hampir tidak terbatas. Itu adalah pola pikir yang tepat, sampai sekarang. Trendnya adalah bahwa kemampuan model frontier baru sedang dikomoditisasi atau di-open-source dalam waktu 6 bulan dan oleh karena itu fokusnya hanya pada memahami kemampuan masa depan secepat mungkin. Perusahaan, tim, atau orang-orang yang dapat membangun produk dengan memahami dan menyesuaikan diri dengan kemampuan frontier baru secepat mungkin untuk membangun aplikasi telah memenangkan. Namun, beberapa sinyal mungkin menunjukkan bahwa era ini akan segera berakhir. Keputusan Departemen Perdagangan AS untuk membatasi akses ke model Fable dan Mythos Anthropic hanya merupakan tanda pertama. Namun, pembatasan itu kemudian dicabut setelah koordinasi dengan Anthropic, menunjukkan betapa cepatnya kondisi akses dapat berubah dan kebutuhan akan sistem AI perusahaan yang dapat disesuaikan.

Empat Alasan Mengapa Akses Model Frontier Tidak Dijamin

Pola pikir membangun hanya untuk model frontier mungkin berhenti menjadi yang tepat jika ketersediaannya berhenti menjadi dijamin. Ada setidaknya empat alasan mengapa itu mungkin terjadi. Pertama, ekonomi AI frontier dibangun pada harga yang disubsidi yang tidak akan bertahan. Persiapan IPO baru-baru ini dari OpenAI dan Anthropic telah memaksa mereka membuka buku dan secara jelas mengungkapkan biaya nyata dari layanan AI yang disponsori saat ini, yang mungkin tidak layak secara ekonomi setelah IPO. Desas-desus mengatakan bahwa langganan pribadi seharga $200 yang ditawarkan oleh Anthropic sebenarnya berbiaya beberapa ribu dolar untuk perusahaan. Oleh karena itu, harga token diperkirakan akan terus meningkat, dan era akses model frontier yang murah secara artifisial akan berakhir.

Kedua, model frontier tidak menjadi lebih murah untuk dijalankan. Tidak seperti komputasi klasik, di mana Hukum Moore secara teratur mengurangi biaya dari setiap operasi seiring waktu, AI tampaknya tidak mengikuti kurva ini. Model tersebut semakin besar tetapi juga lebih intensif komputasi. Semua insinyur kami telah menghabiskan kredit Claude mereka dalam waktu 10 menit setelah (sementara) rilis fable 5. Ini mungkin menunjukkan bahwa model frontier berikutnya akan memerlukan lebih banyak token, lebih banyak komputasi, dan lebih banyak infrastruktur dengan setiap iterasi.

Ketiga, tampaknya semakin sedikit pemain yang benar-benar tetap dalam perlombaan untuk model frontier yang sebenarnya. Mistral, yang dulunya merupakan harapan Eropa untuk bersaing di arena global model frontier, telah merevisi ambisinya untuk menjadi pengikut yang sederhana. Model Cina adalah pengikut cepat tetapi terus tertinggal di belakang rilis terbaik laboratorium terkemuka.

Terakhir, model frontier mungkin terlalu berbahaya untuk digunakan dalam setiap aplikasi. Kami tidak menggunakan reaktor nuklir miniatur dalam mobil, sebagian karena bidang ini sangat diatur dan berbahaya. Eksperimen Anthropic sendiri menunjukkan bahwa sangat sulit untuk menjaga model frontier tetap terkendali untuk memastikan bahwa tetap tidak berbahaya sambil mempertahankan kemampuannya. Ini mungkin merupakan pelajaran jangka panjang dan rasional yang mendasari di balik regulasi AS terhadap Fable 5. Dalam hal apa pun, sangat mungkin bahwa model frontier akan diperlakukan sebagai aset strategis oleh negara-negara dan oleh karena itu tidak akan tersedia secara bebas seperti sekarang.

Oleh karena itu, kita mungkin memasuki dunia di mana biaya token menjadi penting dan di mana model frontier tidak tersedia untuk semua aplikasi di semua negara.

Masuk ke Lapisan Aplikasi

Di dunia di mana tidak semua panggilan model pergi ke model terbaik yang tersedia, bagaimana kita masih dapat menjamin bahwa setiap tugas diselesaikan dengan andal dan dengan tingkat kinerja terbaik? Jawabannya mungkin terletak pada apa yang disebut “lapisan aplikasi”.

CEO NVIDIA, Jensen Huang, menjelaskan AI sebagai kue 5 lapis: energi, chip, pusat data, model, dan aplikasi. Ia berargumen bahwa lapisan aplikasi adalah yang paling penting dan yang masih banyak hilang.

Untuk beberapa aplikasi, seperti chatbot, lapisan ini sangat tipis—hanya antarmuka chat. Di lain, seperti aplikasi industri dan teknik lanjutan, jauh lebih penting dan kritis. Ini adalah lapisan penentu dalam rantai nilai. Ketika akses ke model frontier tertentu tidak lagi dijamin, peran lapisan aplikasi adalah untuk memastikan hasilnya seragam di seluruh model dan untuk menjaga biaya token tetap terkendali.

Secara konkret, jika saya ingin melakukan tugas kompleks dan kritis seperti merancang ulang rantai produksi saya untuk model pesawat baru, saya akan meminta model yang kuat untuk membantu saya. Model tersebut mungkin dapat menemukan cara untuk melakukannya sendiri, membangun alat perencanaan untuk saya, dan mengkomunikasikan hasilnya ke semua tim saya. Namun, jika saya beralih ke model yang lebih kuat, lebih murah, atau dari penyedia yang berbeda, saya mungkin kehilangan kinerja atau kehilangan konsistensi dalam hasil akhir saya. Dalam banyak kasus praktis di pengaturan perusahaan, ketidakpastian ini tidak dapat diterima. Inilah di mana peran lapisan aplikasi sangat kritis: bukan membiarkan model beroperasi dalam ruang terbuka dan mengandalkan kemampuan mentahnya untuk menghasilkan hasil, lapisan aplikasi mendefinisikan kanvas yang jelas, himpunan tindakan yang tersedia, dan batas yang ditetapkan di dalamnya dapat beroperasi. Model tidak lagi diminta untuk menemukan semua dari awal, tetapi diberikan kanvas yang ditetapkan dengan baik yang akan sangat meningkatkan kemungkinan bahwa model apa pun akan berkinerja dengan baik.

Secara biaya, model saya mungkin juga memutuskan untuk melakukan tindakan tingkat rendah untuk mencapai tujuannya. Mungkin menulis ulang algoritma perencanaan dari awal, membangun antarmuka baru untuk saya visualisasikan pekerjaannya, atau bahkan mengembangkan solver optimasi baru. Namun, ini mungkin sangat mahal dalam hal token, sedangkan pedoman atau alat yang sudah dibangun dapat membantu model mencapai hasil yang sama dengan lebih sedikit token. Inilah peran lapisan aplikasi. Kabar baiknya adalah bahwa model cenderung malas dan mencari jalur yang lebih pendek, sehingga kita mungkin tidak perlu mengendalikan mereka terlalu banyak sekali mereka memiliki akses ke kumpulan keterampilan, alat, dan sumber daya komputasi yang tepat.

Singkatnya, lapisan aplikasi yang baik akan menyediakan keterampilan, alat, dan pedoman yang jelas untuk model beroperasi dengan andal dan efektif biaya. Selain meningkatkan kinerja dan mengendalikan biaya token, ini juga berarti ketergantungan pada model tertentu menurun. Jika Anda menyematkan kecerdasan Anda dalam lapisan aplikasi daripada dalam model itu sendiri, model yang mendasarinya menjadi dapat dipertukarkan. Dalam banyak kasus, ini mungkin yang membuat perbedaan antara AI perusahaan eksperimental dan yang dapat diskalakan.

Panggilan untuk Tindakan bagi Pemimpin Perusahaan

Di seluruh industri, kami bertemu setiap hari dengan pemimpin perusahaan yang bekerja untuk membangun tumpukan AI mereka. Sebagian besar perusahaan memulai dengan satu atau beberapa penyedia model frontier untuk membangun lapisan model yang diperlukan dalam tumpukan mereka. Untuk lapisan aplikasi, mereka bergantung pada alat yang dibangun sendiri, kemampuan yang sepenuhnya dibeli, atau kombinasi keduanya.

Larangan Anthropic adalah pengingat bahwa tumpukan ini dapat diganggu setiap saat. Arsitektur perusahaan harus siap untuk ketika itu terjadi lagi. Untuk siap, perusahaan harus mempertimbangkan kecepatan penerapan, tetapi juga membangun solusi yang akan memitigasi efek perubahan model serta biaya token yang meningkat. Ini bukanlah jalur yang mudah, tetapi saran saya akan:

• Membangun aplikasi Anda secara strategis dan awal. Perusahaan yang melewatkan kereta akan selalu memiliki celah dibandingkan dengan pelopor awal
• Jadikan model-agnostik sebagai prinsip desain, bukan sebagai solusi
• Biaya beralih model tidak boleh menjadi pertanyaan eksistensial untuk operasi Anda
• Bekerja sama dengan perusahaan khusus yang dapat membandingkan model, memvalidasi kinerja di berbagai pengaturan, dan membantu memastikan jaminan kinerja jangka panjang.

Perusahaan yang akan memenangkan permainan di fase AI perusahaan berikutnya tidak selalu mereka yang memiliki akses ke model terbaik, tetapi mereka yang akan membangun lapisan yang tepat di sekitarnya.