Meningkatkan Inferensi AI: Teknik Lanjutan dan Praktik Terbaik

Ketika datang ke aplikasi yang digerakkan oleh AI secara waktu nyata seperti mobil self-driving atau pemantauan kesehatan, bahkan satu detik tambahan untuk memproses input bisa memiliki konsekuensi serius. Aplikasi AI waktu nyata memerlukan GPU dan daya pengolahan yang handal, yang telah sangat mahal dan membatasi biaya untuk banyak aplikasi – sampai sekarang.

Dengan mengadopsi proses inferensi yang dioptimalkan, bisnis tidak hanya dapat memaksimalkan efisiensi AI; mereka juga dapat mengurangi konsumsi energi dan biaya operasional (hingga 90%); meningkatkan privasi dan keamanan; dan bahkan meningkatkan kepuasan pelanggan.

Masalah Inferensi Umum

Beberapa masalah paling umum yang dihadapi oleh perusahaan ketika datang ke pengelolaan efisiensi AI termasuk klaster GPU yang tidak termanfaatkan, default ke model tujuan umum dan kurangnya wawasan ke dalam biaya terkait.

Tim sering menyediakan klaster GPU untuk beban puncak, tetapi antara 70 dan 80 persen dari waktu, mereka tidak termanfaatkan karena aliran kerja yang tidak merata.

Selain itu, tim default ke model tujuan umum yang besar (GPT-4, Claude) bahkan untuk tugas yang bisa dijalankan pada model sumber terbuka yang lebih kecil. Alasannya? Kekurangan pengetahuan dan kurva belajar yang curam dengan membangun model kustom.

Terakhir, insinyur biasanya kekurangan wawasan ke dalam biaya nyata untuk setiap permintaan, yang menyebabkan tagihan yang besar. Alat seperti PromptLayer, Helicone dapat membantu menyediakan wawasan ini.

Dengan kurangnya kontrol atas pilihan model, batching, dan pemanfaatan, biaya inferensi bisa meningkat secara eksponensial (hingga 10 kali), membuang sumber daya, membatasi akurasi, dan melemahkan pengalaman pengguna.

Konsumsi Energi dan Biaya Operasional

Menjalankan LLM yang lebih besar seperti GPT-4, Llama 3 70B atau Mixtral-8x7B memerlukan daya yang jauh lebih besar per token. Rata-rata, 40 hingga 50 persen dari energi yang digunakan oleh pusat data memuat peralatan komputasi, dengan tambahan 30 hingga 40 persen didedikasikan untuk mendinginkan peralatan.

Oleh karena itu, untuk perusahaan yang menjalankan sekitar jam untuk inferensi skala, lebih menguntungkan untuk mempertimbangkan penyedia on-premis sebagai lawan penyedia cloud untuk menghindari membayar biaya premium dan mengonsumsi lebih banyak energi.

Privasi dan Keamanan

Menurut Cisco’s 2025 Data Privacy Benchmark Study, “64% responden khawatir tentang berbagi informasi sensitif secara tidak sengaja dengan publik atau kompetitor, namun hampir setengah dari mereka mengakui memasukkan data karyawan atau non-publik ke dalam alat GenAI.” Ini meningkatkan risiko non-kompatibilitas jika data tidak dicatat atau di-cache dengan benar. Kesempatan lain untuk risiko adalah menjalankan model di seluruh organisasi pelanggan pada infrastruktur yang dibagikan; ini bisa menyebabkan pelanggaran data dan masalah kinerja, dan ada risiko tambahan bahwa tindakan satu pengguna dapat mempengaruhi pengguna lain. Oleh karena itu, perusahaan umumnya lebih memilih layanan yang diterapkan di awan mereka.

Kepuasan Pelanggan

Ketika respon membutuhkan waktu lebih dari beberapa detik untuk muncul, pengguna biasanya meninggalkan, mendukung upaya insinyur untuk mengoptimalkan untuk latensi nol. Selain itu, aplikasi menampilkan “hambatan seperti halusinasi dan ketidakakuratan yang mungkin membatasi dampak dan adopsi luas,” menurut siaran pers Gartner.

Manfaat Bisnis dari Mengelola Masalah Ini

Mengoptimalkan batching, memilih model yang tepat (misalnya, beralih dari Llama 70B atau model sumber tertutup seperti GPT ke Gemma 2B di mana memungkinkan) dan meningkatkan pemanfaatan GPU dapat memotong tagihan inferensi sebesar 60 hingga 80 persen. Menggunakan alat seperti vLLM dapat membantu, serta beralih ke model pay-as-you-go serverless untuk alur kerja yang tidak teratur.

Ambil Cleanlab, misalnya. Cleanlab meluncurkan Model Bahasa Tepercaya (TLM) untuk menambahkan skor kepercayaan ke setiap respon LLM. Ini dirancang untuk output berkualitas tinggi dan keandalan yang ditingkatkan, yang sangat penting untuk aplikasi perusahaan untuk mencegah halusinasi yang tidak terkendali. Sebelum Inferless, Cleanlabs mengalami biaya GPU yang meningkat, karena GPU berjalan bahkan ketika mereka tidak secara aktif digunakan. Masalah mereka adalah masalah umum untuk penyedia cloud GPU tradisional: latensi tinggi, manajemen biaya yang tidak efisien, dan lingkungan yang kompleks untuk dikelola. Dengan inferensi serverless, mereka memotong biaya sebesar 90 persen sambil mempertahankan tingkat kinerja. Lebih penting lagi, mereka langsung online dalam dua minggu tanpa biaya tambahan untuk overhead insinyur.

Mengoptimalkan Arsitektur Model

Model dasar seperti GPT dan Claude sering dilatih untuk keumuman, bukan efisiensi atau tugas spesifik. Dengan tidak mengkustomisasi model sumber terbuka untuk kasus penggunaan spesifik, bisnis membuang-buang memori dan waktu komputasi untuk tugas yang tidak memerlukan skala itu.

Chip GPU baru seperti H100 cepat dan efisien. Ini sangat penting ketika menjalankan operasi skala besar seperti generasi video atau tugas terkait AI. Lebih banyak inti CUDA meningkatkan kecepatan pemrosesan, mengungguli GPU yang lebih kecil; Tensor core NVIDIA dirancang untuk mempercepat tugas ini dalam skala.

Memori GPU juga penting dalam mengoptimalkan arsitektur model, karena model AI besar memerlukan ruang yang signifikan. Memori tambahan ini memungkinkan GPU untuk menjalankan model yang lebih besar tanpa mengompromikan kecepatan. Sebaliknya, kinerja GPU yang lebih kecil yang memiliki VRAM yang lebih sedikit menderita, karena mereka memindahkan data ke sistem RAM yang lebih lambat.

Beberapa manfaat dari mengoptimalkan arsitektur model termasuk waktu dan uang yang diselamatkan. Pertama, beralih dari transformer yang padat ke varian LoRA-optimalkan atau FlashAttention-basis dapat menghemat antara 200 dan 400 milidetik dari waktu respon per kueri, yang sangat penting dalam chatbot dan game, misalnya. Selain itu, model kuantisasi (seperti 4-bit atau 8-bit) memerlukan VRAM yang lebih sedikit dan berjalan lebih cepat pada GPU yang lebih murah.

Jangka panjang, mengoptimalkan arsitektur model menyelamatkan uang pada inferensi, karena model yang dioptimalkan dapat berjalan pada chip yang lebih kecil.

Mengoptimalkan arsitektur model melibatkan langkah-langkah berikut:

• Kuantisasi — mengurangi presisi (FP32 → INT4/INT8), menghemat memori dan mempercepat waktu komputasi
• Pengguntingan — menghapus bobot atau lapisan yang kurang berguna (terstruktur atau tidak terstruktur)
• Destilasi — melatih model “siswa” yang lebih kecil untuk meniru output model yang lebih besar

Mengompresi Ukuran Model

Model yang lebih kecil berarti inferensi yang lebih cepat dan infrastruktur yang kurang mahal. Model besar (13B+, 70B+) memerlukan GPU yang mahal (A100s, H100s), VRAM yang tinggi, dan lebih banyak daya. Mengompresi mereka memungkinkan mereka untuk berjalan pada perangkat keras yang lebih murah, seperti A10s atau T4s, dengan latensi yang jauh lebih rendah.

Model yang dikompresi juga sangat penting untuk menjalankan inferensi pada perangkat (ponsel, browser, IoT), karena model yang lebih kecil memungkinkan layanan lebih banyak permintaan bersamaan tanpa menskalakan infrastruktur. Dalam chatbot dengan lebih dari 1.000 pengguna bersamaan, beralih dari model 13B ke model 7B yang dikompresi memungkinkan satu tim untuk melayani lebih dari dua kali jumlah pengguna per GPU tanpa lonjakan latensi.

Menggunakan Perangkat Keras Spesialis

CPU tujuan umum tidak dirancang untuk operasi tensor. Perangkat keras spesialis seperti NVIDIA A100s, H100s, Google TPUs, atau AWS Inferentia dapat menawarkan inferensi yang lebih cepat (antara 10 dan 100 kali) untuk LLM dengan efisiensi energi yang lebih baik. Menghemat bahkan 100 milidetik per permintaan bisa membuat perbedaan ketika memproses jutaan permintaan setiap hari.

Pertimbangkan contoh hipotetis ini:

Sebuah tim menjalankan LLaMA-13B pada GPU standar A10 untuk sistem RAG internal mereka. Latensi sekitar 1,9 detik, dan mereka tidak bisa batching banyak karena keterbatasan VRAM. Jadi mereka beralih ke H100s dengan TensorRT-LLM, Enable FP8, dan kernel perhatian yang dioptimalkan, meningkatkan ukuran batch dari delapan menjadi 64. Hasilnya adalah memotong latensi menjadi 400 milidetik dengan peningkatan lima kali lipat dalam throughput.
Sebagai hasilnya, mereka dapat melayani permintaan lima kali lipat pada anggaran yang sama dan membebaskan insinyur dari navigasi hambatan infrastruktur.

Mengevaluasi Opsi Penerapan

Proses yang berbeda memerlukan infrastruktur yang berbeda; chatbot dengan 10 pengguna dan mesin pencari yang melayani satu juta kueri per hari memiliki kebutuhan yang berbeda. Berinvestasi semua pada cloud (misalnya, AWS Sagemaker) atau server GPU DIY tanpa mengevaluasi rasio biaya-kinerja dapat menyebabkan pemborosan dan pengalaman pengguna yang buruk. Perlu diingat bahwa jika Anda berkomitmen awal pada penyedia cloud tertutup, migrasi solusi tersebut nantinya akan menyakitkan. Namun, evaluasi awal dengan struktur pay-as-you-go memberikan opsi di masa depan.

Evaluasi mencakup langkah-langkah berikut:

• Benchmarks model latensi dan biaya di seluruh platform: Jalankan tes A/B pada AWS, Azure, klaster GPU lokal, atau alat serverless untuk mereplikasi.
• Ukurlah kinerja awal yang dingin: Ini sangat penting untuk beban kerja serverless atau berbasis peristiwa, karena model memuat lebih cepat.
• Taksirlah observabilitas dan batas penskalaan: Evaluasi metrik yang tersedia dan identifikasi apa kueri per detik maksimum sebelum degradasi.
• Periksa dukungan kepatuhan: Tentukan apakah Anda dapat memaksakan aturan data geo-terikat atau log audit.
• Perkirakan total biaya kepemilikan. Ini harus mencakup jam GPU, penyimpanan, bandwidth, dan overhead untuk tim.

Garisan Bawah

Inferensi memungkinkan bisnis untuk mengoptimalkan kinerja AI mereka, mengurangi penggunaan energi dan biaya, mempertahankan privasi dan keamanan, serta menjaga kepuasan pelanggan.