Menggerakkan Model Bahasa Besar (LLM) ke Aplikasi Bisnis Dunia Nyata

Model bahasa besar ada di mana-mana. Setiap percakapan pelanggan atau presentasi VC melibatkan pertanyaan tentang seberapa siap teknologi LLM dan bagaimana itu akan mengarahkan aplikasi di masa depan. Saya telah membahas beberapa pola ini dalam pos saya sebelumnya. Di sini saya akan membahas beberapa pola dunia nyata untuk aplikasi di industri farmasi yang dikerjakan oleh Persistent Systems.

Model Bahasa Besar dan Kekuatan Inti

LLM baik dalam memahami bahasa, itu adalah kelebihan mereka. Pola paling umum yang kita lihat dengan aplikasi adalah retrieval augmented generation (RAG), di mana pengetahuan dikompilasi dari sumber data dan disajikan dalam konteks sebagai prompt untuk LLM memparafrasekan respons. Dalam hal ini, mekanisme pencarian super-cepat seperti basis data vektor dan mesin berbasis Elasticsearch berfungsi sebagai garis pertama pencarian. Kemudian hasil pencarian dikompilasi menjadi prompt dan dikirim ke LLM sebagian besar sebagai panggilan API.

Pola lainnya adalah menghasilkan kueri pada data terstruktur dengan memberi LLM model data sebagai prompt dan kueri pengguna tertentu. Pola ini dapat digunakan untuk mengembangkan antarmuka “bicara dengan data” yang canggih untuk basis data SQL seperti Snowflake, serta basis data grafik seperti Neo4j.

Menggunakan Pola LLM untuk Wawasan Dunia Nyata

Persistent Systems baru-baru ini melihat pola untuk Blast Motion, sebuah perusahaan telemetri olahraga (analisis ayunan untuk bisbol, golf, dll.), di mana kami menganalisis data waktu-seri ringkasan pemain untuk mendapatkan rekomendasi.

Untuk aplikasi yang lebih kompleks, kita sering perlu menghubungkan permintaan LLM dengan pemrosesan di antara panggilan. Untuk sebuah perusahaan farmasi, kami mengembangkan aplikasi trails pintar yang memfilter pasien untuk uji klinis berdasarkan kriteria yang diekstrak dari dokumen uji klinis. Di sini kami menggunakan pendekatan rantai LLM. Pertama, kami mengembangkan LLM untuk membaca dokumen uji klinis dan menggunakan pola RAG untuk mengekstrak kriteria inklusi dan eksklusi.

Untuk ini, LLM yang relatif lebih sederhana seperti GPT-3.5-Turbo (ChatGPT) digunakan. Kemudian kami menggabungkan entitas yang diekstrak dengan model data basis data SQL di Snowflake, untuk membuat prompt. Prompt ini diberikan kepada LLM yang lebih kuat seperti GPT4, yang memberi kami kueri SQL untuk memfilter pasien, yang siap dijalankan di Snowflake. Karena kami menggunakan rantai LLM, kami bisa menggunakan beberapa LLM untuk setiap langkah rantai, sehingga memungkinkan kami untuk mengelola biaya.

Saat ini, kami memutuskan untuk menjaga rantai ini deterministik untuk mengontrolnya lebih baik. Artinya, kami memutuskan untuk memiliki lebih banyak kecerdasan dalam rantai dan menjaga orkestrasi sangat sederhana dan dapat diprediksi. Setiap elemen rantai adalah aplikasi yang kompleks yang akan membutuhkan beberapa bulan untuk dikembangkan di masa sebelum LLM.

Menggerakkan Kasus Penggunaan yang Lebih Maju

Untuk kasus yang lebih maju, kami bisa menggunakan Agen seperti ReAct untuk meminta LLM membuat instruksi langkah demi langkah untuk diikuti untuk kueri pengguna tertentu. Ini tentu akan membutuhkan LLM tingkat tinggi seperti GPT4 atau Cohere atau Claude 2. Namun, kemudian ada risiko model mengambil langkah yang salah yang perlu diverifikasi menggunakan guardrails. Ini adalah trade-off antara menggerakkan kecerdasan dalam tautan rantai yang terkendali atau membuat seluruh rantai otonom.

Hari ini, ketika kita terbiasa dengan era Kecerdasan Buatan (AI) untuk bahasa, industri mulai mengadopsi aplikasi LLM dengan rantai yang dapat diprediksi. Ketika adopsi ini tumbuh, kita akan segera mulai bereksperimen dengan lebih banyak otonomi untuk rantai ini melalui agen. Itulah yang menjadi perdebatan tentang AGI dan kita tertarik untuk melihat bagaimana semua ini berkembang seiring waktu.