Büyük Dil Modellerini (LLM) Gerçek Dünya İş Uygulamalarına Taşımak

Büyük dil modelleri her yerde. Her müşteri konuşması veya VC sunumu, LLM teknolojisinin ne kadar hazır olduğu ve gelecekteki uygulamaları nasıl sürdüreceği hakkında sorular içerir. Bunlara ilişkin bazı kalıpları önceki yazımda ele aldım. Burada, Persistent Systems’in çalıştığı bir farmasötik endüstrisi uygulaması için bazı gerçek dünya kalıplarından bahsedeceğim.

Büyük Dil Modelleri ve Temel Güçleri

LLM’ler dil anlama konusunda iyidir, bu onların güçlü yönüdür. Uygulamalarla ilgili en yaygın kalıp, bilgi dış veri kaynaklarından derlenip LLM’ye bir yanıt oluşturması için bir.prompt olarak sağlanan geri çağırma artırılmış oluşturmadır (RAG). Bu durumda, süper hızlı arama mekanizmaları gibi vektör veritabanları ve Elasticsearch tabanlı motorlar ilk arama hattı olarak görev yapar. Ardından arama sonuçları bir.prompt olarak derlenip LLM’ye genellikle bir API çağrısı olarak gönderilir.

Bir başka kalıp, bir veri modelini LLM’ye bir.prompt olarak besleyerek ve belirli bir kullanıcı sorgusuyla yapılandırılmış bir sorgu oluşturmaktır. Bu kalıp, SQL veritabanları gibi Snowflake ve graf veritabanları gibi Neo4j için gelişmiş bir “verilerinizle konuşun” arayüzü geliştirmek için kullanılabilir.

Gerçek Dünya İçgörülerini Sağlamak için LLM Kalıplarını Kullanma

Persistent Systems, Blast Motion adlı bir spor telemetri şirketinin (basebol, golf vb. için vuruş analizi) zaman serisi veri özetlerini analiz ederek öneriler almak için bir kalıp inceledi.

Daha karmaşık uygulamalar için, genellikle LLM isteklerini aralarındaki işlemlerle zincirleyerek kullanırız. Bir farmasötik şirket için, klinik deneme belgelerinden kriterleri çıkarmak için bir LLM zincir yaklaşımı kullandık. İlk olarak, bir LLM geliştirdik ve RAG kalıbını kullanarak klinik deneme belgelerinden dahil etme ve hariç tutma kriterlerini çıkardık.

Bu amaçla, GPT-3.5-Turbo (ChatGPT) gibi nispeten basit bir LLM kullanıldı. Ardından, bu çıkarılan varlıkları Snowflake’teki hasta SQL veritabanının veri modeliyle birleştirdik ve bir.prompt oluşturduk. Bu.prompt, daha güçlü bir LLM olan GPT4’e verildi ve bize Snowflake’te çalıştırılmaya hazır bir SQL sorgusu verdi. LLM zincirleme kullanmamız sayesinde, her zincir adımında birden fazla LLM kullanabilirdik, böylece maliyeti yönetebilirdik.

Şu anda, bu zinciri deterministik tutmaya karar verdik, yani daha iyi kontrol için zincirin kendisinde daha fazla zeka olması gerekiyor. Yani, zincirin her bir öğesi, önceden LLM’lerin olmadığı günlerde birkaç ayda geliştirilebilecek karmaşık bir uygulamadır.

Daha Gelişmiş Kullanım Durümlerini Sağlama

Daha gelişmiş bir durumda, ReAct gibi ajanları kullanarak, bir kullanıcı sorgusu için adım adım talimatlar oluşturmak üzere LLM’yi tetikleyebiliriz. Bu, elbette GPT4 veya Cohere veya Claude 2 gibi yüksek performanslı bir LLM gerektirecektir. Ancak, bu durumda modelin yanlış bir adım atma riski vardır ve bu, guardrail’ler kullanılarak doğrulanmalıdır. Bu, zincirin kontrollü bağlantlarında zekayı hareket ettirmekle tüm zinciri otomatik hale getirmek arasında bir ticaret-off’dir.

Şu anda, dil için Nesil AI’nin yaşına girdiğimizde, endüstri, öngörülebilir Zincirlerle LLM uygulamalarını benimsemeye başlıyor. Bu benimseme arttıkça, bu zincirleri ajanlar aracılığıyla daha fazla otonomi ile deneysel çalışmalara başlayacağız. Bu, AGI hakkında yapılan tartışmanın tamamı ve tüm bunların zaman içinde nasıl gelişeceğini görmek bizi ilgilendiriyor.