Mutarea modelelor de limbaj mare (LLM) în aplicații comerciale din lumea reală

Modelele de limbaj mare sunt peste tot. Fiecare conversație cu un client sau o prezentare pentru investitori implică întrebări despre cât de pregătită este tehnologia LLM și cum va conduce aplicațiile viitoare. Am acoperit unele modele pe acest subiect în articolul meu anterior. Aici voi discuta despre unele modele din lumea reală pentru o aplicație în industria farmaceutică, la care a lucrat Persistent Systems.

Modele de limbaj mare și puncte forte

Modelele de limbaj mare sunt bune la înțelegerea limbajului, acesta fiind punctul lor forte. Cel mai frecvent model pe care îl vedem cu aplicațiile este generarea augmentată de recuperare (RAG), unde cunoștințele sunt compilate din surse de date și furnizate în context ca o invitație pentru modelul de limbaj mare pentru a parafraza o răspuns. În acest caz, mecanismele de căutare super-rapide, cum ar fi bazele de date vectoriale și motoarele bazate pe Elasticsearch, servesc ca o primă linie de căutare. Apoi, rezultatele căutării sunt compilate într-o invitație și trimise la modelul de limbaj mare, în cea mai mare parte, ca un apel API.

Un alt model este generarea unei interogări pe date structurate prin alimentarea modelului de limbaj mare cu un model de date ca invitație și o anumită întrebare a utilizatorului. Acest model ar putea fi utilizat pentru a dezvolta o interfață “vorbiți cu datele dvs.” avansată pentru baze de date SQL, cum ar fi Snowflake, precum și pentru baze de date grafice, cum ar fi Neo4j.

Utilizarea modelelor LLM pentru insight-uri din lumea reală

Persistent Systems a examinat recent un model pentru Blast Motion, o companie de telemetrie sportivă (analiză a mișcărilor pentru baseball, golf etc.), unde am analizat datele seriale ale rezumatelor jucătorilor pentru a obține recomandări.

Pentru aplicații mai complexe, adesea avem nevoie pentru a înlănțui solicitările modelului de limbaj mare cu procesarea dintre apeluri. Pentru o companie farmaceutică, am dezvoltat o aplicație inteligentă de urmărire care filtrează pacienții pentru studii clinice pe baza criteriilor extrase din documentul studiului clinic. Aici am utilizat o abordare de înlănțuire a modelului de limbaj mare. Mai întâi, am dezvoltat un model de limbaj mare pentru a citi documentul studiului clinic și a utiliza modelul RAG pentru a extrage criteriile de includere și excludere.

Pentru aceasta, un model de limbaj mare relativ mai simplu, cum ar fi GPT-3.5-Turbo (ChatGPT), a fost utilizat. Apoi, am combinat aceste entități extrase cu modelul de date al bazei de date SQL a pacienților în Snowflake, pentru a crea o invitație. Această invitație a fost trimisă la un model de limbaj mare mai puternic, cum ar fi GPT4, care ne-a dat o interogare SQL pentru a filtra pacienții, gata de a fi executată pe Snowflake. Deoarece utilizăm înlănțuirea modelului de limbaj mare, am putut utiliza mai multe modele de limbaj mare pentru fiecare etapă a lanțului, permițându-ne astfel să gestionăm costurile.

În prezent, am decis să păstrăm acest lanț determinist pentru un control mai bun. Adică, am decis să avem mai multă inteligență în lanțuri și să păstrăm orchestrarea foarte simplă și previzibilă. Fiecare element al lanțului este o aplicație complexă în sine, care ar fi necesitat câteva luni pentru a fi dezvoltată în zilele premergătoare modelului de limbaj mare.

Pornirea unor cazuri de utilizare mai avansate

Pentru un caz mai avansat, am putea utiliza agenți, cum ar fi ReAct, pentru a invita modelul de limbaj mare să creeze instrucțiuni pas cu pas pentru a urma o anumită întrebare a utilizatorului. Acest lucru, desigur, ar necesita un model de limbaj mare de înaltă calitate, cum ar fi GPT4 sau Cohere sau Claude 2. Cu toate acestea, atunci există un risc ca modelul să ia o decizie greșită, care va trebui să fie verificată utilizând garduri de protecție. Acesta este un compromis între mutarea inteligenței în legături controlabile ale lanțului sau facerea întregului lanț autonom.

Astăzi, pe măsură ce ne obișnuim cu epoca inteligenței artificiale generative pentru limbaj, industria începe să adopte aplicații model de limbaj mare cu lanțuri previzibile. Pe măsură ce această adoptare crește, vom începe curând să experimentăm cu mai multă autonomie pentru aceste lanțuri prin agenți. Acesta este ceea ce se discută în dezbaterea despre inteligența artificială generală și suntem interesați să vedem cum toate acestea evoluează în timp.