Premještanje velikih jezičnih modela (LLM) u poslovne aplikacije stvarnog svijeta

Veliki jezični modeli su posvuda. Svaki razgovor s klijentom ili VC pitch uključuje pitanja o tome koliko je LLM tehnologija spremna i kako će potaknuti buduće aplikacije. Objasnio sam neke obrasce o ovome moj prethodni post. Ovdje ću govoriti o nekim uzorcima iz stvarnog svijeta za primjenu u farmaceutskoj industriji na kojoj je radio Persistent Systems.

Veliki jezični modeli i temeljne prednosti

LLM-i su dobri u razumijevanju jezika, to je njihova jača strana. Najčešći obrazac koji vidimo s aplikacijama je prošireno generiranje dohvaćanja (RAG), gdje se znanje eksterno kompilira iz izvora podataka i daje u kontekstu kao upit za LLM da parafrazira odgovor. U ovom slučaju, superbrzi mehanizmi pretraživanja poput vektorskih baza podataka i motora temeljenih na Elasticsearch služe kao prva linija pretraživanja. Zatim se rezultati pretraživanja sastavljaju u upit i šalju LLM-u uglavnom kao API poziv.

Drugi obrazac je generiranje upita o strukturiranim podacima unosom LLM-a podatkovnog modela kao prompta i specifičnog korisničkog upita. Ovaj bi se uzorak mogao koristiti za razvoj naprednog sučelja za "razgovor sa vašim podacima" za SQL baze podataka kao što je Snowflake, kao i baze podataka s grafikonima kao što je Neo4j.

Iskorištavanje LLM obrazaca za uvide u stvarni svijet

Persistent Systems nedavno je pogledao obrazac za Eksplozija, tvrtka za sportsku telemetriju (analiza zamaha za baseball, golf, itd.), gdje smo analizirali vremenske serije podataka sažetaka igrača kako bismo dobili preporuke.

Za složenije aplikacije, često moramo ulančati LLM zahtjeve s obradom između poziva. Za farmaceutsku tvrtku razvili smo aplikaciju pametnih tragova koja filtrira pacijente za klinička ispitivanja na temelju kriterija izdvojenih iz dokumenta kliničkog ispitivanja. Ovdje smo koristili LLM lančani pristup. Najprije smo razvili LLM za čitanje probnog pdf dokumenta i korištenje RAG uzorka za izdvajanje kriterija uključivanja i isključivanja.

Za to je korišten relativno jednostavniji LLM kao što je GPT-3.5-Turbo (ChatGPT). Zatim smo te izdvojene entitete kombinirali s podatkovnim modelom pacijentove SQL baze podataka u Snowflakeu kako bismo stvorili upit. Ovaj prompt koji se šalje snažnijem LLM-u kao što je GPT4 daje nam SQL upit za filtriranje pacijenata, koji je spreman za pokretanje na Snowflakeu. Budući da koristimo LLM ulančavanje, mogli bismo koristiti više LLM-ova za svaki korak u lancu, što nam omogućuje upravljanje troškovima.

Trenutno smo odlučili zadržati ovaj lanac determinističkim radi bolje kontrole. Odnosno, odlučili smo imati više inteligencije u lancima i održati orkestraciju vrlo jednostavnom i predvidljivom. Svaki element lanca složena je aplikacija za sebe za koju bi trebalo nekoliko mjeseci da se razvije u danima prije LLM-a.

Pokretanje naprednijih slučajeva upotrebe

Za napredniji slučaj, mogli bismo koristiti agente poput Reagirati kako biste potaknuli LLM da izradi upute korak po korak koje će slijediti za određeni korisnički upit. To bi naravno zahtijevalo napredni LLM kao što je GPT4 ili Cohere ili Claude 2. Međutim, tada postoji rizik da model napravi netočan korak koji će se morati potvrditi pomoću zaštitnih ograda. Ovo je kompromis između premještanja inteligencije u kontroliranim karikama lanca ili stvaranja autonomije cijelog lanca.

Danas, dok se navikavamo na doba generativne umjetne inteligencije za jezik, industrija počinje usvajati LLM aplikacije s predvidljivim lancima. Kako ovo usvajanje bude raslo, uskoro ćemo početi eksperimentirati s više autonomije za te lance putem agenata. To je ono o čemu se vodi rasprava o AGI-u i zainteresirani smo vidjeti kako će se sve to razvijati tijekom vremena.