Zhvendosja e modeleve të mëdha të gjuhëve (LLM) në aplikacionet e biznesit në botën reale

Modele të mëdha gjuhësore janë kudo. Çdo bisedë me klientin ose prezantim VC përfshin pyetje rreth asaj se sa e gatshme është teknologjia LLM dhe si do të nxisë aplikacionet e ardhshme. Kam mbuluar disa modele për këtë në postimi im i mëparshëm. Këtu do të flas për disa modele të botës reale për një aplikacion në industrinë farmaceutike ku ka punuar Persistent Systems.

Modele të mëdha gjuhësore dhe pikat kryesore të forta

LLM-të janë të mirë në të kuptuarit e gjuhës, kjo është forca e tyre. Modeli më i zakonshëm që po shohim me aplikacionet është gjenerimi i shtuar i rikthimit (RAG), ku njohuritë përpilohen nga jashtë nga burimet e të dhënave dhe ofrohen në kontekst si një nxitje që LLM të parafrazojë një përgjigje. Në këtë rast, mekanizmat e kërkimit super të shpejtë si bazat e të dhënave vektoriale dhe motorët e bazuar në Elasticsearch shërbejnë si linja e parë e kërkimit. Pastaj rezultatet e kërkimit përpilohen në një kërkesë dhe dërgohen në LLM kryesisht si një thirrje API.

Një model tjetër është gjenerimi i një pyetjeje mbi të dhënat e strukturuara duke i dhënë LLM një model të dhënash si kërkesë e shpejtë dhe një pyetje specifike të përdoruesit. Ky model mund të përdoret për të zhvilluar një ndërfaqe të avancuar "bisedoni me të dhënat tuaja" për bazat e të dhënave SQL si Snowflake, si dhe bazat e të dhënave grafike si Neo4j.

Përdorimi i modeleve të LLM-së për njohuri të botës reale

Persistent Systems kohët e fundit shikuan një model për Lëvizja e shpërthimit, një kompani e telemetrisë sportive (analiza e lëkundjes për bejsbollin, golfin, etj.), ku kemi analizuar të dhënat e serive kohore të përmbledhjeve të lojtarëve për të marrë rekomandime.

Për aplikacione më komplekse, shpesh na duhet t'i lidhim kërkesat LLM me përpunim ndërmjet thirrjeve. Për një kompani farmaceutike, ne zhvilluam një aplikacion inteligjent të shtigjeve që filtron pacientët për provat klinike bazuar në kriteret e nxjerra nga dokumenti i provës klinike. Këtu kemi përdorur një qasje zinxhir LLM. Së pari ne zhvilluam një LLM për të lexuar dokumentin pdf të provës dhe për të përdorur modelin RAG për të nxjerrë kriteret e përfshirjes dhe përjashtimit.

Për këtë, u përdor një LLM relativisht më e thjeshtë si GPT-3.5-Turbo (ChatGPT). Më pas ne kombinuam këto entitete të nxjerra me modelin e të dhënave të bazës së të dhënave SQL të pacientëve në Snowflake, për të krijuar një prompt. Ky prompt i dhënë në një LLM më të fuqishëm si GPT4 na jep një pyetje SQL për të filtruar pacientët, që është gati të ekzekutohet në Snowflake. Meqenëse ne përdorim zinxhirin LLM, ne mund të përdorim shumë LLM për çdo hap të zinxhirit, duke na mundësuar kështu të menaxhojmë koston.

Aktualisht, ne vendosëm ta mbajmë këtë zinxhir përcaktues për një kontroll më të mirë. Domethënë, vendosëm të kishim më shumë inteligjencë në zinxhirë dhe ta mbajmë orkestrimin shumë të thjeshtë dhe të parashikueshëm. Çdo element i zinxhirit është një aplikim kompleks në vetvete që do të duheshin disa muaj për t'u zhvilluar në ditët para LLM.

Fuqizimi i rasteve më të avancuara të përdorimit

Për një rast më të avancuar, ne mund të përdorim Agjentë si reagoj për të nxitur LLM të krijojë udhëzime hap pas hapi për t'u ndjekur për një pyetje të veçantë të përdoruesit. Kjo sigurisht që do të kishte nevojë për një LLM të nivelit të lartë si GPT4 ose Cohere ose Claude 2. Megjithatë, atëherë ekziston rreziku që modeli të ndërmarrë një hap të pasaktë që do të duhet të verifikohet duke përdorur parmakë mbrojtëse. Ky është një shkëmbim ndërmjet lëvizjes së inteligjencës në hallkat e kontrollueshme të zinxhirit ose bërjes autonome të të gjithë zinxhirit.

Sot, ndërsa jemi mësuar me epokën e AI Gjenerative për gjuhën, industria po fillon të adoptojë aplikacione LLM me zinxhirë të parashikueshëm. Ndërsa ky adoptim rritet, së shpejti do të fillojmë të eksperimentojmë me më shumë autonomi për këto zinxhirë nëpërmjet agjentëve. Kjo është ajo që ka të bëjë me debatin mbi AGI dhe ne jemi të interesuar të shohim se si e gjithë kjo evoluon me kalimin e kohës.