Að færa stór tungumálalíkön (LLM) inn í alvöru viðskiptaforrit

Stór tungumálalíkön eru alls staðar. Sérhvert samtal viðskiptavina eða VC pitch felur í sér spurningar um hversu tilbúin LLM tækni er og hvernig hún mun knýja áfram umsóknir í framtíðinni. Ég fór yfir nokkur mynstur um þetta í fyrri færsla mín. Hér mun ég tala um nokkur raunveruleg mynstur fyrir forrit í lyfjaiðnaðinum sem Persistent Systems vann að.

Stór tungumálalíkön og kjarnastyrkur

LLM-menn eru góðir í að skilja tungumál, það er þeirra styrkleiki. Algengasta mynstur sem við sjáum með forritum er endurheimt augmented generation (RAG), þar sem þekking er tekin saman utanaðkomandi úr gagnaveitum og veitt í samhengi sem hvetja LLM til að umorða svar. Í þessu tilviki þjóna ofurhröð leitarkerfi eins og vektorgagnagrunnar og Elasticsearch-byggðar vélar sem fyrsta leitarlína. Síðan eru leitarniðurstöðurnar settar saman í hvetja og sendar til LLM aðallega sem API símtal.

Annað mynstur er að búa til fyrirspurn um skipulögð gögn með því að gefa LLM gagnalíkani sem hvetja og ákveðna notendafyrirspurn. Þetta mynstur gæti verið notað til að þróa háþróað „talaðu við gögnin þín“ viðmót fyrir SQL gagnagrunna eins og Snowflake, sem og grafgagnagrunna eins og Neo4j.

Nýttu LLM mynstur fyrir raunverulegan innsýn í heiminum

Viðvarandi Systems skoðaði nýlega mynstur fyrir Blast Motion, íþróttafjarmælingarfyrirtæki (sveiflugreining fyrir hafnabolta, golf o.s.frv.), þar sem við greindum tímaraðargögn yfir samantektir leikmanna til að fá ráðleggingar.

Fyrir flóknari forrit þurfum við oft að keðja LLM beiðnirnar með vinnslu á milli símtala. Fyrir lyfjafyrirtæki þróuðum við snjallslóðaforrit sem síar sjúklinga fyrir klínískar rannsóknir á grundvelli viðmiða sem dregin eru út úr klínískum rannsóknaskjali. Hér notuðum við LLM keðjuaðferð. Fyrst þróuðum við LLM til að lesa prufu-pdf skjal og nota RAG-mynstur til að draga út inntöku- og útilokunarviðmið.

Fyrir þetta var tiltölulega einfaldara LLM eins og GPT-3.5-Turbo (ChatGPT) notað. Síðan sameinuðum við þessar útdregnu einingar með gagnalíkani af SQL gagnagrunni sjúklinga í Snowflake, til að búa til hvetja. Þessi vísbending sem færð er til öflugra LLM eins og GPT4 gefur okkur SQL fyrirspurn til að sía sjúklinga, sem er tilbúin til að keyra á Snowflake. Þar sem við notum LLM keðju gætum við notað mörg LLM fyrir hvert skref keðjunnar og þannig gert okkur kleift að stjórna kostnaði.

Eins og er ákváðum við að halda þessari keðju ákveðinni fyrir betri stjórn. Það er að segja, við ákváðum að hafa meiri gáfur í hlekkjunum og halda hljómsveitinni mjög einfaldri og fyrirsjáanlegri. Hver þáttur keðjunnar er flókið forrit út af fyrir sig sem myndi taka nokkra mánuði að þróa á dögum fyrir LLM.

Kveikir á ítarlegri notkunartilvikum

Fyrir lengra komna mál gætum við notað umboðsmenn eins og Bregðast við til að hvetja LLM til að búa til skref fyrir skref leiðbeiningar til að fylgja fyrir tiltekna notendafyrirspurn. Þetta myndi auðvitað þurfa háþróað LLM eins og GPT4 eða Cohere eða Claude 2. Hins vegar er hætta á að líkanið taki rangt skref sem þarf að sannreyna með því að nota handrið. Þetta er málamiðlun á milli þess að færa greind í stýranlega hlekki keðjunnar eða gera alla keðjuna sjálfstæða.

Í dag, þegar við venjumst aldri Generative AI fyrir tungumál, er iðnaðurinn farinn að taka upp LLM forrit með fyrirsjáanlegum keðjum. Eftir því sem þessi ættleiðing vex, munum við fljótlega byrja að gera tilraunir með meira sjálfræði fyrir þessar keðjur í gegnum umboðsmenn. Það er það sem umræðan um AGI snýst um og við höfum áhuga á að sjá hvernig allt þetta þróast með tímanum.