Kako će veliki jezični modeli (LLM) pokretati aplikacije budućnosti

Generativni AI, a posebno njegov jezični okus – ChatGPT je posvuda. Tehnologija Large Language Model (LLM) igrat će značajnu ulogu u razvoju budućih aplikacija. LLM-ovi su vrlo dobri u razumijevanju jezika zbog opsežne prethodne obuke koja je obavljena za temeljne modele na trilijunima redaka teksta u javnoj domeni, uključujući kod. Metode poput nadziranog finog podešavanja i pojačanog učenja s ljudskim povratnim informacijama (RLHF) čine ove LLM još učinkovitijima u odgovaranju na određena pitanja i razgovoru s korisnicima. Kako ulazimo u sljedeću fazu AI aplikacija koje pokreću LLM – sljedeće ključne komponente bit će presudne za ove aplikacije sljedeće generacije. Donja slika prikazuje ovaj napredak, a kako napredujete u lancu, gradite više inteligencije i autonomije u svojim aplikacijama. Pogledajmo te različite razine.

LLM pozivi:

To su izravni pozivi na završetak ili modeli chata od strane pružatelja LLM-a kao što su Azure OpenAI ili Google PaLM ili Amazon Bedrock. Ovi pozivi imaju vrlo osnovni prompt i uglavnom koriste internu memoriju LLM-a za proizvodnju izlaza.

Primjer: Traženje osnovnog modela poput "text-davinci" da "ispriča vic". Dajete vrlo malo konteksta i model se oslanja na svoju internu unaprijed obučenu memoriju da bi došao do odgovora (označeno zelenom bojom na slici u nastavku – pomoću Azure OpenAI).

Upiti:

Sljedeća razina inteligencije je dodavanje sve više i više konteksta u upite. Postoje tehnike za brzi inženjering koje se mogu primijeniti na LLM-ove koje ih mogu natjerati da daju prilagođene odgovore. Na primjer, kada generirate e-poruku korisniku, određeni kontekst o korisniku, prošlim kupnjama i obrascima ponašanja može poslužiti kao upit za bolju prilagodbu e-pošte. Korisnici koji su upoznati s ChatGPT-om znat će različite metode podsticanja poput davanja primjera koje LLM koristi za izgradnju odgovora. Upiti povećavaju internu memoriju LLM-a dodatnim kontekstom. Primjer je ispod.

Ugradnje:

Ugradnje podižu upite na sljedeću razinu pretraživanjem konteksta u spremištu znanja i dobivanjem tog konteksta te dodavanjem upitu. Ovdje je prvi korak napraviti veliko spremište dokumenata s nestrukturiranim tekstom pretraživim indeksiranjem teksta i popunjavanjem vektorske baze podataka. Za ovo se koristi model ugradnje poput 'ada' od OpenAI-a koji uzima dio teksta i pretvara ga u n-dimenzionalni vektor. Ova ugrađivanja hvataju kontekst teksta, tako da će slične rečenice imati umetanja koja su blizu jedno drugome u vektorskom prostoru. Kada korisnik unese upit, taj se upit također pretvara u ugrađivanje i taj se vektor uspoređuje s vektorima u bazi podataka. Dakle, dobivamo prvih 5 ili 10 odgovarajućih dijelova teksta za upit koji čine kontekst. Upit i kontekst prosljeđuju se LLM-u da odgovori na pitanje na ljudski način.

Lanci:

Danas je Chains najnaprednija i najzrelija dostupna tehnologija koja se intenzivno koristi za izradu LLM aplikacija. Lanci su deterministički gdje se niz LLM poziva spaja zajedno s izlazom iz jednog koji teče u jedan ili više LLM-ova. Na primjer, mogli bismo imati LLM poziv za upit SQL baze podataka i dobiti popis e-pošte kupaca i poslati taj popis drugom LLM-u koji će generirati personalizirane e-poruke za Kupce. Ovi LLM lanci mogu se integrirati u postojeće tokove aplikacija kako bi se ostvarili vrjedniji rezultati. Koristeći lance, mogli bismo povećati LLM pozive s vanjskim ulazima kao što su API pozivi i integracija s grafikonima znanja za pružanje konteksta. Štoviše, danas s više dostupnih pružatelja LLM-a kao što su OpenAI, AWS Bedrock, Google PaLM, MosaicML itd. mogli bismo kombinirati i spajati LLM pozive u lance. Za elemente lanca s ograničenom inteligencijom može se koristiti niži LLM kao što je 'gpt3.5-turbo', dok se za naprednije zadatke može koristiti 'gpt4'. Lanci daju apstrakciju za podatke, aplikacije i LLM pozive.

agenti:

Agenti su tema mnogih internetskih rasprava, posebice u vezi s umjetnom općom inteligencijom (AGI). Agenti koriste napredni LLM poput 'gpt4' ili 'PaLM2' za planiranje zadataka umjesto da imaju unaprijed definirane lance. Dakle, sada kada postoje korisnički zahtjevi, na temelju upita agent odlučuje koji će skup zadataka pozvati i dinamički gradi lanac. Na primjer, kada konfiguriramo agenta s naredbom poput "obavijesti klijente kada se APR zajma promijeni zbog ažuriranja vladinih propisa". Okvir agenta upućuje LLM poziv kako bi se odlučilo o koracima koje treba poduzeti ili lancima koje treba izgraditi. Ovdje će uključivati ​​pozivanje aplikacije koja pregledava regulatorna web-mjesta i izdvaja najnoviju stopu godišnje kamatne stope, zatim LLM poziv pretražuje bazu podataka i izdvaja e-poruke korisnika na koje se to odnosi i na kraju se generira e-poruka za obavještavanje svih.

Final Misli

LLM je tehnologija koja se visoko razvija i bolji modeli i aplikacije se lansiraju svaki tjedan. LLM do agenata je ljestvica inteligencije i kako napredujemo, gradimo složene autonomne aplikacije. Bolji modeli značit će učinkovitije agente, a aplikacije sljedeće generacije pokretat će ih. Vrijeme će pokazati koliko će napredne biti aplikacije sljedeće generacije i po kojim uzorcima će se pokretati.