Cum vor fi alimentate aplicațiile viitorului de către Modelele Lingvistice Mari (LLM)

Inteligența generativă și, în special, varianta lingvistică a acesteia – ChatGPT este peste tot. Tehnologia Modelului Lingvistic Mare (LLM) va juca un rol semnificativ în dezvoltarea aplicațiilor viitoare. LLM-urile sunt foarte bune la înțelegerea limbajului datorită pregătirii extensive care a fost făcută pentru modelele de bază pe trilioane de linii de text din domeniul public, inclusiv cod. Metode precum ajustarea supravegheată și învățarea întărită cu feedback uman (RLHF) fac aceste LLM și mai eficiente în a răspunde la întrebări specifice și a conversa cu utilizatorii. Pe măsură ce intrăm în următoarea fază a aplicațiilor alimentate de LLM, următoarele componente cheie vor fi cruciale pentru aceste aplicații de generație următoare. Figura de mai jos arată această evoluție, și pe măsură ce te deplasezi în sus pe lanț, construiești mai multă inteligență și autonomie în aplicațiile tale. Să aruncăm o privire asupra acestor niveluri diferite.

Apele LLM:

Acestea sunt apeluri directe către modelele de completare sau de chat furnizate de un furnizor LLM, cum ar fi Azure OpenAI sau Google PaLM sau Amazon Bedrock. Aceste apeluri au un prompt foarte de bază și folosesc în principal memoria internă a LLM pentru a produce ieșirea.

Exemplu: Cerând un model de bază, cum ar fi “text-davinci”, să “spună o glumă”. Dai foarte puțin context, iar modelul se bazează pe memoria sa preantrenată internă pentru a veni cu un răspuns (evidențiat în verde în figura de mai jos – folosind Azure OpenAI).

Prompturi:

Următorul nivel de inteligență constă în adăugarea de context în prompturi. Există tehnici de inginerie a prompturilor care pot fi aplicate LLM-urilor pentru a le face să ofere răspunsuri personalizate. De exemplu, atunci când se generează un e-mail către un utilizator, anumite informații despre utilizator, achiziții anterioare și modele de comportament pot servi ca prompt pentru a personaliza mai bine e-mailul. Utilizatorii familiarizați cu ChatGPT cunosc diferite metode de a oferi exemple care sunt utilizate de LLM pentru a construi răspunsul. Prompturile completează memoria internă a LLM cu context suplimentar. Un exemplu este prezentat mai jos.

Încorporări:

Încorporările duc prompturile la următorul nivel, prin căutarea unei baze de cunoștințe pentru context și obținerea acelui context și adăugarea la prompt. Aici, primul pas este să se creeze o bază de documente mari cu text nestructurat, care să fie căutabilă prin indexarea textului și popularea unei baze de date vectoriale. Pentru aceasta, se utilizează un model de încorporare, cum ar fi “ada” de la OpenAI, care ia un fragment de text și îl convertește într-un vector n-dimensional. Aceste încorporări captează contextul textului, astfel încât propoziții similare vor avea încorporări care sunt apropiate una de alta în spațiul vectorial. Când utilizatorul introduce o întrebare, acea întrebare este, de asemenea, convertită într-o încorporare, și vectorul respectiv este potrivit cu vectorii din baza de date. Astfel, obținem primele 5 sau 10 fragmente de text care se potrivesc cu întrebarea, care formează contextul. Întrebarea și contextul sunt transmise LLM pentru a răspunde la întrebare într-un mod similar omului.

Lanțuri:

Astăzi, Lanțurile sunt cea mai avansată și matură tehnologie disponibilă, care este utilizată pe scară largă pentru a construi aplicații LLM. Lanțurile sunt deterministice, unde o secvență de apeluri LLM este legată împreună, iar ieșirea de la un apel curge într-unul sau mai multe LLM. De exemplu, am putea avea un apel LLM care consultă o bază de date SQL și obține o listă de adrese de e-mail ale clienților și trimite acea listă către un alt LLM care va genera e-mailuri personalizate pentru clienți. Aceste lanțuri LLM pot fi integrate în fluxurile de aplicații existente pentru a genera rezultate mai valoroase. Utilizând lanțuri, am putea completa apelurile LLM cu intrări externe, cum ar fi apeluri API și integrări cu grafuri de cunoștințe, pentru a oferi context. Mai mult, astăzi, cu multiple furnizori de LLM disponibili, cum ar fi OpenAI, AWS Bedrock, Google PaLM, MosaicML etc., am putea combina și potrivi apeluri LLM în lanțuri. Pentru elemente de lanț cu inteligență limitată, s-ar putea utiliza un LLM mai mic, cum ar fi “gpt3.5-turbo”, în timp ce pentru sarcini mai avansate s-ar putea utiliza “gpt4”. Lanțurile oferă o abstracție pentru date, aplicații și apeluri LLM.

Agenți:

Agenții sunt un subiect de multe dezbateri online, în special în ceea ce privește inteligența artificială generală (AGI). Agenții utilizează un LLM avansat, cum ar fi “gpt4” sau “PaLM2”, pentru a planifica sarcini, în loc de a avea lanțuri predefinite. Astfel, atunci când există solicitări de la utilizatori, pe baza întrebării, agentul decide ce set de sarcini să apeleze și construiește dinamic un lanț. De exemplu, atunci când configurăm un agent cu o comandă, cum ar fi “notifică clienții atunci când rata APR a împrumutului se schimbă din cauza actualizării reglementărilor guvernamentale”. Framework-ul agentului face un apel LLM pentru a decide asupra pașilor de urmat sau a lanțurilor de construit. Aici, va implica apelarea unei aplicații care extrage site-urile web ale reglementărilor și extrage ultima rată APR, apoi un apel LLM căuta în baza de date și extrage adresele de e-mail ale clienților care sunt afectați și, în final, se generează un e-mail pentru a notifica pe toată lumea.

Gânduri finale

LLM este o tehnologie în evoluție rapidă, și modele și aplicații mai bune sunt lansate în fiecare săptămână. LLM până la Agenți este scara inteligenței, și pe măsură ce ne deplasăm în sus, construim aplicații autonome complexe. Modele mai bune vor însemna agenți mai eficienți, și aplicațiile de generație următoare vor fi alimentate de acestea. Va trebui să așteptăm pentru a vedea cât de avansate vor fi aplicațiile următoare și ce modele vor fi alimentate de acestea.