3 maniere om ou feite vars te hou in groot taalmodelle

Groot taalmodelle (LLM) soos GPT3, ChatGPT en BARD is deesdae hoog op die been. Almal het 'n mening oor hoe hierdie instrumente goed of sleg is vir die samelewing en wat dit vir die toekoms van KI beteken. Google het baie gekla gekry omdat sy nuwe model BARD 'n komplekse vraag verkeerd (effens) gekry het. Op die vraag: "Watter nuwe ontdekkings van die James Webb-ruimteteleskoop kan ek my 9-jarige vertel?" – die kletsbot het drie antwoorde verskaf, waarvan 2 reg en 1 verkeerd was. Die verkeerde een was dat die eerste "exoplaneet"-foto deur JWST geneem is, wat verkeerd was. So basies het die model 'n verkeerde feit in sy kennisbasis gestoor. Vir groot taalmodelle om doeltreffend te wees, het ons 'n manier nodig om hierdie feite bygewerk te hou of die feite met nuwe kennis aan te vul.

Kom ons kyk eers na hoe feite in groottaalmodel (LLM) gestoor word. Groot taalmodelle stoor nie inligting en feite in 'n tradisionele sin soos databasisse of lêers nie. In plaas daarvan is hulle opgelei op groot hoeveelhede teksdata en het hulle patrone en verwantskappe in daardie data geleer. Dit stel hulle in staat om menslike antwoorde op vrae te genereer, maar hulle het nie 'n spesifieke stoorplek vir hul aangeleerde inligting nie. Wanneer 'n vraag beantwoord word, gebruik die model sy opleiding om 'n antwoord te genereer gebaseer op die insette wat dit ontvang. Die inligting en kennis wat 'n taalmodel het, is 'n resultaat van die patrone wat dit aangeleer het in die data waarop dit opgelei is, nie 'n gevolg daarvan dat dit eksplisiet in die model se geheue gestoor is nie. Die Transformers-argitektuur waarop die meeste moderne LLM's gebaseer is, het 'n interne enkodering van feite wat gebruik word om die vraag wat in die boodskap gevra word, te beantwoord.

Dus, as feite in die interne geheue van die LLM verkeerd of verouderd is, moet nuwe inligting via 'n prompt verskaf word. Vinnig is die teks wat na LLM gestuur word met die navraag en stawende bewyse wat nuwe of gekorrigeerde feite kan wees. Hier is 3 maniere om dit te benader.

1. Een manier om die geënkodeerde feite van 'n LLM reg te stel, is om nuwe feite te verskaf wat relevant is tot die konteks deur 'n eksterne kennisbasis te gebruik. Hierdie kennisbasis kan API-oproepe wees om relevante inligting te kry of 'n soektog op 'n SQL-, No-SQL- of Vector-databasis. Meer gevorderde kennis kan onttrek word uit 'n kennisgrafiek wat data-entiteite en verhoudings tussen hulle stoor. Afhangende van die inligting waarvoor die gebruiker navraag doen, kan die relevante konteksinligting opgespoor word en as bykomende feite aan die LLM gegee word. Hierdie feite kan ook geformateer word om soos opleidingsvoorbeelde te lyk om leerproses te verbeter. Byvoorbeeld, jy kan 'n klomp vraag-antwoordpare vir model deurgee om te leer hoe om antwoorde te verskaf.

2. 'n Meer innoverende (en duurder) manier om die LLM aan te vul, is werklike fyninstelling met behulp van opleidingsdata. So in plaas daarvan om kennisbasis navraag te doen vir spesifieke feite om by te voeg, bou ons 'n opleidingdatastel deur die kennisbasis te steekproef. Deur gebruik te maak van leertegnieke onder toesig soos fyn instel, kan ons 'n nuwe weergawe van die LLM skep wat op hierdie bykomende kennis opgelei is. Hierdie proses is gewoonlik duur en kan 'n paar duisend dollar kos om 'n fyn ingestelde model in OpenAI te bou en in stand te hou. Natuurlik sal die koste mettertyd na verwagting goedkoper word.

3. Nog 'n opsie is om metodes soos Reinforcement Learning (RL) te gebruik om 'n agent met menslike terugvoer op te lei en 'n beleid te leer oor hoe om vrae te beantwoord. Hierdie metode was hoogs effektief in die bou van kleiner voetspoormodelle wat goed word in spesifieke take. Byvoorbeeld, die bekende ChatGPT wat deur OpenAI vrygestel is, is opgelei op 'n kombinasie van leer onder toesig en RL met menslike terugvoer.

Kortom, dit is 'n hoogs ontwikkelende ruimte met elke groot maatskappy wat hul differensiasie wil betree en wys. Ons sal binnekort belangrike LLM-instrumente in die meeste gebiede soos kleinhandel, gesondheidsorg en bankwese sien wat op 'n mensagtige manier kan reageer deur die nuanses van taal te verstaan. Hierdie LLM-aangedrewe nutsgoed wat met ondernemingsdata geïntegreer is, kan toegang stroomlyn en die regte data op die regte tyd aan die regte mense beskikbaar stel.