3 начина да застареле чињенице буду свеже у великим језичким моделима

Велики језички модели (ЛЛМ) као што су ГПТ3, ЦхатГПТ и БАРД су данас у моди. Свако има мишљење о томе колико су ови алати добри или лоши за друштво и шта значе за будућност АИ. Гугл је добио много критика за свој нови модел БАРД који је погрешно поставио сложено питање (мало). На питање „О којим новим открићима из свемирског телескопа Џејмс Веб могу да кажем свом 9-годишњаку?“ – цхатбот је дао три одговора, од којих су 2 тачна и 1 погрешан. Погрешна је била да је прву слику „егзопланета“ направио ЈВСТ, што је било нетачно. Дакле, у основи, модел је имао нетачну чињеницу сачувану у својој бази знања. Да би велики језички модели били ефикасни, потребан нам је начин да ове чињенице ажурирамо или да их допунимо новим знањем.

Хајде да прво погледамо како се чињенице чувају унутар модела великог језика (ЛЛМ). Велики језички модели не чувају информације и чињенице у традиционалном смислу као што су базе података или датотеке. Уместо тога, обучени су за огромне количине текстуалних података и научили су обрасце и односе у тим подацима. Ово им омогућава да генеришу људске одговоре на питања, али немају одређену локацију за складиштење својих научених информација. Када одговара на питање, модел користи своју обуку да генерише одговор на основу инпута који добије. Информације и знање које језички модел има резултат су образаца које је научио у подацима на којима је обучен, а не резултат тога што су експлицитно ускладиштени у меморији модела. Архитектура Трансформерса на којој се заснива већина модерних ЛЛМ-а има интерно кодирање чињеница које се користи за одговор на питање постављено у упиту.

Дакле, ако су чињенице унутар интерне меморије ЛЛМ-а погрешне или застареле, нове информације треба да буду обезбеђене путем упита. Промпт је текст који се шаље ЛЛМ-у са упитом и пратећим доказима који могу бити неке нове или исправљене чињенице. Ево 3 начина да приступите овоме.

1. Један од начина да се исправе кодиране чињенице ЛЛМ-а је да се обезбеде нове чињенице релевантне за контекст коришћењем екстерне базе знања. Ова база знања могу бити АПИ позиви за добијање релевантних информација или тражење базе података СКЛ, Но-СКЛ или Вецтор. Напредније знање се може извући из графа знања који чува ентитете података и односе између њих. У зависности од информација које корисник тражи, релевантне информације о контексту могу да се пронађу и дају као додатне чињенице ЛЛМ. Ове чињенице такође могу бити обликоване тако да изгледају као примери обуке за побољшање процеса учења. На пример, можете да проследите гомилу парова питања и одговора за модел да бисте научили како да пружите одговоре.

2. Иновативнији (и скупљи) начин да се повећа ЛЛМ је стварно фино подешавање коришћењем података о обуци. Дакле, уместо да тражимо у бази знања специфичне чињенице које треба додати, градимо скуп података за обуку узорковањем базе знања. Користећи технике надгледаног учења као што је фино подешавање, могли бисмо да креирамо нову верзију ЛЛМ-а која је обучена на овом додатном знању. Овај процес је обично скуп и може коштати неколико хиљада долара за изградњу и одржавање фино подешеног модела у ОпенАИ. Наравно, очекује се да ће трошкови временом постати јефтинији.

3. Друга опција је да користите методе као што је учење уз појачање (РЛ) да бисте обучили агента са људским повратним информацијама и научили политику о томе како да одговори на питања. Овај метод је био веома ефикасан у изградњи модела мањег отиска који се добро сналазе у специфичним задацима. На пример, чувени ЦхатГПТ који је издао ОпенАИ обучен је на комбинацији учења под надзором и РЛ-а са повратним информацијама од људи.

Укратко, ово је простор који се веома развија у коме свака велика компанија жели да уђе и покаже своју диференцијацију. Ускоро ћемо видети главне алате за ЛЛМ у већини области као што су малопродаја, здравство и банкарство који могу да одговоре на људски начин разумевајући нијансе језика. Ови ЛЛМ алати интегрисани са подацима предузећа могу поједноставити приступ и учинити праве податке доступним правим људима у право време.