Miksi suuret kielen mallit ohittavat ohjeet ja miten asiaan voi puuttua

Suuret kielen mallit (LLM) ovat nopeasti muodostuneet välttämättömiksi tekoälytyökaluiksi, jotka mahdollistavat sovellukset chatboteista ja sisällön luomisesta koodin apuun. Vaikka näillä malleilla on vaikuttavia ominaisuuksia, yleinen haaste, jota käyttäjät kohtaavat, on se, että nämä mallit joskus ohittavat osan saamistaan ohjeista, erityisesti silloin, kun ohjeet ovat pitkiä tai sisältävät useita vaiheita. Tämä ohittaminen johtaa epätäydellisiin tai epätarkkoihin tuloksiin, mikä voi aiheuttaa sekaannusta ja heikentää luottamusta tekoälyjärjestelmiin. On tärkeää ymmärtää, miksi LLM:t ohittavat ohjeita ja miten tämän ongelman voi ratkaista.

Miksi LLM:t ohittavat ohjeita?

LLM:t toimivat lukemalla syötetekstin tokenien sequeneina. Tokenit ovat pienet osat, joihin teksti jaetaan. Malli prosessoi näitä tokenia yksi kerrallaan, alusta loppuun. Tämä tarkoittaa, että ohjeet syötteen alussa saavat enemmän huomiota. Myöhemmät ohjeet saattavat saada vähemmän huomiota ja voidaan jättää huomiotta.

Tämä johtuu siitä, että LLM:llä on rajoitettu huomion kiinnittämiskyky. Huomio on mekanismi, jota mallit käyttävät päättääkseen, mitkä syötteen osat ovat tärkeitä vastauksen luomisessa. Kun syöte on lyhyt, huomio toimii hyvin. Mutta huomio heikkenee, kun syöte pitenee tai ohjeet tulevat monimutkaisemmiksi. Tämä heikentää huomion kiinnittämistä myöhempiin osiin, aiheuttaen ohjeiden ohittamisen.

Lisäksi useat ohjeet kerralla lisäävät monimutkaisuutta. Kun ohjeet menevät ristiin tai ovat ristiriidassa, mallit saattavat hämmästyä. Ne saattavat yrittää vastata kaikkiin, mutta tuottaa epämääräisiä tai ristiriitaisia vastauksia. Tämä usein johtaa siihen, että joitain ohjeita jää huomiotta.

LLM:t jakavat myös joitain ihmisen kaltaisia rajoituksia. Esimerkiksi ihmiset voivat menettää keskittymiskykynsä, kun he lukevat pitkiä tai toistuvia tekstejä. Vastaavasti LLM:t voivat “unohtaa” myöhemmät ohjeet, kun ne prosessoi enemmän tokenia. Tämä keskittymiskyvyn menetys on osa mallin suunnittelua ja rajoituksia.

Toinen syy on, miten LLM:t on koulutettu. Ne näkevät paljon esimerkkejä yksinkertaisista ohjeista, mutta vähemmän monimutkaisista, usean vaiheen ohjeista. Tämän vuoksi mallit taipuvat seuraamaan yksinkertaisempia ohjeita, jotka ovat yleisempiä koulutusdatassa. Tämä taipumus tekee niistä ohjeiden ohittamisen. Lisäksi tokenien rajoitukset rajoittavat syötteen määrää, jonka malli voi prosessoida. Kun syöte ylittää nämä rajoitukset, ohjeet rajojen jälkeen jäävät huomiotta.

Esimerkki: Oletetaan, että annat LLM:lle viisi ohjetta yhdessä syötteessä. Malli saattaa keskittyä enimmäkseen kahden ensimmäisen ohjeen seuraamiseen ja jättää huomiotta kolme viimeistä ohjetta. Tämä vaikuttaa suoraan siihen, miten malli prosessoi tokenia sequeneina ja sen huomion rajoituksiin.

Miten hyvin LLM:t hallitsevat peräkkäisiä ohjeita SIFo 2024 tuloksien perusteella

Viimeaikaiset tutkimukset ovat tarkastelleet tarkkaan, miten hyvin LLM:t seuraavat useita peräkkäisiä ohjeita. Yksi tärkeä tutkimus on Sequential Instructions Following (SIFo) Benchmark 2024. Tämä benchmark testaa malleja tehtävissä, jotka vaativat askelkohtaisen suorittamisen ohjeita, kuten tekstin muokkaus, kysymyksen vastaus, matematiikka ja turvallisuussääntöjen noudattaminen. Jokainen ohje sequenssissa riippuu edellisen ohjeen oikeasta suorittamisesta. Tämä lähestymistapa auttaa tarkistamaan, onko malli seurannut koko sequenssia oikein.

SIFo-tutkimuksen tulokset osoittavat, että jopa parhaat LLM:t, kuten GPT-4 ja Claude-3, usein käyvät vaikeaksi suorittaa kaikki ohjeet oikein. Tämä on erityisesti totta, kun ohjeet ovat pitkiä tai monimutkaisia. Tutkimus korostaa kolmea pääongelmaa, joita LLM:t kohtaavat ohjeiden seuraamisessa:

Ymmärtäminen: Täydellinen ymmärtäminen kunkin ohjeen merkityksestä.

Päättely: Useiden ohjeiden looginen yhdistäminen, jotta vastaus pysyy selkeänä.

Luotettava ulostulo: Täydellisten ja tarkkojen vastausten tuottaminen, jotka kattavat kaikki annetut ohjeet.

Tekniikat, kuten ohjeiden suunnittelu ja vahvistusoppiminen ihmisten palautteen avulla (RLHF), auttavat parantamaan malleja ohjeiden seuraamisessa. Kuitenkin nämä menetelmät eivät täysin auta ohjeiden ohittamisen ongelmaan. RLHF:n käyttäminen parantaa edelleen mallin kykyä vastata oikein. Silti mallit kohtaavat vaikeuksia, kun ohjeet vaativat monia askelia tai ovat erittäin monimutkaisia.

Tutkimus osoittaa myös, että LLM:t toimivat parhaiten, kun ohjeet ovat yksinkertaisia, selkeästi erottuvia ja hyvin järjestettyjä. Kun tehtävät vaativat pitkiä päättelyketjuja tai monia askelia, mallin tarkkuus laskee. Nämä tulokset auttavat ehdottamaan parempia keinoja LLM:ien käyttämiseen ja osoittavat vahvempien mallien kehittämistarpeen, jotka voivat todella seurata ohjeita peräkkäin.

Miksi LLM:t ohittavat ohjeita: Teknisiä haasteita ja käytännön huomioita

LLM:t saattavat ohittaa ohjeita useiden teknisten ja käytännön tekijöiden vuoksi, jotka liittyvät siihen, miten ne prosessoi ja koodaa syötetekstiä.

Rajoitettu huomion kiinnittämiskyky ja tiedon diluutio

LLM:t riippuvat huomion mekanismeista määrittääkseen, mitkä syötteen osat ovat tärkeitä vastauksen luomisessa. Kun syötteet ovat lyhyitä, mallin huomio on keskittynyt ja tehokas. Kuitenkin kun syötteet pitenevät tai toistuvat, huomio diluutioituu, ja myöhemmät tokenit tai ohjeet saavat vähemmän huomiota, lisäten todennäköisyyden, että ne jäävät huomiotta. Tämä ilmiö, jota kutsutaan tiedon diluutioksi, on erityisen ongelmallista ohjeille, jotka ilmestyvät myöhemmin syötteessä. Lisäksi mallit ovat kiinteiden tokenien rajoitettuja (esim. 2048 tokenia); kaikki syöte, joka ylittää tämän kynnyksen, on katkaistu ja jätetty huomiotta, aiheuttaen ohjeiden ohittamisen kokonaan.

Ulostulon monimutkaisuus ja epäselvyys

LLM:t voivat kamppailla selkeiden ja täydellisten vastausten tuottamisella, kun ne kohtaavat useita tai ristiriitaisia ohjeita. Malli saattaa tuottaa osittaisia tai epämääräisiä vastauksia välttääkseen ristiriidat tai sekaannuksen, tehden ohjeiden ohittamisesta todennäköisempää. Epäselvyys ohjeiden sanamuodossa aiheuttaa myös haasteita: epäselvät tai epätarkat ohjeet tekevät mallille vaikeaksi määritellä tarkoitettuja toimia, lisäten riskiä, että osia syötteestä ohitetaan.

Ohjeiden suunnittelu ja muotoilun herkkyyden

Ohjeiden rakenne ja sanamuoto vaikuttavat myös siihen, miten malli noudattaa niitä. Tutkimus osoittaa, että jopa pienet muutokset ohjeiden kirjoittamisessa tai muotoilussa voivat vaikuttaa merkittävästi siihen, noudattaako malli niitä.

Huonosti rakennetut ohjeet, joissa ei ole selkeää erottelua, luetteloita tai numerointia, tekevät mallille vaikeaksi erottaa askelia, lisäten todennäköisyyden, että ohjeita yhdistetään tai ohitetaan. Mallin sisäinen edustus ohjeesta on erittäin herkkä näille muutoksille, mikä selittää, miksi ohjeiden suunnittelu (ohjeiden uudelleenkirjoittaminen tai uudelleenjärjestäminen) voi parantaa merkittävästi ohjeiden noudattamista, vaikka perustava sisältö säilyy samana.

Miten ohjeiden ohittamista voidaan korjata LLM:issä

Parantaminen LLM:ien kykyä seurata ohjeita tarkasti on välttämätöntä tuottaakseen luotettavia ja tarkkoja tuloksia. Seuraavat parhaat käytännöt tulisi ottaa huomioon vähentääkseen ohjeiden ohittamista ja parantaaakseen AI-vastausten laatua:

Tehtävien jakaminen pienempiin osiin

Pitkiä tai monivaiheisia syötteitä tulisi jaettu pienempiin, keskittyneempiin osiin. Antamalla yksi tai kaksi ohjetta kerrallaan malli voi ylläpitää paremmin huomion kiinnittämiskykyä ja vähentää ohjeiden ohittamisen todennäköisyyttä.

Esimerkki

Sen sijaan, että yhdistät kaikki ohjeet yhteen syötteeseen, kuten “Tiivistä teksti, lue pääkohdat, ehdota parannuksia ja käännä se ranskaaksi”, jokainen ohje tulisi esittää erikseen tai pienemmissä ryhmissä.

Ohjeiden muotoilu numeroiduilla luetteloilla tai kohtina

Ohjeiden järjestäminen selkeällä muotoilulla, kuten numeroiduilla luetteloilla tai kohtina, auttaa osoittamaan, että kunkin kohdan on tarkoitus olla yksittäinen tehtävä. Tämä selkeys lisää todennäköisyyttä, että vastaus kattaa kaikki ohjeet.

Esimerkki

• TIIVISTÄ seuraava teksti.
• LUETTELE pääkohdat.
• EHDOta parannuksia.

Tällainen muotoilu tarjoaa visuaalisia vihjeitä, jotka auttavat mallia tunnistamaan ja erottamaan erillisiä tehtäviä syötteessä.

Ohjeiden tulisi olla selkeät ja yksiselitteiset

On tärkeää, että ohjeet ilmaisevat selvästi vaatimukset kaikkien askelten suorittamiseksi. Epäselvää tai monitulkintaisia kieliä tulisi välttää. Syötteessä tulisi selkeästi ilmetä, että yhtään askelta ei saa ohittaa.

Esimerkki

“Suorita kaikki kolme tehtävää alla. Yhtään askelta ei saa ohittaa.”

Suorat lauseet tällaiset vähentävät sekaannusta ja kannustavat mallia antamaan täydellisiä vastauksia.

Erillisiä syötteitä tulisi käyttää kriittisissä tai korkean prioriteetin tehtävissä

Jokainen ohje tulisi esittää yksittäisenä syötteenä tehtävissä, joissa tarkkuus ja täydellisyys ovat kriittisiä. Vaikka tämä lähestymistapa saattaa lisätä vuorovaikutusaikaa, se parantaa merkittävästi todennäköisyyttä saada täydellisiä ja tarkkoja tuloksia. Tämä menetelmä varmistaa, että malli keskittyy kokonaan yhteen tehtävään kerrallaan, vähentäen ohjeiden ohittamisen riskiä.

Edistyneet strategiat tasapainottaa täydellisyyttä ja tehokkuutta

Odottaminen vastausta jokaisen yksittäisen ohjeen jälkeen voi olla aikaa vievää käyttäjille. Parantamaan tehokkuutta ylläpitäen selkeyttä ja vähentäen ohjeiden ohittamista, seuraavat edistyneet ohjausmenetelmät voivat olla tehokkaita:

Ohjeiden ryhmittäminen selkeällä muotoilulla ja selkeillä merkinnöillä

Useita liittyviä ohjeita voidaan yhdistää yhteen syötteeseen, mutta kunkin ohjeen tulisi olla erotteltuina numeroinnin tai otsikoiden avulla. Syötteessä tulisi myös ohjeistaa mallia vastaamaan kaikkiin ohjeisiin täydellisesti ja järjestyksessä.

Esimerkki syötteestä

Suorita kaikki seuraavat tehtävät huolellisesti ilman ohjeiden ohittamista:

1. Tiivistä teksti alla.
2. Lue pääkohdat tiivistelmästä.
3. Ehdota parannuksia pääkohtien perusteella.
4. Käännä parannettu teksti ranskaaksi.

Chain-of-Thought-tyyppiset ohjausmenetelmät

Chain-of-Thought-ohjausmenetelmä ohjaa mallia päättelyyn kunkin tehtävän kautta ennen vastaamista. Kannustaminen mallia prosessoimaan ohjeita sequenssina yhdessä vastauksessa auttaa varmistamaan, ettei ohjeita ohiteta, vähentäen ohjeiden ohittamisen riskiä ja parantaa täydellisyyttä.

Esimerkki syötteestä

Lue teksti alla ja tee seuraavat tehtävät järjestyksessä. Näytä työsi selkeästi:

• Tiivistä teksti.
• Lue pääkohdat tiivistelmästä.
• Ehdota parannuksia.
• Käännä parannettu teksti ranskaaksi.

Vastaa kaikkiin tehtäviin täydellisesti ja erikseen yhdessä vastauksessa.

Lisää ohjeita ja muistutuksia

Ohjeistaa mallia selkeästi:

• “Vastaa jokaiseen tehtävään täydellisesti.”
• “Älä ohita yhtään ohjetta.”
• “Erota vastauksesi selkeästi.”

Tällaiset muistutukset auttavat mallia keskittymään täydellisyyteen, kun useita ohjeita yhdistetään.

Erilaisia malleja ja parametriasetuksia tulisi testata

Kaikki LLM:t eivät suoriudu yhtä hyvin useiden ohjeiden seuraamisessa. On suositeltavaa arvioida eri malleja, jotta voidaan tunnistaa ne, jotka ovat parhaita monivaiheisissa tehtävissä. Lisäksi parametricien, kuten lämpötilan, maksimien tokenien ja järjestelmäohjeiden, säätäminen voi parantaa vastausten fokusta ja täydellisyyttä. Näiden asetusten testaaminen auttaa sovittamaan mallin käyttäytymistä tiettyihin tehtävän vaatimuksiin.

Mallien hienosäätöä ja ulkoisten työkalujen käyttöä tulisi harkita

Malleja tulisi hienosäätää datassa, joka sisältää monivaiheisia tai peräkkäisiä ohjeita, parantamaan niiden noudattamista monimutkaisissa ohjeissa. Tekniikat, kuten RLHF, voivat edelleen parantaa ohjeiden seuraamista.

Edistyneissä sovelluksissa ulkoisten työkalujen, kuten API:en, tehtäväkohtaisien laajennusten tai Retrieval Augmented Generation (RAG) -järjestelmien, käyttö voi tarjota lisää kontekstia ja ohjausta, parantaen tulosten luotettavuutta ja tarkkuutta.

Päättäminen

LLM:t ovat voimakkaita työkaluja, mutta ne voivat ohittaa ohjeita, kun syötteet ovat pitkiä tai monimutkaisia. Tämä johtuu siitä, miten ne lukevat syötetekstiä ja keskittävät huomiota. Ohjeiden tulisi olla selkeät, yksinkertaiset ja hyvin järjestetyt paremman ja luotettavamman tuloksen saamiseksi. Tehtävien jakaminen pienempiin osiin, luetteloitten käyttäminen ja suorien ohjeiden antaminen auttavat malleja seuraamaan askelia täydellisesti.

Erillisiä syötteitä voidaan käyttää parantamaan tarkkuutta kriittisissä tehtävissä, vaikka ne vievät enemmän aikaa. Lisäksi edistyneet ohjausmenetelmät, kuten Chain-of-Thought ja selkeä muotoilu, auttavat tasapainottamaan nopeuden ja tarkkuuden. Lisäksi eri mallien testaaminen ja hienosäätö voivat parantaa tuloksia. Nämä ideat auttavat käyttäjiä saamaan johdonmukaisia, täydellisiä vastauksia ja tekevät tekoälytyökaluista hyödyllisempiä todellisessa työssä.