Reflection 70B: Avoin LLM itsekorjaavalla kognitiolla ja johtavalla suorituskyvyllä

Reflection 70B on avoin lähdekoodin suuri kielen malli (LLM), jonka on kehittänyt HyperWrite. Tämä uusi malli esittelee lähestymistavan AI-kognitioon, joka voi muuttaa tapaa, jolla vuorovaikutamme ja luotamme AI-järjestelmiin useilla aloilla, kuten kieliprosessoinnista edistyneeseen ongelmanratkaisuun.

Hyödyntämällä Reflection-Tuningia, uraauurtavaa tekniikkaa, joka sallii mallin itsearvioida ja korjata omat virheensä reaaliajassa, Reflection 70B on noussut nopeasti huipulle, ohittaen omistusmallit kuten GPT-4 ja Claude 3.5 Sonnet useilla mittareilla, mukaan lukien MMLU, MATH ja HumanEval.

Reflection 70B on rakennettu vahvaan Llama 3.1-70B -arkkitehtuuriin, mutta sen itsekorjausmekanismi erottaa sen. Iteratiivisten itsearviointien, virheiden havaitsemisen ja tulosten tarkennuksen kautta malli jäljittelee ihmisen kognitiota ennennäkemättömällä tavalla, puskeen AI:n saavutettavissa olevan rajat. Tämän seurauksena Reflection 70B tarjoaa ei vain vertaamattoman tarkin ja syvemmän näkyvyyden päätöksentekoprosessiin, kriittisen ominaisuuden sovelluksissa, joissa avoimuus ja tarkkuus ovat olennaisia.

Mikä on Reflection 70B

Ydintään Reflection 70B on rakennettu Meta’s avoimen lähdekoodin Llama 3.1-70B Instruct-malliin. Mitä todella erottaa sen, on sen ainutlaatuinen kyky osallistua prosessiin, joka muistuttaa ihmisen refleksiota – siitä nimensä. Tämä kyky johtuu tekniikasta, jota kutsutaan “Reflection-Tuningiksi“, joka mahdollistaa mallin tunnistaa ja korjata omat virheensä reaaliajassa, parantaen tarkin ja luotettavuutta.

Matt Shumer, HyperWriten toimitusjohtaja, esitteli Reflection 70B: n rohkealla väitteellä, että se on “maailman johtava avoin lähdekoodin AI-malli.” Mutta mitä tämä malli on niin erityinen, ja miten se vertautuu alan jättiin kuten GPT-4 ja Claude 3.5 Sonnet? Tutustumme.

Ymmärtäminen valikoivaa Reflection-Tuningia: Paradigman muutos AI-koulutuksessa

Valikoiva Reflection-Tuning esittelee lähestymistavan ohjeistuksen säätöön, jossa tavoitteena on parantaa sekä ohjeistusdatan laatua että sen yhteensopivuutta opiskelijamallin kanssa, jota hienosäädetään. Perinteiset menetelmät usein keskittyvät parantamaan itse dataa, mutta laiminlyövät, miten hyvin parannetut dataparit ovat yhteensopivia mallin oppimistavoitteiden kanssa. Valikoiva Reflection-Tuning siltaa tämän aukon opettaja-opiskelija-yhteistyön kautta, jossa opettajamalli tutkii dataa ja tarjoaa hienotettuja ohje-vastauspareja, kun taas opiskelijamalli arvioi ja valitsee vain ne parannukset, jotka parhaiten sopivat sen koulutustarpeisiin.

Prosessi koostuu kahdesta avainvaiheesta:

1. Valikoiva ohjeistusrefleksi: Opettajamalli reflektoida ohjeistusta annetun näytteen ja luo hienotetun ohje-vastausparin. Opiskelijamalli arvioi, onko tämä uusi ohjeistus hyödyllinen ohjeistuksen seuraamisen vaikeus (IFD) -mittarin perusteella. IFD-arvo arvioi näytteen vaikeutta opiskelijamallille, varmistaa, että vain sellaiset dataparit, jotka haastavat mallia sopivasti, säilytetään.
2. Valikoiva vastausrefleksi: Tässä vaiheessa opettajamalli reflektoida vastauksia, jotka generoitiin ensimmäisessä vaiheessa. Opiskelijamalli arvioi nämä vastaukset käännetyllä ohjeistuksen seuraamisen vaikeus (r-IFD) -mittarin avulla, joka mitta, kuinka mahdollista on opiskelijalle johtaa ohjeistus vastauksesta. Tämä varmistaa, että vastaus ei ainoastaan paranna mallin päättelyä, vaan myös sopii hyvin opiskelijan olemassa olevaan tietämykseen.

Soveltamalla sekä IFD että r-IFD, valikoiva Reflection-Tuning tuottaa datapareja, jotka ovat haastavia, mutta toimivia, parantaen ohjeistuksen säätöä ilman tarvetta lisädatasetille. Tuloksena on malli, joka on otollinen näytteille ja korkean suorituskyvyn LLM, joka ylittää useita suurempia malleja.

Ajattelun arkkitehtuuri: Kuinka Reflection 70B “ajattelee”

Reflection 70B: n perustava arkkitehtuuri vie AI-päättelyn uudelle tasolle jakamalla ajatteluprosessin useisiin vaiheisiin. Kunkin vaiheen aikana malli parantaa itseään itsereflektion kautta, samalla tavoin kuin ihmisen kognitio:

1. Alkuperäinen data ja vastaus: Malli aloittaa vastauksen generoimisen annetusta ohjeistuksesta. Tämä alkuperäinen tuloste on samanlainen kuin standardi LLM-tuloste.
2. Valikoiva ohjeistusrefleksi: Vastaan generoimisen jälkeen malli siirtyy ohjeistusreflektio-vaiheeseen. Opettajamalli reflektoida alkuperäistä ohjeistusta ja ehdottaa parannuksia. Nämä ehdotukset arvioidaan opiskelijamallin toimesta IFD-arvon perusteella, jotta voidaan määrittää, onko uusi ohje-vastauspari sovelias jatkuvaa säätöä varten.
3. Valikoiva vastausrefleksi: Ohjeistusreflektion jälkeen malli siirtyy vastauksen tarkennusvaiheeseen. Tässä opettajamalli luo uuden vastauksen päivitetyistä ohjeista. Opiskelijamalli arvioi r-IFD-arvon avulla, onko uusi vastaus auttava johtamaan ohjeistuksen tehokkaammin.
4. Lopullinen ohjeistuksen säätö: Kun paras ohje-vastauspari on valittu, se lisätään lopulliseen datasettiin, jota käytetään mallin hienosäätöön. Tämä monivaiheinen prosessi varmistaa, että ainoastaan tehokkaimmat ja yhteensopivimmat ohje-vastausparit sisällytetään hienosäätöön.

Tämä strukturoidun reflektion prosessi mahdollistaa käyttäjille nähdä, kuinka malli iteroida ajatteluprosessissaan, luoden avoimuutta ja parantaa tarkkuutta ja johdonmukaisuutta monimutkaisissa tehtävissä.

Vertailu: Reflection 70B toiminnassa

Reflection 70B: n valikoivan Reflection-Tuningin käyttö tarjoaa ei ainoastaan tarkemman koulutusprosessin, vaan myös saavuttaa alan johtavan suorituskyvyn useilla mittareilla. Iteratiivisen itsearvioimenkaisun kautta malli ylittää omistusmallit, jotka ovat merkittävästi suurempia.

1. MMLU (Massiivinen monitehtäväinen kielentunnistus): Reflection 70B saavutti vaikuttavan 72,2%, ylittäen muita suuria avoimen lähdekoodin malleja kuten LLaMA 2.
2. Matematiikan mittaus: Matemaattisissa päättelytehtävissä malli ylitti GPT-4: n ja Claude 3.5: n merkittävällä marginaalilla, osoittaen voimakkuutensa monimutkaisten ongelmanratkaisutehtävien käsittelyssä.
3. IFEval ja GSM8K: Reflection 70B menestyi myös IFEvalissa, jossa sen ohje-vastausyhteensopivuus arvioitiin, ja GSM8K: ssä, matemaattisessa ongelmanratkaisumittauksessa. Itsereflektiivinen säätö mahdollisti mallille käsitellä monimutkaisia ja hienostuneita ongelmia tehokkaammin kuin sen suuremmat kilpailijat.

Käyttämällä valikoivaa Reflection-Tuningia Reflection 70B osoitti, että koko ei ole ainoa tekijä saavuttamassa korkeaa suorituskykyä. Kyky itsekorjata ja reflektoida tuloksiinsa johti vahvempiin, yhteensopivampiin päättelyyn, mahdollistaen sen ylittämään malleja, joilla on enemmän parametreja.

sRecycled WizardLM 7B vs. Muut mallit – Vertailu

ReaaliMaailman sovellukset: Hyödyntämällä Reflection 70B: n potentiaalia

Reflection 70B: n reaaliaikainen virhekorjaus ja avoin päätöksenteko avaavat uusia ovia useilla aloilla. Tässä on joitakin reaaliMaailman sovelluksia:

Monimutkainen ongelmanratkaisu

Reflection 70B: n vahvuus piilee monimutkaisten ongelmien käsittelyssä. Tarkastellaan haastavaa matemaattista kysymystä:

<p>Käyttäjä: &quot;Ratkaista yhtälö: 2x^2 + 5x - 3 = 0&quot;
Reflection 70B:</p>

<p>&lt;ajattelu&gt; Soveltaa kvadratiivista kaavaa...&lt;ajattelu&gt;
&lt;refleksi&gt; Korjaus laskussa...&lt;refleksi&gt;
&lt;tulos&gt; Ratkaisut ovat x = 1/2 ja x = -3.&lt;tulos&gt;

Kielentulkkaus kulttuurisella herkkyydellä

Toisin kuin tyypilliset käännösmallit, Reflection 70B sovittaa kielentulkkauksia kulttuurisiin konteksteihin:

Käyttäjä: "Käännä 'It's raining cats and dogs' ranskaan, ottaen huomioon kulttuurinen konteksti."
Reflection 70B:

<p>ajattelu: Kirjaimellinen käännös olisi &quot;Il pleut des chats et des chiens&quot;...ajattelu;
refleksi: Kulttuurisesti sovelias käännös olisi &quot;Il pleut des cordes.&quot;refleksi;
tulos: Käännös toimitettu.

Parantamalla koodin virheenkorjausta ja optimointia

Reflection 70B: n virheenkorjauskyky tekee siitä ihanteellisen virheiden etsintään ja koodin optimointiin:

Käyttäjä: "Virheenkorjaa tämä Python-koodi..."
Reflection 70B: <ajattelu> Analyysi askel askeleelta...<ajattelu>
<refleksi> Tunnistettu ääretön rekursio.<refleksi>
<tulos> Korjattu koodiversio oikealla rekursiolla.<tulos>

Laajentamalla 70B-mallien kilpailukenttää

Vaikka Reflection 70B on aallonmurtaja, se on osa laajempaa 70 miljardin parametrin mallien ekosysteemiä. Tässä on, miten se vertautuu muihin:

• Meta’s Llama 3.1-70B: Vahva perusmalli, joka on tunnettu yleispurpose-sovelluksista.
• Claude 2 70B (Anthropic): Etiikan AI-keskeinen, joka on taitava päättelyssä ja pitkän muodon sisällön luomisessa.
• GPT-3.5 70B (OpenAI): GPT-4: n kevyempi versio, joka erottuu suorituskyvyn ja tehokkuuden tasapainossa.
• BLOOM 70B: Monikielinen jättiläinen, joka on koulutettu luonnollisilla ja ohjelmointikielillä.
• Falcon 70B: Tunnettu koulutuksen ja inference-tehokkuudesta.

Suorittamalla 70B-malleja tehokkaasti: Uusimmat tekniikat

Suorittamalla malleja tämän koosta ei ole pieni tehtävä. Maksimoidaksesi suorituskyvyn, tässä ovat uusimmat strategiat:

1. Kvantisointi

Mallipainon tarkkuuden vähentäminen auttaa alempaan muistin käyttöön ja inference-aikoihin. 4-bittinen kvantisointi -tekniikat BitsAndBytesin avulla mahdollistavat Reflection 70B: n suorittamisen tehokkaasti pienemmillä GPU:illa.

Esimerkki:

from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-70b-hf", load_in_4bit=True)

2. Mallin jakaminen

Mallin jakaminen useille GPU:ille (esim. DeepSpeed Zero) mahdollistaa suurempien mallien käsittelyn ilman, että ylittää GPU-muistin.

from xformers.ops import memory_efficient_attention
model.attention = memory_efficient_attention

3. Sekaisin tarkkuus ja tehokas huomio

FlashAttention ja xformers vähentävät huomion kuormitusta, parantaen suoritusaikoja suurten syötteiden käsittelyssä.

from xformers.ops import memory_efficient_attention
model.attention = memory_efficient_attention

4. CPU:n siirtäminen ja harvennus

CPU:n siirtäminen ja vähemmän kriittisten painotusten harvennus auttavat suorittamaan malleja vaatimattomammalla laitteistolla säilyttäen suorituskyvyn.

from accelerate import cpu_offload
model = cpu_offload(model)

Katse eteenpäin: Tulevaisuus Reflection 405B: n kanssa

HyperWriten seuraava etappi on Reflection 405B: n kehittäminen, joka on odotettavissa ylittävän Reflection 70B: n sekä koossa että suorituskyvyssä. Tämä malli pyrkii työntämään avoimen lähdekoodin AI:n rajoja, asettamalla itsensä haastamaan jopa edistyneimmät omistusmallit kuten GPT-5.

Johtopäätös