Inflection-2.5: Modelul LLM care rivalizează GPT-4 și Gemini

Inflection AI a făcut valuri în domeniul modelelor de limbaj mari (LLM) cu dezvăluirea recentă a Inflection-2.5, un model care concurează cu liderii mondiali LLM, inclusiv GPT-4 și Gemini de la Google.

Ascensiunea rapidă a Inflection AI a fost alimentată și de o rundă masivă de finanțare de 1,3 miliarde de dolari, condusă de gigantii industriei, cum ar fi Microsoft (MSFT ), NVIDIA (NVDA ), și investitori de renume, printre care Reid Hoffman, Bill Gates și Eric Schmidt. Această investiție semnificativă aduce totalul fondurilor strânse de companie la 1,525 miliarde de dolari.

În colaborare cu partenerii CoreWeave (CRWV ) și NVIDIA, Inflection AI construiește cel mai mare cluster de inteligență artificială din lume, compus din 22.000 de procesoare GPU H100 Tensor Core de la NVIDIA. Această putere de calcul uriașă va sprijini antrenarea și implementarea unei noi generații de modele de inteligență artificială la scară largă, permițând Inflection AI să împingă limitele a ceea ce este posibil în domeniul asistenților personali de inteligență artificială.

Lucrarea revoluționară a companiei a produs deja rezultate remarcabile, clusterul Inflection AI, care cuprinde peste 3.500 de procesoare GPU H100 Tensor Core, realizând o performanță de top pe benchmark-ul MLPerf. Într-o încercare comună cu CoreWeave și NVIDIA, clusterul a finalizat sarcina de antrenare de referință pentru modelele de limbaj mari în doar 11 minute, consolidându-și poziția ca cel mai rapid cluster pe acest benchmark.

Acestă realizare urmează lansării Inflection-1, modelul de limbaj mare al Inflection AI, care a fost lăudat ca fiind cel mai bun model din clasa sa de calcul. Depășind gigantii industriei, cum ar fi GPT-3.5, LLaMA, Chinchilla și PaLM-540B, pe o gamă largă de benchmark-uri utilizate pentru compararea modelelor de limbaj mari, Inflection-1 permite utilizatorilor să interacționeze cu Pi, asistentul personal de inteligență artificială al Inflection AI, într-un mod simplu și natural, primind informații și sfaturi rapide, relevante și utile.

Angajamentul Inflection AI față de transparență și reproductibilitate este evident în lansarea unei note tehnice care detaliază evaluarea și performanța Inflection-1 pe diverse benchmark-uri. Nota revelează că Inflection-1 depășește modelele din aceeași clasă de calcul, definită ca modele antrenate utilizând cel mult operațiunile cu puncte flotante (FLOPs) ale PaLM-540B.

Succesul Inflection-1 și escaladarea rapidă a infrastructurii de calcul a companiei, alimentată de runda substanțială de finanțare, subliniază angajamentul neclintit al Inflection AI de a-și îndeplini misiunea de a crea un asistent personal de inteligență artificială pentru toată lumea. Cu integrarea Inflection-1 în Pi, utilizatorii pot experimenta puterea unui asistent personal de inteligență artificială, beneficiind de personalitatea sa empatică, utilitate și standarde de siguranță.

Inflection-2.5

Inflection-2.5 este acum disponibil pentru toți utilizatorii lui Pi, asistentul personal de inteligență artificială al Inflection AI, pe multiple platforme, inclusiv web (pi.ai), iOS, Android și o nouă aplicație de desktop. Această integrare marchează o piatră de hotar importantă în misiunea Inflection AI de a crea un asistent personal de inteligență artificială pentru toată lumea, combinând capacitatea brută cu personalitatea empatică și standardele de siguranță semnătură.

Un salt în performanță Modelul anterior al Inflection AI, Inflection-1, a utilizat aproximativ 4% din operațiunile cu puncte flotante (FLOPs) ale GPT-4 și a arătat o performanță medie de aproximativ 72% în comparație cu GPT-4 pe diverse sarcini orientate spre inteligență. Cu Inflection-2.5, Inflection AI a realizat o creștere substanțială a capacităților intelectuale ale lui Pi, cu accent pe codare și matematică.

Performanța modelului pe benchmark-urile industriale demonstrează puterea sa, arătând peste 94% din performanța medie a GPT-4 pe diverse sarcini, cu un accent deosebit pe excelență în domeniile științifice, tehnice, inginerice și matematice (STEM). Acestă realizare remarcabilă este un testament al angajamentului Inflection AI de a împinge frontierele tehnologice, menținând în același timp o focalizare neclintită pe experiența utilizatorului și siguranță.

Performanță în codare și matematică Inflection-2.5 strălucește în codare și matematică, demonstrând o îmbunătățire de peste 10% față de Inflection-1 pe BIG-Bench-Hard, un subset de probleme dificile pentru modelele de limbaj mari. Două benchmark-uri de codare, MBPP+ și HumanEval+, arată îmbunătățiri masive față de Inflection-1, consolidând poziția Inflection-2.5 ca o forță de luat în seamă în domeniul codării.

Pe benchmark-ul MBPP+, Inflection-2.5 depășește semnificativ predecesorul său, arătând un nivel de performanță comparabil cu cel al GPT-4, așa cum a fost raportat de DeepSeek Coder. Similar, pe benchmark-ul HumanEval+, Inflection-2.5 demonstrează progrese remarcabile, depășind performanța Inflection-1 și apropiindu-se de nivelul GPT-4, așa cum a fost raportat pe leaderboard-ul EvalPlus.

Dominanța benchmark-urilor industriale

Inflection-2.5 se remarcă în benchmark-urile industriale, arătând îmbunătățiri semnificative față de Inflection-1 pe benchmark-urile MMLU și GPQA Diamond, cunoscute pentru dificultatea lor expertă. Performanța modelului pe aceste benchmark-uri subliniază capacitatea sa de a gestiona o gamă largă de sarcini, de la probleme de nivel liceal la provocări de nivel profesional.

Excelență în examenele STEM Performanța modelului se extinde și la examenele STEM, cu rezultate deosebite la examenul de matematică maghiar și la testul de fizică GRE. La examenul de matematică maghiar, Inflection-2.5 demonstrează aptitudinile sale matematice prin utilizarea promptului și a formatului furnizat, permițând reproducerea ușoară.

La testul de fizică GRE, un examen de admitere la studii superioare în fizică, Inflection-2.5 ajunge la percentila 85 a testatorilor umani în maj@8 (vot majoritar la 8), consolidându-și poziția ca un concurent formidabil în domeniul rezolvării problemelor de fizică. Mai mult, modelul se apropie de scorul maxim în maj@32, demonstrând capacitatea sa de a aborda probleme complexe de fizică cu o acuratețe remarcabilă.

Îmbunătățirea experienței utilizatorului Inflection-2.5 nu numai că menține personalitatea și standardele de siguranță semnătură ale lui Pi, dar și ridică statutul său ca asistent personal de inteligență artificială versatil și de neprețuit pe diverse subiecte. De la discutarea evenimentelor curente la recomandări locale, de la studierea pentru examene la codare și până la conversații informale, Pi, alimentat de Inflection-2.5, promite o experiență utilizator îmbunătățită.

Cu capacitățile puternice ale Inflection-2.5, utilizatorii interacționează cu Pi pe o gamă mai largă de subiecte decât oricând. Capacitatea modelului de a gestiona sarcini complexe, combinată cu personalitatea sa empatică și capacitățile de căutare web în timp real, asigură că utilizatorii primesc informații și îndrumări de înaltă calitate și actualizate.

Adopția și implicarea utilizatorilor Impactul integrării Inflection-2.5 în Pi este deja evident în sentimentul, implicarea și retenția utilizatorilor. Inflection AI a observat o accelerare semnificativă a creșterii organice a utilizatorilor, cu un milion de utilizatori activi zilnic și șase milioane de utilizatori activi lunar, care schimbă peste patru miliarde de mesaje cu Pi.

În medie, conversațiile cu Pi durează 33 de minute, iar una din zece conversații durează peste o oră în fiecare zi. Mai mult, aproximativ 60% dintre persoanele care interacționează cu Pi într-o săptămână se întorc în săptămâna următoare, demonstrând o loialitate lunară mai mare decât a competitorilor de top din domeniu.

Detalii tehnice și transparență a benchmark-urilor

În conformitate cu angajamentul Inflection AI față de transparență și reproductibilitate, compania a furnizat rezultate tehnice cuprinzătoare și detalii despre performanța Inflection-2.5 pe diverse benchmark-uri industriale.

De exemplu, pe versiunea corectată a setului de date MT-Bench, care abordează problemele cu soluții de referință incorecte și premise eronate în setul de date original, Inflection-2.5 demonstrează o performanță în concordanță cu așteptările bazate pe alte benchmark-uri.

Inflection AI a evaluat, de asemenea, Inflection-2.5 pe HellaSwag și ARC-C, benchmark-uri de sens comun și știință raportate de o gamă largă de modele, și rezultatele arată o performanță puternică pe aceste benchmark-uri saturate.

Este important de remarcat că, deși evaluările furnizate reprezintă modelul care alimentează Pi, experiența utilizatorului poate varia ușor din cauza factorilor precum impactul recuperării web (nu utilizat în benchmark-uri), structura promptului cu few-shot și alte diferențe de producție.

Concluzie

Inflection-2.5 reprezintă un salt semnificativ înainte în domeniul modelelor de limbaj mari, rivalizând cu capacitățile liderilor din industrie, cum ar fi GPT-4 și Gemini, utilizând doar o fracțiune din resursele de calcul. Cu performanța sa impresionantă pe o gamă largă de benchmark-uri, în special în domeniile STEM, codare și matematică, Inflection-2.5 s-a poziționat ca un concurent formidabil în peisajul inteligenței artificiale.

Integrarea Inflection-2.5 în Pi, asistentul personal de inteligență artificială al Inflection AI, promite o experiență utilizator îmbunătățită, combinând capacitatea brută cu personalitatea empatică și standardele de siguranță. Pe măsură ce Inflection AI continuă să împingă limitele a ceea ce este posibil cu modelele de limbaj mari, comunitatea inteligenței artificiale așteaptă cu interes următoarea undă de inovații și descoperiri de la această companie pionieră.