Inflection-2.5: The Powerhouse LLM Rivaling GPT-4 och Gemini

Böjning AI har gjort vågor inom området stora språkmodeller (LLM) med deras nyligen avtäckta Inflection-2.5, en modell som konkurrerar med världens ledande LLM, inklusive OpenAI:s GPT-4 och Googles Gemini.

Inflection AI:s snabba uppgång har drivits ytterligare av en massiv 1.3 miljarder dollar finansieringsrunda, ledd av industrijättar som Microsoft, NVIDIA och kända investerare inklusive Reid Hoffman, Bill Gates och Eric Schmidt. Denna betydande investering bringar den totala finansieringen som företaget samlat in till 1.525 miljarder dollar.

I samarbete med partners CoreWeave och NVIDIA bygger Inflection AI det största AI-klustret i världen, bestående av oöverträffade 22,000 100 NVIDIA HXNUMX Tensor Core GPU:er. Denna kolossala beräkningskraft kommer att stödja utbildning och implementering av en ny generation storskaliga AI-modeller, vilket gör det möjligt för Inflection AI att tänja på gränserna för vad som är möjligt inom området personlig AI.

Företagets banbrytande arbete har redan gett anmärkningsvärda resultat, med Inflection AI-klustret, som för närvarande består av över 3,500 100 NVIDIA H11 Tensor Core GPU:er, som levererar toppmoderna prestanda på benchmarken MLPerf med öppen källkod. I en gemensam inlämning med CoreWeave och NVIDIA slutförde klustret referensutbildningsuppgiften för stora språkmodeller på bara XNUMX minuter, vilket befäste sin position som det snabbaste klustret på detta benchmark.

Denna prestation följer efter avtäckningen av Inflection-1, Inflection AI:s interna stora språkmodell (LLM), som har hyllats som den bästa modellen i sin datorklass. Överträffar branschjättar som GPT-3.5, LLaMA, Chinchilla och PaLM-540B på ett brett utbud av riktmärken som ofta används för att jämföra LLM:er, Inflection-1 gör det möjligt för användare att interagera med Pi, Inflection AI:s personliga AI, på ett enkelt och naturligt sätt , får snabb, relevant och användbar information och råd.

Inflection AI:s engagemang för transparens och reproducerbarhet är uppenbart i utgivningen av ett tekniskt memo som beskriver utvärderingen och prestandan för Inflection-1 på olika riktmärken. Memot avslöjar att Inflection-1 överträffar modeller i samma beräkningsklass, definierade som modeller som tränas med som mest FLOP:erna (flyttalsoperationer) i PaLM-540B.

Framgången med Inflection-1 och den snabba skalningen av företagets datorinfrastruktur, underblåst av den omfattande finansieringsrundan, framhäver Inflection AI:s orubbliga engagemang för att leverera sitt uppdrag att skapa en personlig AI för alla. Med integrationen av Inflection-1 i Pi kan användare nu uppleva kraften i en personlig AI, dra nytta av dess empatiska personlighet, användbarhet och säkerhetsstandarder.

Böjning-2.5

Böjning-2.5 är nu tillgänglig för alla användare av Pi, Inflection AI:s personliga AI-assistent, på flera plattformar, inklusive webben (pi.ai), iOS, Android och en ny skrivbordsapp. Denna integrering markerar en betydande milstolpe i Inflection AI:s uppdrag att skapa en personlig AI för alla, som kombinerar rå kapacitet med deras kännetecknande empatiska personlighet och säkerhetsstandarder.

A Leap in Performance Inflection AI:s tidigare modell, Inflection-1, använde cirka 4 % av tränings-FLOP:erna (flyttalsoperationer) för GPT-4 och uppvisade en genomsnittlig prestanda på cirka 72 % jämfört med GPT-4 över olika IQ-orienterade uppgifter. Med Inflection-2.5 har Inflection AI uppnått en rejäl ökning av Pi:s intellektuella kapacitet, med fokus på kodning och matematik.

Modellens prestanda på viktiga industririktmärken visar dess skicklighet, och visar upp över 94 % av GPT-4:s genomsnittliga prestanda för olika uppgifter, med särskild tonvikt på att utmärka sig inom STEM-områden. Denna anmärkningsvärda prestation är ett bevis på Inflection AI:s engagemang för att tänja på den tekniska gränsen och samtidigt behålla ett orubbligt fokus på användarupplevelse och säkerhet.

Coding and Mathematics Prowess Inflection-2.5 lyser i kodning och matematik, och visar över en 10% förbättring av Inflection-1 på BIG-Bench-Hard, en undergrupp av utmanande problem för stora språkmodeller. Två riktmärken för kodning, MBPP+ och HumanEval+, avslöjar enorma förbättringar jämfört med Inflection-1, vilket befäster Inflection-2.5:s position som en kraft att räkna med i kodningsdomänen.

På MBPP+ benchmark överträffar Inflection-2.5 sin föregångare med en betydande marginal, och uppvisar en prestandanivå som är jämförbar med den för GPT-4, som rapporterats av DeepSeek Coder. På samma sätt, på HumanEval+ benchmark, visar Inflection-2.5 anmärkningsvärda framsteg, överträffar prestandan för Inflection-1 och närmar sig nivån för GPT-4, som rapporterats på EvalPlus leaderboard.

Branschbenchmarkdominans

Inflection-2.5 sticker ut i branschens riktmärken och visar upp avsevärda förbättringar jämfört med Inflection-1 på MMLU-riktmärket och GPQA Diamond-riktmärket, känt för sin svårighetsgrad på expertnivå. Modellens prestanda på dessa riktmärken understryker dess förmåga att hantera ett brett spektrum av uppgifter, från problem på gymnasienivå till utmaningar på professionell nivå.

Utmärka sig i STEM-prov Modellens skicklighet sträcker sig till STEM-prov, med enastående prestationer på det ungerska matematikprovet och fysik GRE. På det ungerska matematikprovet visar Inflection-2.5 sin matematiska förmåga genom att utnyttja den medföljande snabbprompten och formateringen, vilket möjliggör enkel reproducerbarhet.

I Physics GRE, ett kandidatexamen i fysik, når Inflection-2.5 den 85:e percentilen av mänskliga testdeltagare i maj@8 (majoritetsröst vid 8), vilket befäster sin position som en formidabel utmanare inom området för fysikproblemlösning. . Dessutom närmar sig modellen toppbetyget i maj@32, och visar sin förmåga att tackla komplexa fysikproblem med anmärkningsvärd noggrannhet.

Enhancing User Experience Inflection-2.5 upprätthåller inte bara Pi:s signaturpersonlighet och säkerhetsstandarder utan lyfter dess status som en mångsidig och ovärderlig personlig AI över olika ämnen. Från att diskutera aktuella händelser till att söka lokala rekommendationer, studera inför prov, kodning och till och med tillfälliga konversationer, Pi powered by Inflection-2.5 lovar en berikad användarupplevelse.

Med Inflection-2.5:s kraftfulla funktioner engagerar användarna Pi i ett bredare spektrum av ämnen än någonsin tidigare. Modellens förmåga att hantera komplexa uppgifter, i kombination med dess empatiska personlighet och webbsökningsmöjligheter i realtid, säkerställer att användarna får högkvalitativ, uppdaterad information och vägledning.

Användarantagande och engagemang Effekten av Inflection-2.5s integration i Pi är redan uppenbar i användarsentiment, engagemang och retentionsmått. Inflection AI har sett en betydande acceleration i organisk användartillväxt, med en miljon dagliga och sex miljoner aktiva användare per månad som utbyter mer än fyra miljarder meddelanden med Pi.

I genomsnitt varar konversationer med Pi 33 minuter, varav en av tio varar över en timme varje dag. Dessutom kommer ungefär 60 % av personerna som interagerar med Pi under en viss vecka tillbaka nästa vecka, vilket visar upp högre månatlig klibbighet än ledande konkurrenter på området.

Tekniska detaljer och benchmarktransparens

I linje med Inflection AI:s engagemang för transparens och reproducerbarhet har företaget tillhandahållit omfattande tekniska resultat och detaljer om prestandan för Inflection-2.5 över olika branschriktmärken.

Till exempel, på den korrigerade versionen av MT-Bench-datauppsättningen, som tar itu med problem med felaktiga referenslösningar och felaktiga premisser i den ursprungliga datasetet, visar Inflection-2.5 prestanda i linje med förväntningarna baserat på andra riktmärken.

Inflection AI har också utvärderat Inflection-2.5 på HellaSwag och ARC-C, riktmärken för sunt förnuft och vetenskap som rapporterats av ett brett utbud av modeller, och resultaten visar starka prestanda på dessa mättande riktmärken.

Det är viktigt att notera att även om de tillhandahållna utvärderingarna representerar modellen som driver Pi, kan användarupplevelsen variera något på grund av faktorer som påverkan av webbhämtning (används inte i riktmärkena), strukturen för få-shot-meddelanden och andra skillnader på produktionssidan.

Slutsats

Inflection-2.5 representerar ett betydande steg framåt inom området för stora språkmodeller, som konkurrerar med kapaciteten hos branschledare som GPT-4 och Gemini samtidigt som de bara använder en bråkdel av datorresurserna. Med sin imponerande prestanda över ett brett spektrum av riktmärken, särskilt inom STEM-områden, kodning och matematik, har Inflection-2.5 positionerat sig som en formidabel utmanare i AI-landskapet.

Integrationen av Inflection-2.5 i Pi, Inflection AI:s personliga AI-assistent, lovar en berikad användarupplevelse, som kombinerar rå kapacitet med empatisk personlighet och säkerhetsstandarder. När Inflection AI fortsätter att tänja på gränserna för vad som är möjligt med LLM:er, ser AI-gemenskapen ivrigt fram emot nästa våg av innovationer och genombrott från detta banbrytande företag.