Inflection-2.5: De krachtigste LLM die GPT-4 en Gemini naar de kroon streeft

Inflection AI heeft de aandacht getrokken in het veld van grote taalmodellen (LLM’s) met de onthulling van Inflection-2.5, een model dat concurreert met de toonaangevende LLM’s, waaronder OpenAI’s GPT-4 en Google’s Gemini.

Inflection AI’s snelle opkomst is verder gestimuleerd door een enorme investering van $1,3 miljard, geleid door industrie-giganten zoals Microsoft (MSFT ), NVIDIA (NVDA ) en bekende investeerders, waaronder Reid Hoffman, Bill Gates en Eric Schmidt. Deze significante investering brengt het totale bedrag aan financiering dat door het bedrijf is opgehaald tot $1,525 miljard.

In samenwerking met partners CoreWeave (CRWV ) en NVIDIA, bouwt Inflection AI de grootste AI-cluster ter wereld, bestaande uit een ongekend aantal van 22.000 NVIDIA H100 Tensor Core GPU’s. Deze kolossale rekenkracht zal de training en implementatie van een nieuwe generatie grote AI-modellen ondersteunen, waardoor Inflection AI de grenzen van wat mogelijk is in het veld van persoonlijke AI kan verleggen.

Het bedrijf heeft al opmerkelijke resultaten geboekt, met het Inflection AI-cluster, dat momenteel bestaat uit meer dan 3.500 NVIDIA H100 Tensor Core GPU’s, en dat state-of-the-art-prestaties levert op de open-source-benchmark MLPerf. In een gezamenlijke inzending met CoreWeave en NVIDIA, voltooide het cluster de referentietrainingsopdracht voor grote taalmodellen in slechts 11 minuten, waarmee het zijn positie als het snelste cluster op deze benchmark bevestigde.

Deze prestatie volgt op de onthulling van Inflection-1, Inflection AI’s in-house-grote taalmodel (LLM), dat wordt beschouwd als het beste model in zijn compute-klasse. Inflection-1 presteert beter dan industrie-giganten zoals GPT-3.5, LLaMA, Chinchilla en PaLM-540B op een breed scala aan benchmarks die gebruikelijk worden gebruikt voor het vergelijken van LLM’s, en stelt gebruikers in staat om op een eenvoudige en natuurlijke manier met Pi, Inflection AI’s persoonlijke AI, te communiceren en snelle, relevante en nuttige informatie en advies te ontvangen.

Inflection AI’s toewijding aan transparantie en reproduceerbaarheid blijkt uit de publicatie van een technisch memo met een evaluatie en prestaties van Inflection-1 op diverse benchmarks. Het memo onthult dat Inflection-1 modellen in dezelfde compute-klasse overtreft, gedefinieerd als modellen die zijn getraind met maximaal de FLOPs (floating-point operaties) van PaLM-540B.

Het succes van Inflection-1 en de snelle schaalvergroting van het bedrijf, gestimuleerd door de aanzienlijke financieringsronde, onderstrepen Inflection AI’s onwankelbare toewijding aan het realiseren van zijn missie om een persoonlijke AI voor iedereen te creëren. Met de integratie van Inflection-1 in Pi, kunnen gebruikers nu de kracht van een persoonlijke AI ervaren, profiterend van zijn empathische persoonlijkheid, nuttigheid en veiligheidsnormen.

Inflection-2.5

Inflection-2.5 is nu beschikbaar voor alle gebruikers van Pi, Inflection AI’s persoonlijke AI-assistent, op meerdere platforms, waaronder web (pi.ai), iOS, Android en een nieuwe desktop-app. Deze integratie markeert een significante mijlpaal in Inflection AI’s missie om een persoonlijke AI voor iedereen te creëren, door brute capaciteit te combineren met hun handtekening-empathische persoonlijkheid en veiligheidsnormen.

Een sprong in prestaties Inflection AI’s vorige model, Inflection-1, maakte gebruik van ongeveer 4% van de trainings-FLOPs (floating-point operaties) van GPT-4 en vertoonde een gemiddelde prestatie van ongeveer 72% ten opzichte van GPT-4 op diverse IQ-georiënteerde taken. Met Inflection-2.5 heeft Inflection AI een aanzienlijke boost in Pi’s intellectuele capaciteiten bereikt, met een focus op codering en wiskunde.

De prestaties van het model op sleutelindustriebenchmarks demonstreren zijn kracht, met een prestatie van meer dan 94% van GPT-4’s gemiddelde prestatie op diverse taken, met een bijzondere nadruk op uitmuntendheid in STEM-gebieden. Deze opmerkelijke prestatie is een getuigenis van Inflection AI’s toewijding aan het verleggen van de technologische grenzen, terwijl het een onwankelbare focus op gebruikerservaring en veiligheid behoudt.

Coders en wiskundige capaciteiten Inflection-2.5 blinkt uit in codering en wiskunde, met een verbetering van meer dan 10% ten opzichte van Inflection-1 op BIG-Bench-Hard, een subset van uitdagende problemen voor grote taalmodellen. Twee coderingsbenchmarks, MBPP+ en HumanEval+, onthullen aanzienlijke verbeteringen ten opzichte van Inflection-1, waardoor Inflection-2.5 zijn positie als een krachtige speler in het coderingsdomein versterkt.

Op de MBPP+-benchmark overtreft Inflection-2.5 zijn voorganger met een aanzienlijke marge, met een prestatieniveau dat vergelijkbaar is met dat van GPT-4, zoals gerapporteerd door DeepSeek Coder. Evenzo toont Inflection-2.5 op de HumanEval+-benchmark opmerkelijke vooruitgang, waardoor het de prestaties van Inflection-1 overtreft en het niveau van GPT-4 benadert, zoals gerapporteerd op de EvalPlus-leaderboard.

Industriebenchmark-dominantie

Inflection-2.5 onderscheidt zich in industriebenchmarks, met aanzienlijke verbeteringen ten opzichte van Inflection-1 op de MMLU-benchmark en de GPQA Diamond-benchmark, die bekend staat om zijn expertniveau-moeilijkheid. De prestaties van het model op deze benchmarks onderstrepen zijn vermogen om een breed scala aan taken aan te pakken, van middelbareschoolproblemen tot professionele uitdagingen.

Uitmunten in STEM-examens Het model blinkt uit in STEM-examens, met opvallende prestaties op de Hongaarse wiskunde-examen en de Physics GRE. Op de Hongaarse wiskunde-examen toont Inflection-2.5 zijn wiskundige capaciteiten door het gebruik van de verstrekte few-shot-prompt en -format, waardoor het gemakkelijk reproduceerbaar is.

In de Physics GRE, een graduate-entree-examen in natuurkunde, bereikt Inflection-2.5 de 85e percentiel van menselijke testkandidaten in maj@8 (meerderheidsstemming bij 8), waardoor het zijn positie als een formidabele tegenstander in het domein van natuurkunde-problemen bevestigt. Bovendien nadert het model de topscore in maj@32, waardoor het zijn vermogen om complexe natuurkunde-problemen met opmerkelijke nauwkeurigheid aan te pakken, aantoont.

Verbetering van de gebruikerservaring Inflection-2.5 handhaaft niet alleen Pi’s handtekening-persoonlijkheid en veiligheidsnormen, maar verheft zijn status als een veelzijdige en onmisbare persoonlijke AI op diverse onderwerpen. Van het bespreken van actuele gebeurtenissen tot het zoeken naar lokale aanbevelingen, studeren voor examens, coderen en zelfs informele gesprekken, Pi met Inflection-2.5 belooft een verrijkte gebruikerservaring.

Met Inflection-2.5’s krachtige capaciteiten engageren gebruikers zich met Pi op een bredere reeks onderwerpen dan ooit tevoren. Het model’s vermogen om complexe taken aan te pakken, in combinatie met zijn empathische persoonlijkheid en real-time-webzoekmogelijkheden, zorgt ervoor dat gebruikers hoge-kwaliteit, up-to-date-informatie en -advies ontvangen.

Gebruikersadoptie en -engagement De impact van Inflection-2.5’s integratie in Pi is al zichtbaar in de gebruikerssentiment, -engagement en -retentie-metrics. Inflection AI heeft een aanzienlijke versnelling van de organische gebruikersgroei gezien, met één miljoen dagelijkse en zes miljoen maandelijkse actieve gebruikers die meer dan vier miljard berichten met Pi uitwisselen.

Gemiddeld duren conversaties met Pi 33 minuten, waarvan één op de tien langer dan een uur duurt. Bovendien keert ongeveer 60% van de mensen die in een bepaalde week met Pi communiceren, de volgende week terug, waardoor een hogere maandelijkse “stickiness” wordt getoond dan leidende concurrenten in het veld.

Technische details en benchmark-transparantie

In overeenstemming met Inflection AI’s toewijding aan transparantie en reproduceerbaarheid, heeft het bedrijf uitgebreide technische resultaten en details over de prestaties van Inflection-2.5 op diverse industriebenchmarks verstrekt.

Bijvoorbeeld toont Inflection-2.5 op de gecorrigeerde versie van de MT-Bench-dataset, die problemen met onjuiste referentieoplossingen en gebrekkige premissen in de oorspronkelijke dataset aanpakt, prestaties die in overeenstemming zijn met verwachtingen op basis van andere benchmarks.

Inflection AI heeft Inflection-2.5 ook geëvalueerd op HellaSwag en ARC-C, gemeenschappelijke zin en wetenschapsbenchmarks die door een breed scala aan modellen worden gerapporteerd, en de resultaten tonen sterke prestaties op deze verzadigingsbenchmarks.

Het is belangrijk op te merken dat, hoewel de evaluaties die zijn verstrekt het model vertegenwoordigen dat Pi aandrijft, de gebruikerservaring enigszins kan variëren vanwege factoren zoals de impact van web-opzoekingen (niet gebruikt in de benchmarks), de structuur van few-shot-prompting en andere productie-gerelateerde verschillen.

Conclusie

Inflection-2.5 vertegenwoordigt een significante stap voorwaarts in het veld van grote taalmodellen, waarbij het de capaciteiten van industrieleiders zoals GPT-4 en Gemini benadert, terwijl het slechts een fractie van de rekenbronnen gebruikt. Met zijn indrukwekkende prestaties op een breed scala aan benchmarks, met name in STEM-gebieden, codering en wiskunde, heeft Inflection-2.5 zichzelf gepositioneerd als een formidabele tegenstander in het AI-landschap.

De integratie van Inflection-2.5 in Pi, Inflection AI’s persoonlijke AI-assistent, belooft een verrijkte gebruikerservaring, door brute capaciteit te combineren met empathische persoonlijkheid en veiligheidsnormen. Terwijl Inflection AI de grenzen van wat mogelijk is met LLM’s blijft verleggen, verwacht de AI-gemeenschap met spanning de volgende golf van innovaties en doorbraken van dit baanbrekende bedrijf.