Inflection-2.5: Výkonný model LLM soupeřící s GPT-4 a Gemini

Inflection AI způsobila vlnu v oblasti velkých jazykových modelů (LLM) se svou nedávnou prezentací Inflection-2.5, modelu, který soutěží s předními LLM na světě, včetně OpenAI GPT-4 a Google Gemini.

Rychlý růst Inflection AI byl dále poháněn masivní investicí ve výši 1,3 miliardy dolarů, vedenou průmyslovými giganty, jako jsou Microsoft (MSFT ), NVIDIA (NVDA ) a renomovanými investory, včetně Reid Hoffman, Bill Gates a Eric Schmidt. Tato významná investice zvýšila celkovou výši investic společnosti na 1,525 miliardy dolarů.

Ve spolupráci s partnery CoreWeave (CRWV ) a NVIDIA buduje Inflection AI největší AI cluster na světě, skládající se z bezprecedentních 22 000 NVIDIA H100 Tensor Core GPU. Tato kolosální výpočetní síla bude podporovat školení a nasazení nové generace velkých jazykových modelů, umožňujících Inflection AI posunout hranice toho, co je možné v oblasti osobní AI.

Průlomová práce společnosti již přinesla pozoruhodné výsledky, s Inflection AI clusterem, který目前 sestává z více než 3 500 NVIDIA H100 Tensor Core GPU, dosahuje špičkového výkonu na open-source benchmarku MLPerf. Ve společném příspěvku s CoreWeave a NVIDIA dokončil cluster referenční školicí úlohu pro velké jazykové modely za pouhých 11 minut, čímž upevnil svou pozici jako nejrychlejší cluster na tomto benchmarku.

Tento úspěch následuje po představení Inflection-1, velkém jazykovém modelu (LLM) Inflection AI, který byl označen jako nejlepší model ve své třídě. Předčívejte průmyslové giganty, jako jsou GPT-3.5, LLaMA, Chinchilla a PaLM-540B, na široké škále benchmarků běžně používaných pro srovnávání LLM, Inflection-1 umožňuje uživatelům interagovat s Pi, osobním AI Inflection AI, jednoduchým a přirozeným způsobem, získávajícím rychlé, relevantní a užitečné informace a rady.

Závazek Inflection AI k transparentnosti a reprodukovatelnosti je zřejmý z vydání technické poznámky, která podrobně popisuje hodnocení a výkon Inflection-1 na různých benchmarcích. Poznámka odhaluje, že Inflection-1 předčívejte modely ve stejné třídě, definované jako modely školené pomocí nejvýše FLOPs (floating-point operací) PaLM-540B.

Úspěch Inflection-1 a rychlé škálování výpočetní infrastruktury společnosti, poháněné významnou investiční rundou, zdůrazňují neochvějný závazek Inflection AI k plnění své mise vytvářet osobní AI pro každého. S integrací Inflection-1 do Pi mohou uživatelé nyní zažít sílu osobního AI, bénéficující z jeho empatické osobnosti, užitečnosti a bezpečnostních standardů.

Inflection-2.5

Inflection-2.5 je nyní k dispozici všem uživatelům Pi, osobního AI asistenta Inflection AI, napříč několika platformami, včetně webu (pi.ai), iOS, Android a nové desktopové aplikace. Tato integrace představuje významný milník v misi Inflection AI vytvořit osobní AI pro každého, kombinující surovou kapacitu se svou signature empatickou osobností a bezpečnostními standardy.

Skok v výkonu Předchozí model Inflection AI, Inflection-1, využíval přibližně 4% školicích FLOPs (floating-point operací) GPT-4 a vykazoval průměrný výkon kolem 72% ve srovnání s GPT-4 napříč různými úkoly orientovanými na IQ. S Inflection-2.5 dosáhla Inflection AI významného zvýšení intelektuálních schopností Pi, se zaměřením na kódování a matematiku.

Výkon modelu na klíčových průmyslových benchmarcích demonstruje jeho sílu, předvádějící více než 94% průměrného výkonu GPT-4 napříč různými úkoly, se zvláštním zaměřením na excelenci v oblastech STEM. Tento pozoruhodný úspěch je důkazem závazku Inflection AI k posouvání technologických hranic, zatímco udržuje neochvějný focus na uživatelské zkušenosti a bezpečnosti.

Kódování a matematická síla Inflection-2.5 vyniká v kódování a matematice, demonstruje více než 10% zlepšení oproti Inflection-1 na BIG-Bench-Hard, podmnožině náročných problémů pro velké jazykové modely. Dva kódovací benchmarky, MBPP+ a HumanEval+, odhalují masivní zlepšení oproti Inflection-1, upevňující pozici Inflection-2.5 jako síly, se kterou je třeba počítat v oblasti kódování.

Na benchmarku MBPP+ Inflection-2.5 předčívejte svého předchůdce o významnou mez, vykazuje úroveň výkonu srovnatelnou s GPT-4, jak je hlášeno DeepSeek Coder. Podobně na benchmarku HumanEval+ Inflection-2.5 demonstruje pozoruhodný pokrok, předčívejte výkon Inflection-1 a blíží se úrovni GPT-4, jak je hlášeno na EvalPlus leaderboardu.

Průmyslová dominance benchmarků

Inflection-2.5 vyniká v průmyslových benchmarcích, demonstruje významné zlepšení oproti Inflection-1 na benchmarcích MMLU a GPQA Diamond, známých pro svou odbornou úroveň obtížnosti. Výkon modelu na těchto benchmarcích podtrhuje jeho schopnost zvládat širokou škálu úkolů, od problémů na úrovni střední školy až po profesionální úkoly.

Excelence ve STEM zkouškách Výkon modelu se rozšiřuje na STEM zkoušky, s vynikajícím výkonem na maďarské matematické zkoušky a fyzikální GRE. Na maďarské matematické zkoušky Inflection-2.5 demonstruje svou matematickou zdatnost využíváním poskytnutého few-shot promptu a formátování, umožňujícím snadnou reprodukovatelnost.

Na fyzikální GRE, vstupní zkoušce z fyziky, Inflection-2.5 dosahuje 85. percentilu lidských testujících v maj@8 (majoritní hlasování na 8), upevňující svou pozici jako formidabilní soupeř v oblasti řešení fyzikálních problémů. Kromě toho se model blíží nejvyššímu skóre v maj@32, demonstruje svou schopnost řešit komplexní fyzikální problémy s pozoruhodnou přesností.

Zlepšení uživatelské zkušenosti Inflection-2.5 nejen udržuje signature empatickou osobnost a bezpečnostní standardy Pi, ale také zvyšuje jeho status jako všestranného a nepostradatelného osobního AI napříč různými tématy. Od diskuse o aktuálních událostech až po hledání místních doporučení, studium pro zkoušky, kódování a dokonce i neformální konverzace, Pi poháněný Inflection-2.5 slibuje obohacenou uživatelskou zkušenost.

S výkonnými schopnostmi Inflection-2.5 uživatelé interagují s Pi na širší škále témat než kdykoli předtím. Schopnost modelu zvládat komplexní úkoly, kombinovaná s jeho empatickou osobností a možnostmi vyhledávání na webu v reálném čase, zajišťuje, že uživatelé získají vysoce kvalitní, aktuální informace a rady.

Uživatelská adopce a zapojení Dopad integrace Inflection-2.5 do Pi je již patrný v uživatelských sentimentech, zapojení a retenci. Inflection AI zaznamenala významné urychlení organického růstu uživatelů, s jedním milionem denních a šesti miliony měsíčních aktivních uživatelů, kteří vyměňují více než čtyři miliardy zpráv s Pi.

Průměrně trvají konverzace s Pi 33 minut, přičemž jedna z deseti trvá déle než hodinu každý den. Kromě toho se přibližně 60% lidí, kteří interagují s Pi v daném týdnu, vrátí následující týden, демонстрируjící vyšší měsíční retenci než přední konkurenti v oblasti.

Technické detaily a transparentnost benchmarků

V souladu se závazkem Inflection AI k transparentnosti a reprodukovatelnosti poskytla společnost komplexní technické výsledky a detaily o výkonu Inflection-2.5 na různých průmyslových benchmarcích.

Například na opravené verzi datové sady MT-Bench, která řeší problémy s nesprávnými referenčními řešeními a vadnými premisami v původní datové sadě, Inflection-2.5 demonstruje výkon v souladu s očekáváním založenými na jiných benchmarcích.

Inflection AI také vyhodnotila Inflection-2.5 na HellaSwag a ARC-C, běžné smyslové a vědecké benchmarky hlášené širokou škálou modelů, a výsledky demonstrují silný výkon na těchto saturujících benchmarcích.

Je důležité poznamenat, že zatímco vyhodnocení poskytnutá reprezentují model pohánějící Pi, uživatelská zkušenost se může mírně lišit kvůli faktorům, jako je dopad vyhledávání na webu (které se nepoužívá v benchmarcích), struktura few-shot promptů a další produkční rozdíly.

Závěr

Inflection-2.5 představuje významný skok vpřed v oblasti velkých jazykových modelů, soupeřící s možnostmi lídrů v oblasti, jako jsou GPT-4 a Gemini, zatímco využívá pouze zlomek výpočetních zdrojů. S jeho pozoruhodným výkonem na široké škále benchmarků, zejména v oblastech STEM, kódování a matematice, Inflection-2.5 se umístil jako formidabilní soupeř v AI krajině.

Integrace Inflection-2.5 do Pi, osobního AI asistenta Inflection AI, slibuje obohacenou uživatelskou zkušenost, kombinující surovou kapacitu s empatickou osobností a bezpečnostními standardy. Zatímco Inflection AI pokračuje v posouvání hranic toho, co je možné s LLM, AI komunita netrpělivě očekává další vlnu inovací a průlomů z této průkopnické společnosti.