Inflection-2.5: Potężny Model LLM Rywalizujący z GPT-4 i Gemini

Inflection AI wywołał falę w dziedzinie dużych modeli językowych (LLM) dzięki niedawnemu ujawnieniu Inflection-2.5, modelu, który rywalizuje z czołowymi LLM na świecie, w tym OpenAI’s GPT-4 i Google’s Gemini.

Szybki rozwój Inflection AI został dodatkowo wspomagany przez ogromną inwestycję w wysokości 1,3 miliarda dolarów, pod przewodnictwem gigantów branży, takich jak Microsoft (MSFT ), NVIDIA (NVDA ), oraz znanych inwestorów, w tym Reid Hoffman, Bill Gates i Eric Schmidt. Ta znacząca inwestycja zwiększa łączną kwotę pieniędzy zebranych przez firmę do 1,525 miliarda dolarów.

We współpracy z partnerami CoreWeave (CRWV ) i NVIDIA, Inflection AI buduje największy na świecie klaster AI, składający się z bezprecedensowych 22 000 procesorów NVIDIA H100 Tensor Core GPU. Ta ogromna moc obliczeniowa będzie wspierać szkolenie i wdrożenie nowej generacji dużych modeli AI, umożliwiając Inflection AI przekroczenie granic tego, co jest możliwe w dziedzinie osobistego AI.

Prace Inflection AI już przyniosły znaczące rezultaty, a klaster Inflection AI, składający się obecnie z ponad 3 500 procesorów NVIDIA H100 Tensor Core GPU, osiągnął wyniki na poziomie stanu sztuki w benchmarku MLPerf. W wspólnym zgłoszeniu z CoreWeave i NVIDIA, klaster ukończył zadanie szkolenia odniesienia dla dużych modeli językowych w zaledwie 11 minut, umacniając swoją pozycję jako najszybszy klaster w tym benchmarku.

To osiągnięcie następuje po ujawnieniu Inflection-1, wewnętrznego dużego modelu językowego (LLM) Inflection AI, który został okrzyknięty jako najlepszy model w swojej klasie obliczeniowej. Przewyższając gigantów branży, takich jak GPT-3.5, LLaMA, Chinchilla i PaLM-540B w szerokim zakresie benchmarków powszechnie używanych do porównywania LLM, Inflection-1 umożliwia użytkownikom interakcję z Pi, osobistym AI Inflection AI, w prosty i naturalny sposób, otrzymując szybkie, istotne i przydatne informacje i porady.

Dedycacja Inflection AI do transparentności i powtarzalności jest widoczna w wydaniu notatki technicznej zawierającej ocenę i wyniki Inflection-1 na różnych benchmarkach. Notatka ujawnia, że Inflection-1 przewyższa modele w tej samej klasie obliczeniowej, zdefiniowanej jako modele szkolone przy użyciu co najwyżej operacji zmiennoprzecinkowych (FLOPs) PaLM-540B.

Sukces Inflection-1 i szybkie skalowanie infrastruktury obliczeniowej firmy, wspomaganej przez znaczącą rundę inwestycyjną, podkreśla niezachwianą dedykację Inflection AI do realizacji misji stworzenia osobistego AI dla wszystkich. Dzięki integracji Inflection-1 z Pi, użytkownicy mogą teraz doświadczyć mocy osobistego AI, korzystając z jego empatycznego charakteru, przydatności i standardów bezpieczeństwa.

Inflection-2.5

Inflection-2.5 jest teraz dostępny dla wszystkich użytkowników Pi, osobistego asystenta AI Inflection AI, na wielu platformach, w tym na stronie internetowej (pi.ai), iOS, Android i nowej aplikacji desktopowej. Ta integracja stanowi znaczący kamień milowy w misji Inflection AI, aby stworzyć osobiste AI dla wszystkich, łącząc surową zdolność z empatycznym charakterem i standardami bezpieczeństwa.

Skok w wydajności Poprzedni model Inflection AI, Inflection-1, wykorzystywał około 4% operacji zmiennoprzecinkowych (FLOPs) GPT-4 i wykazywał średnią wydajność na poziomie około 72% w porównaniu z GPT-4 w różnych zadaniach zorientowanych na IQ. Z Inflection-2.5, Inflection AI osiągnął znaczący wzrost zdolności intelektualnych Pi, ze szczególnym uwzględnieniem kodowania i matematyki.

Wydajność modelu w kluczowych benchmarkach branżowych demonstruje jego możliwości, prezentując ponad 94% średniej wydajności GPT-4 w różnych zadaniach, ze szczególnym uwzględnieniem osiągania doskonałości w dziedzinach STEM. To osiągnięcie jest świadectwem niezachwianej dedykacji Inflection AI do przekraczania granic technologicznych, jednocześnie utrzymując focus na doświadczeniu użytkownika i bezpieczeństwie.

Kodowanie i matematyka Inflection-2.5 wyróżnia się w kodowaniu i matematyce, demonstrując ponad 10% poprawę w porównaniu z Inflection-1 w BIG-Bench-Hard, podzbiorze wyzwań dla dużych modeli językowych. Dwa benchmarki kodowania, MBPP+ i HumanEval+, ujawniają ogromne poprawy w porównaniu z Inflection-1, umacniając pozycję Inflection-2.5 jako siły, z którą należy się liczyć w dziedzinie kodowania.

Na benchmarku MBPP+, Inflection-2.5 przewyższa swojego poprzednika o znaczną różnicę, prezentując poziom wydajności porównywalny do GPT-4, jak podaje DeepSeek Coder. Podobnie, na benchmarku HumanEval+, Inflection-2.5 demonstruje znaczący postęp, przewyższając wydajność Inflection-1 i zbliżając się do poziomu GPT-4, jak podaje leaderboard EvalPlus.

Dominacja w benchmarkach branżowych

Inflection-2.5 wyróżnia się w benchmarkach branżowych, prezentując znaczące poprawy w porównaniu z Inflection-1 w benchmarkach MMLU i GPQA Diamond, znanych ze swojej ekspertowej trudności. Wydajność modelu w tych benchmarkach podkreśla jego zdolność do radzenia sobie z szerokim zakresem zadań, od problemów na poziomie szkoły średniej do wyzwań na poziomie profesjonalnym.

Wyniki w egzaminach STEM Model wykazuje się również doskonałą wydajnością w egzaminach STEM, w tym w egzaminie matematycznym węgierskim i fizyce GRE. W egzaminie matematycznym węgierskim, Inflection-2.5 demonstruje swoją matematyczną zdolność, wykorzystując podany prompt i formatowanie, umożliwiając łatwość powtarzalności.

W fizyce GRE, egzaminie wstępnym na studia magisterskie z fizyki, Inflection-2.5 osiąga 85 percentyl ludzkich zdających w maj@8 (głosowanie większościowe na 8), umacniając swoją pozycję jako groźny rywal w dziedzinie rozwiązywania problemów fizycznych. Ponadto, model zbliża się do najwyższego wyniku w maj@32, prezentując swoją zdolność do radzenia sobie z złożonymi problemami fizycznymi z niezwykłą dokładnością.

Ulepszanie doświadczenia użytkownika Inflection-2.5 nie tylko utrzymuje charakter i standardy bezpieczeństwa Pi, ale także podnosi jego status jako wszechstronnego i niezastąpionego osobistego AI w różnych dziedzinach. Od dyskusji o bieżących wydarzeniach po poszukiwanie lokalnych rekomendacji, studiowanie na egzaminy, kodowanie i nawet swobodne rozmowy, Pi zasilany przez Inflection-2.5 obiecuje wzbogacone doświadczenie użytkownika.

Dzięki potężnym możliwościom Inflection-2.5, użytkownicy angażują się w Pi w szerszym zakresie tematów niż kiedykolwiek wcześniej. Zdolność modelu do radzenia sobie z złożonymi zadania, w połączeniu z empatycznym charakterem i możliwościami wyszukiwania w sieci w czasie rzeczywistym, gwarantuje, że użytkownicy otrzymują wysokiej jakości, aktualne informacje i wskazówki.

Przyjęcie i zaangażowanie użytkowników Wpływ integracji Inflection-2.5 z Pi jest już widoczny w sentymencie użytkowników, zaangażowaniu i wskaźnikach retencji. Inflection AI odnotował znaczący przyrost organicznego wzrostu użytkowników, z milionem aktywnych użytkowników dziennie i sześcioma milionami użytkowników miesięcznie, którzy wymienili ponad cztery miliardy wiadomości z Pi.

Średnio rozmowy z Pi trwają 33 minuty, a jedna na dziesięć trwa ponad godzinę każdego dnia. Ponadto, około 60% osób, które wchodzą w interakcję z Pi w danym tygodniu, powraca w następnym tygodniu, prezentując wyższą miesięczną lojalność niż wiodący konkurenci w branży.

Szczegóły techniczne i transparentność benchmarkowa

Zgodnie z dedykacją Inflection AI do transparentności i powtarzalności, firma udostępniła kompleksowe wyniki techniczne i szczegóły dotyczące wydajności Inflection-2.5 w różnych benchmarkach branżowych.

Na przykład, w poprawionej wersji zestawu danych MT-Bench, który rozwiązuje problemy z nieprawidłowymi rozwiązaniami odniesienia i wadliwymi założeniami w oryginalnym zestawie danych, Inflection-2.5 demonstruje wydajność zgodną z oczekiwaniami na podstawie innych benchmarków.

Inflection AI ocenił również Inflection-2.5 w HellaSwag i ARC-C, benchmarkach zdroworozsądkowych i naukowych, raportowanych przez szeroki zakres modeli, a wyniki prezentują silną wydajność na tych nasycanych benchmarkach.

Ważne jest, aby zauważyć, że podczas gdy oceny dostarczone reprezentują model zasilający Pi, doświadczenie użytkownika może się nieznacznie różnić ze względu na czynniki takie jak wpływ wyszukiwania w sieci (nie używanego w benchmarkach), struktury few-shot promptingu i innych różnic po stronie produkcji.

Podsumowanie

Inflection-2.5 reprezentuje znaczący skok w dziedzinie dużych modeli językowych, rywalizując z możliwościami liderów branży, takich jak GPT-4 i Gemini, przy użyciu tylko ułamka zasobów obliczeniowych. Z jego imponującą wydajnością w szerokim zakresie benchmarków, szczególnie w dziedzinach STEM, kodowaniu i matematyce, Inflection-2.5 umieścił się jako groźny rywal w krajobrazie AI.

Integracja Inflection-2.5 z Pi, osobistym asystentem AI Inflection AI, obiecuje wzbogacone doświadczenie użytkownika, łącząc surową zdolność z empatycznym charakterem i standardami bezpieczeństwa. Podczas gdy Inflection AI kontynuuje przekraczanie granic tego, co jest możliwe z LLM, społeczność AI niecierpliwie oczekuje na następną falę innowacji i przełomów od tej pionierskiej firmy.