Liquid AI uruchamia Liquid Foundation Models: przełom w generatywnym AI

W przełomowym ogłoszeniu, Liquid AI, spin-off MIT, wprowadził swoją pierwszą serię Liquid Foundation Models (LFM). Te modele, zaprojektowane od podstaw, ustanawiają nowy standard w dziedzinie generatywnego AI, oferując niezrównaną wydajność na różnych skalach. LFM, z ich innowacyjną architekturą i zaawansowanymi możliwościami, są gotowe do wyzwania wiodących modeli AI, w tym ChatGPT.

Liquid AI został założony przez zespół badaczy z MIT, w tym Ramin Hasani, Mathias Lechner, Alexander Amini i Daniela Rus. Firma ma siedzibę w Bostonie, w stanie Massachusetts, a jej misją jest tworzenie zdolnych i wydajnych systemów AI dla przedsiębiorstw wszystkich rozmiarów. Zespół pierwotnie opracował sieci neuronowe ciekłe, klasę modeli AI inspirowanych dynamiką mózgu, a teraz ma na celu rozwinięcie możliwości systemów AI na każdej skali, od urządzeń krawędziowych do wdrożeń przedsiębiorstw.

Czym są Liquid Foundation Models (LFM)?

Liquid Foundation Models reprezentują nowe pokolenie systemów AI, które są wysoce wydajne pod względem zużycia pamięci i mocy obliczeniowej. Zbudowane na podstawie systemów dynamicznych, przetwarzania sygnałów i numerycznej algebry liniowej, te modele są zaprojektowane do obsługi różnych typów danych sekwencyjnych, takich jak tekst, wideo, audio i sygnały, zgodnie z ich dokładnością.

Liquid AI opracował trzy podstawowe modele językowe w ramach tego uruchomienia:

• LFM-1B: Gęsty model z 1,3 miliarda parametrów, zoptymalizowany dla środowisk o ograniczonych zasobach.
• LFM-3B: Model z 3,1 miliarda parametrów, idealny dla scenariuszy wdrożenia na krawędzi, takich jak aplikacje mobilne.
• LFM-40B: Model z 40,3 miliarda parametrów Mixture of Experts (MoE), zaprojektowany do obsługi złożonych zadań z wyjątkową wydajnością.

Te modele już wykazały wyniki na poziomie stanu techniki w kluczowych benchmarkach AI, czyniąc je groźnym konkurentem dla istniejących modeli AI generatywnych.

Wydajność na poziomie stanu techniki

Modele LFMs firmy Liquid AI dostarczają najlepszą w swojej klasie wydajność w różnych benchmarkach. Na przykład, LFM-1B przewyższa modele oparte na transformatorach w swojej kategorii, podczas gdy LFM-3B konkurował z większymi modelami, takimi jak Microsoft (MSFT ) Phi-3.5 i seria Llama Meta. Model LFM-40B, pomimo swojego rozmiaru, jest wystarczająco wydajny, aby rywalizować z modelami o jeszcze większej liczbie parametrów, oferując unikalny balans pomiędzy wydajnością a efektywnością zasobów.

Niektóre wyróżnienia wydajności LFM obejmują:

• LFM-1B: Dominuje benchmarki, takie jak MMLU i ARC-C, ustanawiając nowy standard dla modeli 1B-parametrowych.
• LFM-3B: Przewyższa modele, takie jak Phi-3.5 i Gemma 2 Google (GOOGL ), pod względem efektywności, przy jednoczesnym utrzymaniu niewielkiego zużycia pamięci, co czyni go idealnym dla aplikacji AI na urządzeniach krawędziowych i mobilnych.
• LFM-40B: Architektura MoE tego modelu oferuje porównywalną wydajność z większymi modelami, z 12 miliardami aktywnych parametrów w dowolnym momencie.

Nowa era w efektywności AI

Istotnym wyzwaniem we współczesnym AI jest zarządzanie pamięcią i obliczeniami, szczególnie przy pracy z długimi kontekstami, takimi jak podsumowanie dokumentów lub interakcje z chatbotami. LFM wyróżniają się w tym zakresie, efektywnie kompresując dane wejściowe, co skutkuje zmniejszonym zużyciem pamięci podczas inferencji. Pozwala to na przetwarzanie dłuższych sekwencji bez konieczności drogich uaktualnień sprzętu.

Na przykład, LFM-3B oferuje długość kontekstu 32k tokenów, co czyni go jednym z najbardziej efektywnych modeli do zadań wymagających jednoczesnego przetwarzania dużych ilości danych.

Rewolucyjna architektura

LFM są zbudowane na unikalnej ramie architektonicznej, odbiegającej od tradycyjnych modeli transformatorowych. Architektura opiera się na liniowych operatorach adaptacyjnych, które modyfikują obliczenia w zależności od danych wejściowych. Podejście to pozwala firmie Liquid AI znacznie zoptymalizować wydajność na różnych platformach sprzętowych, w tym NVIDIA (NVDA ), AMD, Cerebras (CBRS ) i Apple.

Przestrzeń projektowa LFM obejmuje nowatorskie połączenie mieszania tokenów i struktur mieszania kanałów, które poprawiają sposób, w jaki model przetwarza dane. Skutkuje to lepszymi możliwościami uogólniania i wnioskowania, szczególnie w zadaniach z długim kontekstem i aplikacjach multimodalnych.

Rozszerzanie granic AI

Liquid AI ma wielkie ambicje co do LFM. Poza modelami językowymi firma pracuje nad rozszerzeniem swoich modeli podstawowych, aby obsługiwać różne typy danych, w tym wideo, audio i dane szeregowe. Te postępy umożliwią LFM skalowanie w różnych branżach, takich jak usługi finansowe, biotechnologia i elektronika konsumencka.

Firma koncentruje się również na wspieraniu społeczności nauki otwartej. Chociaż same modele nie są obecnie otwarte, Liquid AI planuje udostępnić wyniki badań, metody i zestawy danych szerszej społeczności AI, zachęcając do współpracy i innowacji.

Wczesny dostęp i przyjęcie

Liquid AI oferuje obecnie wczesny dostęp do swoich LFM za pośrednictwem różnych platform, w tym Liquid Playground, Lambda (interfejs czatu i API) oraz Perplexity Labs. Przedsiębiorstwa zainteresowane zintegrowaniem najnowocześniejszych systemów AI z ich operacjami mogą zbadać potencjał LFM w różnych środowiskach wdrożeniowych, od urządzeń krawędziowych po rozwiązania na miejscu.

Podejście open-science firmy Liquid AI zachęca wczesnych adopterów do udostępniania swoich doświadczeń i wglądów. Firma aktywnie poszukuje informacji zwrotnej, aby doskonalić i optymalizować swoje modele dla aplikacji rzeczywistych. Deweloperzy i organizacje zainteresowane przystąpieniem do tej podróży mogą wnieść swój wkład w wysiłki red-teamingu i pomóc firmie Liquid AI w ulepszaniu swoich systemów AI.

Podsumowanie

Wydanie Liquid Foundation Models oznacza znaczący postęp w krajobrazie AI. Z naciskiem na efektywność, adaptacyjność i wydajność, LFM są gotowe do zmiany sposobu, w jaki przedsiębiorstwa podchodzą do integracji AI. Im więcej organizacji przyjmie te modele, wizja firmy Liquid AI dotycząca skalowalnych, ogólnych systemów AI prawdopodobnie stanie się kamieniem milowym następnej ery sztucznej inteligencji.

Jeśli jesteś zainteresowany zbadaniem potencjału LFM dla Twojej organizacji, Liquid AI zaprasza do kontaktu i dołączenia do rosnącej społeczności wczesnych adopterów, które kształtują przyszłość AI.

Więcej informacji można znaleźć na oficjalnej stronie internetowej Liquid AI i rozpocząć eksperymentowanie z LFM już dziś.