Deep Cogito pozyskuje 43 mln USD w rundzie Series A, aby zbudować silnik post‑treningowy dla samodoskonalącej się sztucznej inteligencji

Deep Cogito pozyskało 43 mln USD w rundzie Series A, gdy laboratorium AI z San Francisco stara się rozwinąć coraz ważniejszy element stosu sztucznej inteligencji: co dzieje się po wstępnym wytrenowaniu modelu bazowego.

Rundę poprowadziło TQ Ventures, przy udziale Benchmark, Nexus Venture Partners, Atreides Management, South Park Commons oraz firmy zajmującej się bezpieczeństwem w chmurze Zscaler, która jest zarówno klientem, jak i strategicznym inwestorem. Finansowanie podnosi łączną kwotę pozyskanych środków Deep Cogito do ponad 56 mln USD.

Założona przez Drishana Arorę i Dhruva Malranę, którzy wcześniej pracowali nad produktami Google AI Search, w tym AI Mode i AI Overviews, Deep Cogito stawia na to, że przyszłe postępy w inteligencji sztucznej będą coraz częściej wynikały z lepszych algorytmów uczenia i post‑treningu, a nie z po prostu zwiększania skali wstępnego treningu.

Umieszcza to firmę w innym segmencie wyścigu AI niż laboratoria koncentrujące się głównie na budowaniu coraz większych modeli bazowych od podstaw.

Dlaczego Deep Cogito stawia na post‑trening

Pre‑training odpowiada za nadanie dużemu modelowi językowemu szerokiej bazy wiedzy poprzez wystawienie go na ogromne ilości danych. Post‑training kształtuje natomiast sposób, w jaki model zachowuje się, rozumuje, wykonuje instrukcje, korzysta z narzędzi i realizuje konkretne zadania.

Tezą Deep Cogito jest, że ten drugi etap ma znacznie większy potencjał rozwoju.

Badania firmy koncentrują się na uczeniu ze wzmocnieniem w dużej skali oraz metodach umożliwiających modelom stopniowe ulepszanie własnych możliwości. Zamiast traktować wstępnie wytrenowany model jako w dużej mierze gotowy produkt wymagający jedynie dodatkowego dopasowania, Deep Cogito postrzega go jako punkt wyjścia, którego podstawowe zdolności mogą być dalej rozwijane.

Arora podsumował tę różnicę w ogłoszeniu rundy: „Pre‑training zapewnia modelowi ogromną ilość wiedzy i możliwości. Post‑training określa, czym model naprawdę może się stać.”

Jest to szczególnie istotne, gdyż ekonomia po prostu zwiększania skali pre‑trainingu staje się coraz bardziej wymagająca. Szkolenie wiodących modeli bazowych wymaga ogromnych zbiorów danych, klastrów GPU, infrastruktury energetycznej i kapitału. Wystarczająco skuteczny system post‑trainingu mógłby potencjalnie wydobyć znacznie więcej inteligencji z istniejącego modelu, nie powtarzając całego tego procesu.

Przekształcanie kosztownego rozumowania w lepszą intuicję

W centrum badań Deep Cogito znajduje się Iterated Distillation and Amplification (IDA), podejście, które firma publicznie przedstawiła wraz ze pierwszą rodziną modeli Cogito.

Koncepcja jest stosunkowo prosta, choć jej wdrożenie w dużej skali nie jest.

W fazie amplifikacji model otrzymuje dodatkowe obliczenia i techniki, które pozwalają mu uzyskać silniejszą odpowiedź niż ta, którą mógłby od razu wygenerować. Uzyskana poprawa jest następnie destylowana z powrotem do parametrów modelu. Ten ulepszony model staje się punktem wyjścia dla kolejnej iteracji.

Zamiast wymagać od modelu przeprowadzania coraz dłuższego procesu rozumowania przy każdym trudnym pytaniu, celem jest stopniowe internalizowanie części tego, czego model nauczył się podczas tych bardziej kosztownych obliczeniowo etapów rozumowania.

Deep Cogito opisuje to jako ulepszanie „intuicji” modelu.

Różnica ta może stać się istotna z punktu widzenia ekonomii inferencji. Długie łańcuchy rozumowania mogą zwiększać dokładność, ale jednocześnie podnoszą zużycie tokenów, opóźnienia i koszty. Model, który internalizował lepsze ścieżki rozumowania, może osiągać podobne wnioski przy mniejszej liczbie obliczeń w czasie inferencji.

Modele Cogito stanowią publiczny test tego podejścia

Deep Cogito wykorzystuje rodzinę otwartych modeli Cogito jako poligon do testowania tych technik.

Początkowe wersje obejmowały modele od 3 miliardów do 70 miliardów parametrów, po czym firma rozszerzyła rodzinę o modele 70B, 109B mixture‑of‑experts (MoE), 405B oraz 671B MoE.

Z Cogito v2 firma poinformowała, że jej model 671B generował łańcuchy rozumowania o około 60 % krótsze niż DeepSeek R1 0528, pozostając jednocześnie konkurencyjnym w kilku ocenach. Deep Cogito dodało również, że wydało mniej niż 3,5 mln USD na wspólne trenowanie ośmiu modeli Cogito o rozmiarach od 3B do 671B, choć wyniki benchmarków i porównania kosztów treningu nie muszą bezpośrednio przekładać się na ekonomię produkcyjną.

Firma kontynuowała udoskonalanie systemu w wersji Cogito v2.1 671B, która korzysta z otwarto‑licencjonowanego modelu bazowego DeepSeek, poddanego później post‑trainingowi we własnym zakresie przez Deep Cogito. Jej wydanie badawcze v2.1 informuje, że model używa nadzoru procesu podczas rozumowania, a trening został zaprojektowany tak, aby poprawić zdolność modelu do identyfikowania produktów ścieżek rozumowania, a nie jedynie zachęcać go do dłuższego rozumowania.

Ten postęp jest istotny dla szerszego argumentu Deep Cogito. Firma nie musi udowadniać, że potrafi wytrenować lepszy model bazowy niż największe laboratoria AI. Musi wykazać, że jej proces post‑trainingu potrafi konsekwentnie przekształcać silne istniejące modele w jeszcze bardziej zdolne.

Zscaler wskazuje na szansę w sektorze przedsiębiorstw

Druga strona działalności polega na przeniesieniu tych technik post‑trainingu poza publicznie udostępnione modele Cogito i zastosowaniu ich w AI dla przedsiębiorstw.

Zamiast polegać wyłącznie na ogólnym modelu wiodącym, firmy mogą potencjalnie trenować specjalistyczne modele oparte na własnych danych, procesach, kryteriach oceny i pożądanych rezultatach.

Może to iść znacznie dalej niż generowanie wspomagane odzyskiwaniem (RAG), które zazwyczaj udostępnia ogólnemu modelowi zewnętrzne informacje firmy w czasie inferencji. Podejście Deep Cogito ma na celu zmianę samego modelu poprzez trenowanie w jego wagach zdolności specyficznych dla danej dziedziny.

Zscaler jest wczesnym przykładem. Firma zajmująca się cyberbezpieczeństwem zaczęła jako klient Deep Cogito, zanim wzięła udział w rundzie Series A. Obie firmy współpracowały również przy specjalistycznej inteligencji bezpieczeństwa, przy czym Deep Cogito twierdzi, że aplikacje bezpieczeństwa mogą korzystać z modeli poddanych post‑trainingowi na własnych danych i wynikach bezpieczeństwa organizacji.

Szersza propozycja dla przedsiębiorstw dotyczy zarówno specjalizacji, jak i kontroli. Artykuł Wall Street Journal o finansowaniu podkreśla, że Deep Cogito pozycjonuje swoją technologię wokół modeli, które firmy mogą trenować i posiadać przy użyciu własnych danych, zamiast pozostawać całkowicie zależne od zamkniętych systemów wiodących.

Na co zostaną przeznaczone 43 mln USD z rundy Series A

Deep Cogito planuje wykorzystać środki z rundy Series A na rozszerzenie zespołu badawczego i inżynieryjnego, zwiększenie infrastruktury obliczeniowej dostępnej do treningu w dużej skali, opracowanie kolejnych modeli Cogito oraz współpracę z większą liczbą przedsiębiorstw poszukujących specjalistycznych modeli.

Infrastruktura będzie prawdopodobnie szczególnie ważną częścią tego rozszerzenia. Materiały rekrutacyjne Deep Cogito opisują badaczy pracujących nad nowatorskimi algorytmami uczenia ze wzmocnieniem, pipeline’ami danych, oceną oraz rozproszoną infrastrukturą, przy trenowaniu modeli przekraczających 400 miliardów parametrów.

Finansowanie daje więc firmie znacznie większą zdolność do testowania, czy udowodnione wczesnymi modelami ulepszenia utrzymują się przy zwiększonym wykorzystaniu mocy obliczeniowej i kolejnych iteracjach procesu post‑trainingu.

Większa implikacja: AI, które uczy się na podstawie własnego rozumowania

Większe znaczenie pracy Deep Cogito polega na możliwości, że rozwój AI może przesunąć się od systemów trenowanych głównie na danych generowanych przez ludzi w kierunku modeli, które coraz częściej generują, oceniają i internalizują własne usprawnienia.

Podejścia takie jak Iterated Distillation and Amplification mają na celu przekształcenie kosztownego rozumowania w trwałą zdolność. Model może wykorzystać dodatkowe obliczenia do rozwiązania trudniejszych problemów, a następnie destylować te zyski z powrotem do swoich wag, tworząc silniejszy punkt wyjścia dla kolejnego cyklu treningowego.

Z czasem może to stworzyć pętlę rozwoju: rozumowanie, ocena, nauka i doskonalenie.

Wciąż istnieje znacząca przepaść między iteracyjnym post‑trainingiem a prawdziwą rekurencyjną samodoskonaleniem. Modele potrzebują wiarygodnych ocen, starannie zaprojektowanych celów oraz zabezpieczeń przed utrwalaniem błędów. Jednak nawet ograniczone wersje tego podejścia mogą zmniejszyć zależność od coraz większych sesji pre‑trainingu i uczynić specjalistyczną AI trenowaną na własnych danych przedsiębiorstwa bardziej praktyczną.

Jeśli ten trend będzie się utrzymywał, przewaga konkurencyjna w AI może zależeć mniej od tego, kto posiada największe klastry obliczeniowe, a bardziej od tego, które modele najlepiej uczą się na własnych doświadczeniach.