Deep Cogito strânge 43 de milioane de dolari în seria A pentru a construi motorul de post‑antrenare pentru AI auto‑îmbunătățit

Deep Cogito a strâns 43 de milioane de dolari în seria A, în timp ce laboratorul de AI din San Francisco dorește să extindă o parte din ce în ce mai importantă a stivei de inteligență artificială: ce se întâmplă după ce un model de bază a fost deja pre‑antrenat.

Runda a fost condusă de TQ Ventures, cu participarea Benchmark, Nexus Venture Partners, Atreides Management, South Park Commons, și a companiei de securitate în cloud Zscaler, care este atât client, cât și investitor strategic. Finanțarea ridică capitalul total al Deep Cogito la peste 56 de milioane de dolari.

Fondată de Drishan Arora și Dhruv Malrana, care au lucrat anterior la produsele de căutare AI ale Google, inclusiv AI Mode și AI Overviews, Deep Cogito pariază că viitoarele progrese în inteligența artificială vor veni din ce în ce mai mult din algoritmi de învățare mai buni și din post‑antrenare, mai degrabă decât prin simpla mărire a sesiunilor de pre‑antrenare.

That puts the company in a different part of the AI race from labs primarily focused on building ever‑larger foundation models from scratch. Acest lucru plasează compania într-o parte diferită a cursei AI, față de laboratoarele care se concentrează în principal pe construirea de modele de bază din ce în ce mai mari de la zero.

De ce Deep Cogito pariază pe post‑antrenare

Pre‑antrenarea este responsabilă pentru furnizarea unui model lingvistic mare cu o bază largă de cunoștințe prin expunerea la cantități enorme de date. Post‑antrenarea modelează apoi modul în care modelul se comportă, raționează, urmează instrucțiuni, folosește instrumente și execută sarcini specifice.

Teza Deep Cogito este că această a doua etapă are un spațiu considerabil mai mare de evoluție.

Cercetarea companiei se concentrează pe învățarea prin consolidare la scară largă și pe metode care permit modelelor să își îmbunătățească progresiv propriile capacități. În loc să trateze un model pre‑antrenat ca pe un produs aproape final care necesită doar o aliniere suplimentară, Deep Cogito îl vede ca pe un punct de plecare ale cărui capacități de bază pot continua să fie dezvoltate.

Arora a rezumat diferența în anunțul rundei: “Pre‑antrenarea oferă unui model o cantitate enormă de cunoștințe și capacități. Post‑antrenarea determină ce poate deveni efectiv acel model.”

Acest aspect este deosebit de relevant pe măsură ce economia simplă a scalării pre‑antrenării devine tot mai solicitantă. Antrenarea modelelor de frontieră necesită seturi de date imense, clustere GPU, infrastructură de alimentare și capital. Un sistem de post‑antrenare suficient de eficient ar putea extrage substanțial mai multă inteligență dintr-un model existent fără a repeta întregul proces.

Transformarea raționamentului costisitor în intuiție mai bună

La centrul cercetării Deep Cogito se află Iterated Distillation and Amplification (IDA), o abordare pe care compania a introdus-o public cu prima familie de modele Cogito.

Conceptul este relativ simplu, chiar dacă implementarea la scară nu este.

În etapa de amplificare, modelului i se oferă calcul suplimentar și tehnici care îi permit să ajungă la un răspuns mai puternic decât ar genera imediat. Îmbunătățirea rezultată este apoi distilată înapoi în parametrii modelului. Modelul actualizat devine punctul de plecare pentru o altă iterație.

În loc să se solicite modelului să efectueze un proces de raționament din ce în ce mai lung de fiecare dată când întâlnește o întrebare dificilă, obiectivul este să internalizeze treptat o parte din ceea ce a învățat în acele pași de raționament costisitori din punct de vedere computațional.

Deep Cogito descrie acest lucru ca îmbunătățirea „intuiției” modelului.

Distincția ar putea deveni importantă pentru economia inferenței. Lanțurile lungi de raționament pot îmbunătăți acuratețea, dar cresc și consumul de tokenuri, latența și costul. Un model care a internalizat traiectorii de raționament mai bune ar putea ajunge la concluzii similare cu un calcul mai redus în timpul inferenței.

Modelele Cogito oferă un test public al abordării

Deep Cogito a folosit familia sa de modele cu greutăți deschise Cogito ca teren de testare pentru aceste tehnici.

Lansările inițiale au variat de la 3 miliarde la 70 de miliarde de parametri, înainte ca compania să extindă familia cu modele de 70B, 109B mixture‑of‑experts (MoE), 405B și 671B MoE.

Cu Cogito v2, compania a raportat că modelul său de 671B a generat lanțuri de raționament cu aproximativ 60 % mai scurte decât DeepSeek R1 0528, menținându‑se competitiv în mai multe evaluări. Deep Cogito a mai declarat că a cheltuit sub 3,5 milioane de dolari pentru antrenarea combinată a opt modele Cogito, de la 3B la 671B, deși performanțele de referință și comparațiile de costuri de antrenament nu se traduc neapărat direct în economia producției.

Compania a continuat să rafineze sistemul cu Cogito v2.1 671B, care folosește un model de bază DeepSeek cu licență deschisă, pe care Deep Cogito l‑a post‑antrenat intern. Publicarea de cercetare v2.1 afirmă că modelul utilizează supraveghere de proces în timpul raționamentului, cu un antrenament conceput să îmbunătățească capacitatea modelului de a identifica căi de raționament productive, în loc să îl încurajeze să raționeze mai mult timp.

Această progresie este importantă pentru argumentul mai amplu al Deep Cogito. Compania nu trebuie să demonstreze că poate pre‑antrena un model de bază mai bun decât laboratoarele AI cele mai mari. Trebuie să arate că procesul său de post‑antrenare poate transforma în mod constant modele existente puternice în altele mai capabile.

Zscaler evidențiază oportunitatea pentru întreprinderi

Cealaltă față a afacerii constă în aplicarea acestor tehnici de post‑antrenare dincolo de modelele Cogito publice și în utilizarea lor pentru AI în întreprinderi.

În loc să se bazeze exclusiv pe un model de frontieră cu scop general, companiile pot antrena modele specializate în jurul datelor proprii, fluxurilor de lucru, criteriilor de evaluare și rezultatelor dorite.

Acest lucru poate merge mult mai adânc decât generarea augmentată prin recuperare (RAG), care în mod tipic oferă unui model general acces la informații externe ale companiei în timpul inferenței. Abordarea Deep Cogito vizează modificarea modelului în sine prin antrenarea capabilităților specifice domeniului direct în greutățile sale.

Zscaler oferă un exemplu timpurie. Compania de securitate cibernetică a început ca client al Deep Cogito înainte de a participa la seria A. Cele două companii au colaborat și în domeniul inteligenței de securitate specializate, Deep Cogito susținând că aplicațiile de securitate pot beneficia de modele post‑antrenate pe datele și rezultatele de securitate ale propriei organizații.

Propoziția mai largă pentru întreprinderi se referă atât la specializare, cât și la control. Acoperirea de către Wall Street Journal a finanțării subliniază că Deep Cogito își poziționează tehnologia în jurul modelelor pe care afacerile le pot antrena și deține utilizând date proprii, în loc să rămână complet dependente de sisteme de frontieră închise.

Ce va finanța seria A de 43 de milioane de dolari

Deep Cogito intenționează să folosească seria A pentru a extinde organizația de cercetare și inginerie, a crește infrastructura de calcul disponibilă pentru antrenamente la scară largă, a dezvolta modele Cogito viitoare și a colabora cu mai multe întreprinderi care caută modele specializate.

Infrastructura va fi probabil o parte deosebit de importantă a acestei extinderi. Materialele de recrutare ale Deep Cogito descriu cercetători care lucrează la algoritmi noi de învățare prin consolidare, conducte de date, evaluare și infrastructură distribuită, în timp ce antrenează modele care depășesc 400 de miliarde de parametri.

Prin urmare, finanțarea oferă companiei o capacitate mult mai mare de a testa dacă îmbunătățirile demonstrate prin modelele sale timpurii continuă pe măsură ce aplică mai multă putere de calcul și rulează mai multe iterații ale procesului său de post‑antrenare.

Implicația mai amplă: AI care învață din propriul său raționament

Semnificația mai mare a muncii Deep Cogito este posibilitatea ca dezvoltarea AI să se schimbe de la sisteme antrenate în mare parte pe date generate de oameni spre modele care generează, evaluează și internalizează din ce în ce mai mult propriile îmbunătățiri.

Abordări precum Iterated Distillation and Amplification își propun să transforme raționamentul costisitor în capacitate durabilă. Un model poate folosi calcul suplimentar pentru a rezolva probleme mai dificile, apoi să distileze acele câștiguri în greutățile sale, creând un punct de plecare mai puternic pentru următorul ciclu de antrenament.

În timp, acest lucru ar putea genera un ciclu de dezvoltare de tipul: raționează, evaluează, învață și îmbunătățește.

Există încă un decalaj semnificativ între post‑antrenarea iterativă și auto‑îmbunătățirea recursivă adevărată. Modelele au nevoie de evaluări fiabile, obiective concepute cu grijă și mecanisme de siguranță împotriva consolidării erorilor. Totuși, chiar și variantele limitate ale acestei abordări ar putea reduce dependența de sesiuni de pre‑antrenare din ce în ce mai mari și ar face AI specializat, antrenat pe date proprietare ale întreprinderilor, mai practic.

Dacă această traiectorie continuă, avantajul competitiv în AI ar putea depinde mai puțin exclusiv de cine deține cele mai mari clustere de calcul și mai mult de cine are modele care învață cel mai bine din propria experiență.