Zuzanna Stamirowska, Co-Fondator și CEO al Pathway – Seria de Interviuri

Zuzanna Stamirowska, Co-Fondator și CEO al Pathway, este un cercetător devenit constructor care a lucrat anterior la fenomene emergente și evoluția rețelelor la scară largă. Proiectele sale au fost recunoscute de Academia Națională de Științe a Statelor Unite, iar ea deține un doctorat în Sisteme Complexe. Zuzanna, împreună cu CTO Jan Chorowski și CSO Adrian Kosowski, conduce o echipă care a construit deja instrumente de inteligență artificială deschise cu peste 62.000 de stele pe GitHub.

Pathway reimaginează modul în care modelele de inteligență artificială gândesc, urmărind să creeze sisteme care funcționează continuu și adaptativ, în loc de a face acest lucru în loturi. În spatele scenei, instrumentele și arhitectura sa permit modelelor să proceseze, să învețe și să evolueze în timp real. Compania a atras sprijinul unor personalități luminate, cum ar fi Lukasz Kaiser (co-inventator al Transformerilor) și firme de venture promițătoare.

Ce v-a motivat să lansați Pathway, și cum a influențat background-ul dvs. în sisteme complexe, teoria jocurilor și fenomene emergente viziunea și direcția tehnică a companiei?

Am vrut să creăm inteligență artificială care să gândească și să se adapteze ca oamenii. Am realizat că acest lucru înseamnă sisteme de inteligență artificială (modele de învățare profundă sau pipeline-uri de învățare automată construite dintr-un număr mai mare de componente) care ar fi capabile să învețe continuu pe baza datelor din mediu, să se îmbunătățească cu experiența și, uneori, să-și “corecteze” viziunile anterioare asupra lumii. De fapt, am primit o acoperire semnificativă pe tema “dezvățării mașinilor”. Pe lângă modele, astfel de sisteme aveau nevoie de un strat întreg de inginerie pentru a captura datele de la sursă și a le alimenta imediat în sistemele dinamice.

Lucrând la emergența în rețele complexe, am dezvoltat o serie de ipoteze pe care le-am aplicat direct sau aproape direct în BDH. Am făcut câteva pariuri cu colegii mei (Adrian, CSO, și Jan, CTO) și am câștigat câteva sticle de coniac foarte bun. În primul rând, am crezut că inteligența naturală rezultă dintr-o structură emergentă și acțiune a neuronilor din creier (aceasta este o chestiune evidentă, fără pariuri). În al doilea rând, din cercetările mele anterioare, știam că, în general, funcția modelează rețeaua (am câștigat această pariuri). În lucrările mele anterioare, am descoperit acest lucru pentru comerț, iar neuroștiinții au studiat acest lucru pentru nervi și simțuri la șoareci etc. În al treilea rând, a fost faptul că această modelare a structurii rețelei trebuie să urmeze reguli locale foarte stricte legate de “vecinătatea” fiecărei locații din rețea (în acest caz, un nod este un neuron) (am câștigat această pariuri). Alte elemente au provenit din cunoștințele mele despre sistemele de interacțiune a particulelor – de exemplu, magnetismul – în care particulele ajustează spinul lor la un câmp extern și creează o anumită “ordine spontană”. Acesta a fost felul de matematică pe care l-am folosit atunci când am lucrat la teoria jocurilor pe grafuri. Punând totul împreună, de la prima zi a existenței companiei, am avut o convingere puternică că raritatea (structuri similare grafurilor) va fi o piatră de temelie importantă în progresul inteligenței artificiale.

Luarea în considerare a noțiunii de timp a fost critică și destul de caracteristică pentru background-ul meu, deoarece emergența de obicei are loc în timp.

Când ați lansat compania în 2020, care au fost primele ipoteze despre ceea ce ar trebui să facă diferit sistemele de inteligență artificială viitoare, și cum s-au schimbat aceste viziuni?

Am avut o convingere puternică de la început că inteligența artificială trebuie să fie vie, adaptativă și integrată în procese la scară largă. Trebuie să învețe direct de la sursă, cu datele brute posibile.

Mai întâi, am făcut acest lucru pentru abordări clasice de învățare automată, și pe parcurs, am construit straturi de inginerie care permit astfel de sisteme să fie dezvoltate ușor în lumea reală. Acum, am adus această abordare și în învățarea profundă.

Știam că elementele de timp și structură (rețele) vor fi cheia pentru progresul către inteligența artificială generală. Am scris acest lucru în unele dintre documentele noastre fondatoare din 2020.

Puteți să ne prezentați arhitectura “post-Transformer” pe care o introduceți și cum se diferențiază de sistemele actuale bazate pe Transformer?

Arhitectura noastră nouă, numită Baby Dragon Hatchling (BDH), conectează formal modul în care Transformerii procesează informații cu modul în care raționamentul emerge în creier.

BDH se comportă ca un sistem fizic: un model de calcul similar creierului, în care neuronii fac eforturi colaborative pentru a descoperi următorul fapt relevant. Raționamentul contextual nu este limitat de constrângeri de inginerie, cum ar fi lungimea fixă a contextului Transformerului, ci mai degrabă se extinde cu numărul de neuroni ai modelului.

Punând totul în termeni mai tehnici, în BDH, avem atenție liniară, vectori cheie-interogare rare și nu există limite pentru dimensiunea ferestrei de context.

Acest abordaj deschide ușa către sisteme care pot învăța în timp ce funcționează, pot susține lanțuri lungi de raționament și se pot adapta continuu în context.

O caracteristică de bază a sistemului este localitatea: datele importante sunt situate chiar lângă locurile în care sunt procesate. Acest lucru minimizează comunicarea și elimină cel mai dureros dintre toate blocajele pentru modelele de raționament în timpul inferenței: lățimea de bandă între memorie și nucleu.

Cum abordarea dvs. se inspiră din raționamentul uman, în special în ceea ce privește capacitatea de adaptare și învățare continuă fără reantrenare?

BDH aduce inteligența naturală și inteligența artificială mai aproape.

Această arhitectură se inspiră din modul în care neuronii și sinapsele funcționează în creier. Ea cartografiază mecanismele de atenție biologice la noțiunea computațională de atenție în învățarea automată, creând o punte escalabilă între Transformer și creier.

BDH aduce atenția aproape de parametrii modelului, prezentându-i ca două reflexii ale aceleiași dinamici a sistemului similar creierului, cu atenția care se schimbă la o rată rapidă pe măsură ce se descoperă noi fapte în timpul raționamentului, și parametrii modelului care se schimbă mai lent pe măsură ce sistemul își schimbă obișnuințele pe termen lung. Acest lucru este mai aproape de modul în care credem că funcționează raționamentul în creier.

Vedem BDH ca pe o piatră de temelie către proiectarea sistemelor de inteligență artificială care raționează în timpul sarcinii, se îmbunătățesc cu experiența și se adaptează fără reantrenare – proprietăți pe care le asociem cu raționamentul uman.

Una dintre provocările în inteligența artificială este echilibrarea stabilității cu adaptabilitatea — cum asigurați că sistemele pot învăța în timp real fără a pierde cunoștințele anterioare?

BDH se bazează pe structura sa fără scară și stările localizate ale neuronilor pentru a menține raționamentul pe orizonturi de timp lungi, echilibrând stabilitatea și capacitatea de a integra cunoștințe și observații noi. Acest echilibru natural al sănătății este ușor de extras și de urmărit pe parcursul vieții unui model.

Cu BDH, plasăm raționamentul ca piatră de temelie a inteligenței. Cu lucrările actuale, facem progrese într-o ipoteză despre rolul cunoștințelor în modelele de limbaj mare: nu este atât de mult despre ce este “adevărat”, cât despre ce este “util” într-un anumit context pentru a progresa într-un anumit lanț de raționament. De exemplu, dacă cunoștințele sunt contextualizate, deodată nu există nicio contradicție între lumea noastră care urmează legi ale naturii și faptul că știm o poveste populară care admite existența zânelor și a magiei. La fel, nu există nicio contradicție pentru un model care ia în considerare mai multe ipoteze de prognoză, cu ipoteze mai optimiste și mai puțin optimiste, într-un singur lanț de gândire.

Modelele bazate pe BDH dobândesc fapte noi pe parcursul vieții lor într-un mod contextualizat. Ele pot corecta singure din cauza acestui lucru. Prin expunerea statisticilor ușor de urmărit a activității neuronilor și a controlului granular asupra transferului de cunoștințe din context în parametrii modelului, arhitectura ajută la reducerea riscului de “contexte învechite” care reapar într-un moment inoportun.

Care sunt compromisurile de inginerie în construirea unui motor de procesare a datelor în timp real care poate susține aceste capacități la scară?

Oferta de enterprise a Pathway se bazează pe cel mai rapid motor de procesare a datelor de pe piață. Acest motor stă la baza capacității noastre de a gestiona intrări în timp real și de a reacționa la informații noi cu latență scăzută. Cu break-through-ul actual BDH, ne asigurăm că această adaptabilitate în timp real se extinde până la modelele de inteligență artificială fundamentale utilizate în implementări. Obiectivul nostru principal pentru implementări la scară largă este să ne îndepărtăm de optimizarea statică și să construim infrastructură care să poată gestiona raționamente pe orizonturi de timp lungi.

Care sunt cele mai convingătoare cazuri de utilizare care cer în mod real această etapă următoare a inteligenței artificiale, și unde sistemele actuale bazate pe Transformer se dovedesc a fi inadecvate?

Multe inovații au extins funcționalitatea inteligenței artificiale generative pentru a se adapta rapid la informații noi și pentru a se baza profund pe “timpul petrecut pe sarcină”. Dar nimic nu a putut încă să înlocuiască angajarea unui om deosebit de talentat.

Răspunsul foarte rapid și direct este că vorbim despre orice sarcină care necesită în prezent mai mult de 2 ore și 17 minute de muncă coerentă a unui expert uman. Acesta este limita actuală a GPT5, conform METER.

Am avut discuții excelente cu partenerii noștri de design din enterprise care necesită personalizare profundă, modele care învață pe loc de la date rare și securitatea implementării.

BDH face ca pentru o întreprindere să fie relativ ușor să abordeze procese complexe, cum ar fi:

• Închiderea unui trimestru pentru o companie publică
• Generarea dinamică a următoarelor cele mai bune cursuri de acțiune în medii cu risc ridicat este foarte relevantă atât în vânzări, cât și în apărare.
• Managementul investițiilor

NATO utilizează deja tehnologia Pathway pentru a procesa date militare și sociale în timp real, permițând sisteme de planificare care se adaptează pe măsură ce situațiile evoluează. La Poste utilizează Live AI de la Pathway pentru a-și gestiona dinamic operațiunile în timp real. Industrii precum finanțele și sănătatea, unde datele sunt rare sau sensibile, pot beneficia de modele care necesită mai puține date, dar oferă perspective mai profunde și judecăți mai fiabile.

Puteți să ne împărtășiți exemple de modul în care organizații precum NATO, La Poste sau Formula 1 au aplicat tehnologia dvs. și impactul pe care l-a avut?

NATO, La Poste și echipele de Formula 1 sunt deja adoptatori timpurii ai tehnologiei Pathway.

Pathway oferă NATO tehnologie de procesare a datelor robustă și inovatoare pentru a debloca noi capacități pentru utilizări critice la scară. Cu demonstratorul nostru funcțional, Tool-ul de simulare a capacității de întărire (REST), am dezvoltat coloana vertebrală pentru dezvoltarea ulterioară a soluțiilor suportate de inteligență artificială pentru NATO. Utilizând Pathway pentru a conecta datele deschise, am accelerat conștientizarea situației și am adus-o la nivelul necesar pentru ca NATO să poată opera cu succes în anii 2020.

La Poste utilizează Pathway pentru a îmbunătăți procesele legate de unitățile de transport. Cu Framework-ul Pathway, La Poste anticipează operațiunile sale în mod automat și generează analize calitative în timp real ale operațiunilor de transport. Cu Pathway, compania a putut să-și optimizeze dinamic logistica, reducând timpii de așteptare, timpii de procesare și creșterea fiabilității. Mai mult, au obținut reduceri semnificative ale costurilor operaționale (reducere cu 50% a costurilor totale în unele cazuri).

Echipa de Formula 1 utilizează Pathway pentru a-și adapta strategia în condiții de timp real și sub presiune ridicată. Compania a dorit o platformă pentru utilizatori finali pentru a crea funcții definite de utilizator (UDF) în mod independent și pentru a alimenta diverse nevoi de afaceri, de la e-sport/simulări de curse la mașini și curse de Formula 1. Framework-ul de date în timp real de la Pathway permite transformări avansate de date la viteze de procesare de 90 de ori mai rapide decât înainte.

Care sunt cele mai mari obstacole în calea implementării sistemelor adaptive în industrii precum sănătatea sau apărarea, și cum le abordați?

Prin design, LLM-urile actuale generează conținut care este “nou” fără judecată reală – numiți-l “gen” din inteligența artificială generativă. Multe industrii puternic reglementate necesită guvernanță prin definiție și sunt reticente să implementeze procese de afaceri conduse de inteligență artificială fără repetabilitate, încredere și observabilitate. Ironia este că, pentru a implementa inteligența artificială, aceste întreprinderi adesea “înțeapă” funcționalitatea și introduc complexitate suplimentară pentru a facilita conformitatea cu reglementările.

Prin design, BDH permite unei întreprinderi să observe și să se adapteze la ceea ce se întâmplă în interiorul modelului. Această observabilitate pe perioade lungi de “raționament” oferă întreprinderii încrederea de a aborda procese de afaceri complexe și lungi. BDH este, prin design, atât observabil, cât și conștient de axa timpului pentru procesele de afaceri. Nu este nevoie de seturi de date perfecte și enorme pentru învățare, nu este nevoie de ferestre de context extrem de lungi, nici de logică de lipire pentru observabilitate.

Care sunt considerațiile etice sau măsurile de siguranță esențiale atunci când sistemele de inteligență artificială încep să învețe și să se adapteze în timp real?

Sistemele care învață cu experiența au, de fapt, șanse mai bune de a fi sigure decât cele actuale, bazate pe Transformer. Un element al acestui lucru este faptul că, cu învățarea continuă, ele au șansa de a se corecta și de a-și actualiza preconcepțiile dacă au fost greșite.

Pentru a asigura siguranța unor astfel de sisteme, ele trebuie să primească feedback în timp. Ceea ce înseamnă că trebuie să continuăm să le alimentăm cu date proaspete și să asigurăm bucle de feedback pentru ca ele să înțeleagă efectele funcționării lor. Acest lucru este aproape de învățarea prin întărire.

În al doilea rând, un model bazat pe BDH oferă interpretabilitate, ceea ce face mai ușor pentru oameni să controleze mai bine sistemele.

Ce ar trebui să facă ca un paradigma “post-Transformer” să devină mainstream în cadrul comunității de inteligență artificială?

Un model pe piață care este extrem de util și are costuri semnificativ mai mici de inferență, fiind în același timp mai rapid. Credem că există o oportunitate de a obține o victorie pe piață, în special în cadrul întreprinderilor.

Vă mulțumim pentru acest interviu minunat; cititorii care doresc să afle mai multe despre Pathway pot vizita Pathway.