Etan Ginsberg, co-fondator Martian – Seria de interviuri

Etan Ginsberg este co-fondatorul marţian, o platformă care direcționează în mod dinamic fiecare solicitare către cel mai bun LLM. Prin rutare, Martian atinge performanțe mai mari și costuri mai mici decât orice furnizor individual, inclusiv GPT-4. Sistemul este construit pe tehnologia unică Model Mapping a companiei, care despachetează LLM-urile din cutii negre complexe într-o arhitectură mai interpretabilă, făcându-l prima aplicație comercială a interpretabilității mecaniciste.

Etan a programat, a proiectat site-uri web și a construit afaceri electronice pentru clienți de când era în școala medie. Un erudit Etan este un concurent la Campionatele Mondiale de Memorie și s-a clasat pe locul 2 la Campionatele Mondiale de lectură de viteză din Shenzhen, China.

El este un concurent video hackathon. Premiile anterioare includ premiul al 3-lea la Tech Crunch SZ, top 7 finalist la Princeton Hackathon și 3 premii din industrie la Yale Hackathon.

Sunteți anterior fondator de două ori startup-uri, care au fost aceste companii și ce ați învățat din această experiență?

Prima mea companie a fost prima platformă pentru promovarea și promovarea sportului american Ninja Warrior. În 2012, l-am văzut pe American Ninja Warrior ca pe un sport underground (asemănător cu MMA în anii 90) și am creat prima platformă de unde oamenii puteau cumpăra planuri, comanda obstacole și găsi săli de sport pentru a se antrena. Am consultat companii care doresc să înființeze propriile săli de sport, inclusiv asistarea Forțelor Speciale din SUA cu un curs de pregătire și creșterea unei instalații de la schița șervețelului la 300 USD în venituri în primele 3 luni. Deși eram în liceu, am avut prima mea experiență în gestionarea echipelor de peste 20 de lucrători și am învățat despre managementul eficient și relațiile interpersonale.

A doua mea companie a fost o companie alternativă de gestionare a activelor pe care am co-fondat-o în 2017 înainte de valul ICO în cripto. Aceasta a fost prima mea expunere la NLP, unde am folosit analiza de sentiment a datelor din rețelele sociale ca strategie de investiție.

Am învățat multe dintre abilitățile hard și soft care sunt implicate în conducerea unui startup - de la modul de a gestiona o echipă până la aspectele tehnice ale NLP. În același timp, am învățat multe despre mine și despre ceea ce îmi doream să lucrez. Cred că cele mai de succes companii sunt înființate de fondatori care au o viziune mai largă sau un obiectiv care le conduce. Am părăsit cripto-ul în 2017 pentru a mă concentra pe NLP, deoarece creșterea și înțelegerea inteligenței umanității este ceva care mă motivează cu adevărat. M-am bucurat să descopăr asta.

În timp ce urmați cursurile Universității din Pennsylvania, ați făcut niște cercetări AI, ce căutați în mod specific?

Cercetarea noastră s-a concentrat inițial pe construirea de aplicații ale LLM. În special, am lucrat la aplicații educaționale ale LLM-urilor și am construit primul tutor cognitiv bazat pe LLM. Rezultatele au fost destul de bune – am observat o îmbunătățire cu 0.3 abateri standard a rezultatelor studenților în experimentarea inițială – iar sistemul nostru a fost folosit de la Universitatea din Pennsylvania până la Universitatea din Bhutan.

Puteți discuta despre modul în care această cercetare v-a condus apoi la co-fondatorul lui Martian?

Deoarece am fost unii dintre primii oameni care au creat aplicații pe baza LLM-urilor, am fost, de asemenea, unii dintre primii oameni care au întâmpinat problemele cu care se confruntă oamenii atunci când construiesc aplicații pe LLM-uri. Asta ne-a ghidat cercetarea către nivelul de infrastructură. De exemplu, destul de devreme, am ajustat modele mai mici pe rezultatele unor modele mai mari, cum ar fi GPT-3, și am reglat modele pe surse de date specializate pentru sarcini precum programarea și rezolvarea problemelor de matematică. Acest lucru ne-a condus în cele din urmă la probleme legate de înțelegerea comportamentului modelului și despre rutarea modelului.

Originile numelui marțian și relația sa cu inteligența sunt, de asemenea, interesante, ați putea împărtăși povestea despre cum a fost ales acest nume?

Compania noastră a fost numită după un grup de oameni de știință maghiari-americani cunoscuți sub numele de „Martienii”. Acest grup, care a trăit în secolul al XX-lea, a fost compus din unii dintre cei mai deștepți oameni care au trăit vreodată:

• Cel mai faimos dintre ei a fost John von Neumann; a inventat teoria jocurilor, arhitectura computerelor moderne, teoria automatelor și a adus contribuții fundamentale în alte zeci de domenii.
• Paul Erdos a fost cel mai prolific matematician din toate timpurile, având publicat peste 1500 de lucrări.
• Theodore Von Karman a stabilit teoriile fundamentale ale aerodinamicii și a contribuit la înființarea programului spațial american. Granița definită de om dintre Pământ și spațiul cosmic este numită „linia Kármán” ca recunoaștere a muncii sale.
• Leo Szilard a inventat bomba atomică, terapia cu radiații și acceleratorii de particule.

Acești oameni de știință și alți 14 ca ei (inclusiv inventatorul bombei cu hidrogen, omul care a introdus teoria grupurilor în fizica modernă și contribuitori fundamentali la domenii precum combinatoria, teoria numerelor, analiza numerică și teoria probabilității) împărtășeau o asemănare remarcabilă - toți s-au născut în aceeași parte a Budapestei. Asta i-a determinat pe oameni să se întrebe: care a fost sursa atât de multă inteligență?

Ca răspuns, Szilard a glumit că: „Marțienii sunt deja aici și se numesc maghiari!” În realitate... nimeni nu știe.

Omenirea se află astăzi într-o poziție similară în ceea ce privește un nou set de minți potențial suprainteligente: Inteligența artificială. Oamenii știu că modelele pot fi incredibil de inteligente, dar nu au idee cum funcționează.

Misiunea noastră este să răspundem la această întrebare – să înțelegem și să valorificăm superinteligența modernă.

Ai o istorie de fapte incredibile de memorie, cum te-ai scufundat în aceste provocări ale memoriei și cum te-au ajutat aceste cunoștințe cu conceptul de marțian?

În cele mai multe sporturi, un atlet profesionist poate performa de aproximativ 2-3X la fel de bine ca o persoană obișnuită (comparați cât de departe poate o persoană obișnuită să lovească o poartă de câmp sau cât de repede aruncă o minge rapidă în comparație cu un profesionist). Sporturile de memorie sunt fascinante, deoarece sportivii de top pot memora de 100 de ori sau chiar de 1000 de ori mai mult decât o persoană obișnuită cu mai puțin antrenament decât majoritatea sporturilor. Mai mult, aceștia sunt adesea oameni cu memorie naturală medie care își atribuie performanța unor tehnici specifice pe care oricine le poate învăța. Vreau să maximizez cunoștințele umanității și am văzut campionatele mondiale de memorie ca pe o perspectivă subapreciată a modului în care putem obține profituri extraordinare, crescând inteligența umană.

Am vrut să implementez tehnici de memorie în tot sistemul educațional, așa că am început să explorez modul în care NLP și LLM-urile ar putea ajuta la reducerea costului de configurare care împiedică utilizarea celor mai eficiente metode educaționale în sistemul de învățământ de masă. Eu și Yash am creat primul tutor cognitiv bazat pe LLM și asta ne-a determinat să descoperim problemele cu implementarea LLM pe care acum le ajutăm să le rezolvăm astăzi.

Marțian este, în esență, abstracție de decizia cu privire la ce model de limbaj mare (LLM) să folosească, de ce este în prezent acest lucru un punct de durere pentru dezvoltatori?

Devine din ce în ce mai ușor să creezi modele de limbaj – costul de calcul scade, algoritmii devin mai eficienți și mai multe instrumente open source sunt disponibile pentru a crea aceste modele. Ca rezultat, mai multe companii și dezvoltatori creează modele personalizate instruite pe date personalizate. Deoarece aceste modele au costuri și capacități diferite, puteți obține performanțe mai bune utilizând mai multe modele, dar este dificil să le testați pe toate și să le găsiți pe cele potrivite pentru a le folosi. Ne ocupăm de asta pentru dezvoltatori.

Puteți discuta despre modul în care sistemul înțelege ce LLM este cel mai bine utilizat pentru fiecare sarcină specifică?

Rutarea corectă este în mod fundamental o problemă de înțelegere a modelelor. Pentru a ruta între modele în mod eficient, doriți să puteți înțelege ce le determină să eșueze sau să reușească. Capacitatea de a înțelege aceste caracteristici prin maparea modelului ne permite să determinăm cât de bine va funcționa orice model dat la o cerere, fără a fi nevoie să rulăm acel model. Ca urmare, putem trimite acea cerere către modelul care va produce cel mai bun rezultat.

Puteți discuta despre tipul de economii de costuri care pot fi observate din optimizarea a ceea ce LLM este utilizat?

Lăsăm utilizatorilor să specifice modul în care schimbă între cost și performanță. Dacă vă pasă doar de performanță, putem depăși GPT-4 la openai/evals. Dacă sunteți în căutarea unui anumit cost pentru a vă face economia unității să funcționeze, vă lăsăm să specificați costul maxim pentru cererea dvs., apoi să găsiți cel mai bun model pentru a finaliza solicitarea respectivă. Și dacă doriți ceva mai dinamic, vă lăsăm să specificați cât sunteți dispus să plătiți pentru un răspuns mai bun – astfel, dacă două modele au performanțe similare, dar o diferență mare de cost, vă putem lăsa să utilizați modelele mai puțin costisitoare. . Unii dintre clienții noștri au observat o scădere de până la 12 ori a costurilor.

Care este viziunea ta pentru viitorul lui Martian?

De fiecare dată când ne îmbunătățim înțelegerea fundamentală a modelelor, aceasta are ca rezultat o schimbare de paradigmă pentru AI. Reglajul fin a fost paradigma condusă de înțelegerea rezultatelor. Promptingul este paradigma condusă de înțelegerea intrărilor. Acea diferență unică în înțelegerea noastră a modelelor este în mare parte ceea ce diferențiază ML tradițională („să antrenăm un regresor”) și AI generativă modernă („să solicităm un AGI bebeluș”).

Scopul nostru este să oferim în mod constant progrese în interpretabilitate până când AI este pe deplin înțeleasă și avem o teorie a inteligenței la fel de robustă ca și teoriile noastre despre logică sau calcul.

Pentru noi, asta înseamnă construirea. Înseamnă să creați instrumente AI minunate și să le puneți în mâinile oamenilor. Înseamnă să eliberezi lucruri care sparg modelul, pe care nimeni nu le-a făcut până acum și care – mai mult decât orice altceva – sunt interesante și utile.

În cuvintele lui Sir Francis Bacon, „Cunoașterea este putere”. În consecință, cel mai bun mod de a ne asigura că înțelegem AI este să lansăm instrumente puternice. În opinia noastră, un model de router este un instrument de acest fel. Suntem încântați să o construim, să o creștem și să o punem în mâinile oamenilor.

Acesta este primul dintre multele instrumente pe care le vom lansa în lunile următoare. Pentru a descoperi o teorie frumoasă a inteligenței artificiale, pentru a activa tipuri complet noi de infrastructură AI, pentru a ajuta la construirea unui viitor mai luminos atât pentru om, cât și pentru mașină – abia așteptăm să vă împărtășim aceste instrumente.

Mulțumim pentru interviul minunat, cititorii care doresc să afle mai multe ar trebui să viziteze marţian.