Etan Ginsberg, Co-Fondator al Martian – Seria de Interviuri

Etan Ginsberg este Co-Fondator al Martian, o platformă care direcționează dinamic fiecare prompt către cel mai bun model de limbaj. Prin direcționare, Martian obține o performanță mai ridicată și un cost mai scăzut decât orice furnizor individual, inclusiv GPT-4. Sistemul este construit pe tehnologia unică de cartografiere a modelului, care desface modelele de limbaj complexe din cutii negre într-o arhitectură mai interpretabilă, făcând-o prima aplicație comercială a interpretării mecanistice.

Etan a început să programeze, să creeze site-uri web și să construiască afaceri electronice pentru clienți de când era la școala gimnazială. Un polimat, Etan este un concurent la Campionatul Mondial de Memorie și a obținut locul 2 la Campionatul Mondial de Citire Rapidă din Shenzhen, China.

El este un concurent la hackathon-uri video. Premii anterioare includ locul 3 la Tech Crunch SZ, finalist în top 7 la Hackathon-ul Princeton și 3 premii industriale la Hackathon-ul Yale.

Sunteți un fost fondator de două ori de startup, ce au fost aceste companii și ce ați învățat din această experiență?

Prima mea companie a fost prima platformă pentru promovarea și avansarea sportului American Ninja Warrior. În 2012, am văzut American Ninja Warrior ca pe un sport subteran (similar cu MMA în anii ’90) și am creat prima platformă unde oamenii puteau cumpăra planuri, comanda obstacole și găsi săli de antrenament. Am consultat companii care doreau să-și deschidă propriile săli, inclusiv să ajut US Special Forces cu un curs de antrenament și să scalăm o facilitate de la schiță la 300.000 de dolari în venituri în primele 3 luni. Deși eram în liceu, am avut prima mea experiență de gestionare a unor echipe de peste 20 de lucrători și am învățat despre managementul eficient și relațiile interpersonale.

A doua mea companie a fost o companie de gestionare a activelor alternative pe care am co-fondat-o în 2017, înainte de valul ICO din crypto. Acesta a fost primul meu contact cu NLP, unde am folosit analiza sentimentului datelor de social media ca strategie de investiții.

Am învățat multe din abilitățile grele și moi care intră în gestionarea unui startup – de la cum să gestionezi o echipă la aspectele tehnice ale NLP. În același timp, am învățat și despre mine și despre ce voiam să lucrez. Cred că cele mai de succes companii sunt fondate de fondatori care au o viziune mai largă sau un obiectiv care îi împinge. Am părăsit crypto în 2017 pentru a mă concentra pe NLP, deoarece îmbunătățirea și înțelegerea inteligenței umane este ceva care mă motivează cu adevărat. M-am bucurat să descopăr asta.

În timp ce urmați Universitatea din Pennsylvania, ați făcut cercetări de inteligență artificială, ce anume ați cercetat?

Cercetarea noastră s-a axat inițial pe construirea de aplicații pentru modelele de limbaj. În special, am lucrat la aplicații educaționale ale modelelor de limbaj și am construit primul tutor cognitiv bazat pe modele de limbaj. Rezultatele au fost destul de bune – am văzut o îmbunătățire a rezultatelor elevilor cu 0,3 deviații standard în experimentarea inițială – și sistemul nostru a fost utilizat de la Universitatea din Pennsylvania la Universitatea din Bhutan.

Puteți discuta cum această cercetare v-a condus la co-fondarea Martian?

Deoarece am fost printre primii oameni care au construit aplicații pe modele de limbaj, am fost și printre primii oameni care au întâlnit problemele cu care se confruntă oamenii atunci când construiesc aplicații pe modele de limbaj. Acest lucru ne-a îndreptat cercetarea către stratul de infrastructură. De exemplu, foarte devreme, am făcut fine-tuning pe modele mai mici pe ieșirile unor modele mai mari, cum ar fi GPT-3, și am făcut fine-tuning pe surse de date specializate pentru sarcini cum ar fi programarea și rezolvarea problemelor de matematică. Acest lucru ne-a condus în cele din urmă la probleme legate de înțelegerea comportamentului modelului și de direcționarea modelului.

Originea numelui Martian și relația sa cu inteligența este, de asemenea, interesantă, puteți împărtăși povestea despre cum a fost ales acest nume?

Compania noastră a fost numită după un grup de oameni de știință unguro-americani cunoscuți sub numele de “The Martians“. Acest grup, care a trăit în secolul al XX-lea, a fost format din unele dintre cele mai deștepte persoane care au trăit vreodată:

• Cel mai faimos dintre ei a fost John Von Neumann; el a inventat teoria jocurilor, arhitectura calculatorului modern, teoria automatelor și a făcut contribuții fundamentale în zeci de alte domenii.
• Paul Erdos a fost cel mai prolific matematician din toate timpurile, publicând peste 1500 de articole.
• Theodore Von Karman a stabilit teoriile fundamentale ale aerodinamicii și a ajutat la fondarea programului spațial american. Limita definită de om între Pământ și spațiu exterior este numită “linia Kármán” în recunoașterea lucrării sale.
• Leo Szilard a inventat bomba atomică, terapia cu radiații și acceleratoarele de particule.

Acești oameni de știință și alți 14 ca ei (inclusiv inventatorul bombei cu hidrogen, omul care a introdus teoria grupurilor în fizica modernă și contribuitori fundamentali la domenii cum ar fi combinatorica, teoria numerelor, analiza numerică și teoria probabilităților) au împărtășit o asemănare remarcabilă – toți s-au născut în aceeași parte a Budapestei. Acest lucru a determinat oamenii să se întrebe: ce a fost sursa atâta inteligență?

Ca răspuns, Szilard a glumit că “marțienii sunt deja aici și se numesc pe ei înșiși unguri!” În realitate… nimeni nu știe.

Omenirea se află într-o poziție similară astăzi, cu privire la o nouă serie de minți potențial superinteligente: Inteligența Artificială. Oamenii știu că modelele pot fi incredibil de deștepte, dar nu au nici o idee cum funcționează.

Misiunea noastră este să răspundem la această întrebare – să înțelegem și să valorificăm superinteligența modernă.

Aveți o istorie de realizări incredibile de memorie, cum ați ajuns să vă implicați în aceste provocări de memorie și cum v-a ajutat această cunoaștere la conceptul de Martian?

În majoritatea sporturilor, un atlet profesionist poate performa de aproximativ 2-3 ori mai bine decât o persoană medie (comparați cât de departe o persoană medie poate lovi un gol sau cât de repede poate arunca o minge, comparativ cu un profesionist). Sporturile de memorie sunt fascinante pentru că atleții de top pot memora de 100 de ori sau chiar 1000 de ori mai mult decât o persoană medie, cu mai puțin antrenament decât majoritatea sporturilor. Mai mult, aceștia sunt adesea oameni cu o memorie naturală medie, care atribuie performanța lor unor tehnici specifice pe care oricine le poate învăța. Vreau să maximizez cunoașterea umană și am văzut campionatul mondial de memorie ca o perspectivă subapreciată asupra modului în care putem obține randamente extraordinare prin creșterea inteligenței umane.

Am vrut să implementez tehnici de memorare în întregul sistem de învățământ, așa că am început să explorez cum NLP și modelele de limbaj pot ajuta la reducerea costurilor de configurare care împiedică metodele educaționale eficiente să fie utilizate în sistemul de învățământ mainstream. Yash și eu am creat primul tutor cognitiv bazat pe modele de limbaj și acest lucru ne-a condus la descoperirea problemelor cu care ne confruntăm astăzi în ceea ce privește implementarea modelelor de limbaj.

Martian este, în esență, o abstractizare a deciziei cu privire la ce model de limbaj mare să se utilizeze, de ce este acesta în prezent un punct dureros pentru dezvoltatori?

Devine din ce în ce mai ușor să se creeze modele de limbaj – costul calculului scade, algoritmii devin mai eficienți și mai multe unelte cu sursă deschisă sunt disponibile pentru a crea aceste modele. Ca urmare, mai multe companii și dezvoltatori creează modele personalizate antrenate pe date personalizate. Deoarece aceste modele au costuri și capacități diferite, puteți obține o performanță mai bună utilizând mai multe modele, dar este dificil să le testați pe toate și să găsiți cele potrivite pentru a le utiliza. Noi ne ocupăm de asta pentru dezvoltatori.

Puteți discuta cum sistemul înțelege care model de limbaj mare este cel mai bun pentru fiecare sarcină specifică?

Routearea bună este, în esență, o problemă de înțelegere a modelelor. Pentru a routea eficient între modele, doriți să puteți înțelege ce cauzează eșecul sau succesul lor. Capacitatea de a înțelege aceste caracteristici cu cartografierea modelului ne permite să determinăm cât de bine va performa orice model dat pe o cerere fără a trebui să ruleze acel model. Ca urmare, putem trimite acea cerere către modelul care va produce cel mai bun rezultat.

Puteți discuta despre tipul de economii de cost care pot fi văzute prin optimizarea modelului de limbaj mare utilizat?

Ne permitem utilizatorilor să specifice cum fac schimbul între cost și performanță. Dacă vă interesează doar performanța, putem depăși GPT-4 pe openai/evals. Dacă căutați un anumit cost pentru a face ca economia dvs. să funcționeze, vă permitem să specificați costul maxim pentru cererea dvs., apoi găsim cel mai bun model pentru a completa acea cerere. Și dacă doriți ceva mai dinamic, vă permitem să specificați cât sunteți dispuși să plătiți pentru un răspuns mai bun – astfel, dacă două modele au performanțe similare, dar o mare diferență de cost, putem să vă permitem să utilizați modelul mai puțin costisitor. Unii dintre clienții noștri au văzut o scădere de până la 12 ori a costurilor.

Care este viziunea dvs. pentru viitorul Martian?

De fiecare dată când îmbunătățim înțelegerea noastră fundamentală a modelelor, acest lucru duce la o schimbare de paradigmă pentru IA. Fine-tuningul a fost paradigma condusă de înțelegerea ieșirilor. Promptingul este paradigma condusă de înțelegerea intrărilor. Acea singură diferență în înțelegerea noastră a modelelor este mult din ceea ce diferențiază ML-ul tradițional (“să antrenăm un regresor”) și IA generativă modernă (“să promptăm un baby AGI”).

Scopul nostru este să livrăm în mod constant descoperiri în interpretabilitate până când IA este pe deplin înțeleasă și avem o teorie a inteligenței la fel de robustă ca teoriile noastre de logică sau calcul.

Pentru noi, acest lucru înseamnă construirea. Înseamnă crearea unor unelte de IA uimitoare și punerea lor în mâinile oamenilor. Înseamnă lansarea unor lucruri care sparg tiparele, care nimeni nu a făcut înainte și care – mai mult decât orice altceva – sunt interesante și utile.

În cuvintele lui Sir Francis Bacon, “Cunoașterea este putere”. Prin urmare, cel mai bun mod de a fi siguri că înțelegem IA este să lansăm unelte puternice. În opinia noastră, un router de modele este un astfel de instrument. Suntem încântați să-l construim, să-l creștem și să-l punem în mâinile oamenilor.

Acesta este primul dintre multe unelte pe care le vom lansa în următoarele luni. Pentru a descoperi o frumoasă teorie a inteligenței artificiale, pentru a permite noi tipuri de infrastructură de IA, pentru a ajuta la construirea unui viitor mai strălucit atât pentru oameni, cât și pentru mașini – abia așteptăm să împărtășim aceste unelte cu dvs.

Vă mulțumim pentru acest interviu minunat, cititorii care doresc să afle mai multe trebuie să viziteze Martian.