Etan Ginsberg, Martianin Co-Founder – Haastattelusarja

Etan Ginsberg on Martianin Co-Founder, joka on alusta, joka dynaamisesti ohjaa jokaisen kysymyksen parhaaseen LLM:ään. Reitittämisen kautta Martian saavuttaa korkeamman suorituskyvyn ja alhaisemman kustannuksen kuin yksikin tarjoaja, mukaan lukien GPT-4. Järjestelmä on rakennettu yhtiön ainutlaatuisen Model Mapping -teknologian varaan, joka purkaa LLM:t monimutkaisista mustista laatikoista tulkittavampaan arkkitehtuuriin, mikä tekee siitä ensimmäisen kaupallisen sovelluksen mekaanisesta tulkittavuudesta.

Etan on koodannut, suunnitellut verkkosivuja ja rakennuttanut e-liiketoimintaa asiakkaille jo keskiasteelta lähtien. Monitaituri Etan on maailman muistipeliiden kilpailija ja sijoittui toiseksi maailman nopein lukemiskilpailussa Shenzhenissä, Kiinassa.

Hän on osallistunut useisiin hackathoneihin. Aikaisemmat palkinnot ovat mm. 3. palkinto Tech Crunch SZ: ssä, 7. finalistin sija Princeton Hackathonissa ja 3 teollisuuspalkintoa Yale Hackathonissa.

Olet kaksinkertainen startup-yrityksen perustaja, mitkä yritykset nämä olivat ja mitä opit näistä kokemuksista?

Ensimmäinen yritykseni oli urheilun American Ninja Warrior edistämiseen ja edistämiseen tarkoitettu alusta. Vuonna 2012 näin American Ninja Warriorin underground-urheiluna (kuten MMA 1990-luvulla) ja luomin ensimmäisen alustan, jossa ihmiset voivat ostaa suunnitelman, tilata esteitä ja löytää saleja harjoittelemaan. Konsultoin yrityksiä, jotka halusivat aloittaa oman salinsa, mukaan lukien Yhdysvaltain erikoisjoukkojen koulutusohjelman ja laajentaminen piirustusluonnoksesta 300 000 dollarin liikevaihtoon kolmessa kuukaudessa. Vaikka olin high schoolissa, minulla oli ensimmäinen kokemukseni joukkueen johtamisesta yli 20 työntekijän joukoissa ja opin tehokkaasta johtamisesta ja vuorovaikutussuhteista.

Toinen yritykseni oli vaihtoehtoinen sijoitusyhtiö, jonka perustin vuonna 2017 ennen ICO-aaltoa kryptossa. Tämä oli ensimmäinen kokemukseni NLP:stä, jossa käytimme sosiaalisen median tietojen mielipidetutkimusta sijoitusratkaisuna.

Opin paljon kovia ja pehmeitä taitoja, jotka kuuluvat startupin pyörittämiseen – joukkueen johtamisesta teknisiin NLP:n näkökohtiin. Samalla opin myös paljon itsestäni ja siitä, mihin halusin työskennellä. Uskon, että menestyneimmät yritykset perustetaan perustajien laajempaa visiota tai tavoitetta ajatellen. Lopetin krypton vuonna 2017 ja keskityin NLP:hen, koska inhimillisen älymystön täydentäminen ja ymmärtäminen on asia, joka todella ajaa minua. Olin iloinen, kun löysin sen.

Kun opiskelit Pennsylvanian yliopistossa, teit jotain AI-tutkimusta, mitä tutkimusta teit tarkalleen?

Tutkimuksemme keskittyi alun perin LLM-sovellusten kehittämiseen. Erityisesti työskentelimme LLM:n koulutussovelluksiin ja kehittelimme ensimmäistä LLM-pohjaista kognitiivista opettajaa. Tulokset olivat melko hyviä – näimme 0,3 standardipoikkeaman parannuksen oppilaiden tuloksissa alkuvaiheen kokeilussa – ja järjestelmämme on käytetty Pennsylvanian yliopistosta Bhutanin yliopistoon.

Voitko keskustella siitä, miten tämä tutkimus johti sinut Martianin Co-Foundingiin?

Koska olimme yksi ensimmäisistä ihmisistä, jotka kehittivät sovelluksia LLM:ien päällä, olimme myös yksi ensimmäisistä ihmisistä, jotka kohtasivat ongelmia, joita ihmiset kohtaavat, kun he kehittävät sovelluksia LLM:ien päällä. Se ohjasi tutkimustamme infrastruktuuritasolle. Esimerkiksi varhain me suoritimme pienempiä malleja suurempien mallien tuloksilla, kuten GPT-3, ja suoritimme malleja erikoistuneilla tietolähteillä tehtävien, kuten ohjelmoinnin ja matematiikan ongelmanratkaisun, parissa. Se johti meidät lopulta mallejen käyttäytymisen ja mallejen reitittämisen ongelmiin.

Martianin nimen alkuperä ja sen suhde älymystön kanssa on myös mielenkiintoinen, voitko kertoa tarinan siitä, miten tämä nimi valittiin?

Yrityksemme on nimetty unkarilaissyntyisten tiedemiesten ryhmän mukaan, jota kutsutaan “Martianiksi”. Tämä ryhmä, joka eli 1900-luvulla, koostui joistakin maailman älykkäimmistä ihmisistä:

• Tunnetuin heistä oli John Von Neumann; hän keksi peliteorian, modernin tietokoneen arkkitehtuurin, automaattisen teorian ja teki perustavanlaatuisia töitä kymmenissä muissa aloissa.
• Paul Erdos oli kaikkien aikojen tuotteliain matemaatikko, joka julkaisi yli 1500 tutkimusta.
• Theodore Von Karman perusti aerodynaamisen teorian ja auttoi perustamaan American avaruusohjelman. Ihmisen määrittelemä raja Maan ja avaruuden välillä on nimetty “Karman-linjaksi” hänen työnsä kunniaksi.
• Leo Szilard keksi atomipommin, säteilyhoito- ja hiukkaskiihdyttimet.

Nämä tiedemiehet ja 14 muuta heidän kaltaistaan (mukaan lukien vetypommin keksijä, modernin fysiikan ryhmäteorian esittäjä ja perustavanlaatuiset avustajat aloilla, kuten kombinatoriikka, lukuteoria, numeerinen analyysi ja todennäköisyysteoria) jakoivat yhden merkittävän samankaltaisuuden – he kaikki syntyivät samassa osassa Budapestissä. Se sai ihmiset kyseenalaistamaan: mikä oli älymystön lähteen?

Szilard vastasi leikillisesti, että “Marssilaiset ovat jo täällä, ja he kutsuvat itseään unkarilaisiksi!” Todellisuudessa… kukaan ei tiedä.

Ihmiset ovat samassa asemassa tänään uuden superälymystön kanssa: tekoäly. Ihmiset tietävät, että mallit voivat olla uskomattoman älykkäitä, mutta kukaan ei tiedä, miten ne toimivat.

Meidän tehtävämme on vastata siihen kysymykseen – ymmärtää ja hyödyntää modernia superälymystöä.

Sinulla on historia uskomattomia muistin saavutuksia, miten päädyit näihin muistin haasteisiin ja miten tämä tietämys auttoi sinua Martianin käsitteessä?

Useimmissa urheilulajeissa ammattilainen voi suorittaa noin 2-3 kertaa paremmin kuin keskivertoihminen (vertaa, kuinka pitkälle keskivertoihminen voi potkaista kenttämaalia tai kuinka nopeasti he heittävät nopean pallon ammattilaisen verrattuna). Muistipelit ovat mielenkiintoisia, koska huipputehokkaat urheilijat voivat muistaa 100-kertaa tai jopa 1000-kertaa enemmän kuin keskivertoihminen vähemmällä harjoittelulla kuin useimmissa urheilulajeissa. Lisäksi nämä ovat usein ihmisiä, joilla on keskivertomuisti, jotka kiittävät suorituksiaan tiettyjen tekniikoiden ansiosta, jotka kuka tahansa voi oppia. Haluan maksimoida inhimillisen tietämyksen, ja näin maailman muistipeliä yhden arvokkaan näkymän, josta voidaan ajaa poikkeuksellisia tuottoja inhimillisen älymystön lisäämiseksi.

Halusin ottaa muistiin tekniikoita koko koulutusjärjestelmään, joten aloin tutkia, miten NLP ja LLM:t voivat auttaa vähentämään asetusten kustannuksia, jotka estävät useimmat tehokkaat koulutusmenetelmät pääsemästä valtavirtakoulutukseen. Yash ja minä luomme ensimmäisen LLM-pohjaisen kognitiivisen opettajan, ja se johti meidät ongelmiin, joita nyt autamme ratkaisemaan.

Martian on perustettu abstrahoida Large Language Modelin (LLM) valinta, miksi tämä on tällä hetkellä niin suuri ongelmakohta kehittäjille?

On tullut helpommaksi luoda kielimalleja – laskennan kustannukset laskevat, algoritmit ovat tehokkaampia ja enemmän avoimia työkaluja on saatavilla näiden mallien luomiseksi. Tämän seurauksena enemmän yrityksiä ja kehittäjiä luo mukautettuja malleja, jotka on koulutettu mukautetuilla tiedoilla. Koska nämä mallit ovat eri kustannuksia ja kykyjä, voit saada paremman suorituskyvyn käyttämällä useita malleja, mutta on vaikea testata niitä kaikkia ja löytää oikeat mallit, joita käyttää. Me huolehdimme siitä kehittäjien puolesta.

Voitko keskustella siitä, miten järjestelmä ymmärtää, mikä LLM on parasta käytettäväksi kussakin tehtävässä?

Reitittäminen on perustavanlaatuisesti ongelma mallien ymmärtämisestä. Reitittääksesi mallien välillä tehokkaasti haluat ymmärtää, mitä aiheuttaa niiden epäonnistumisen tai onnistumisen. Mallien ymmärtäminen mallikartan avulla mahdollistaa meille määrittää, miten hyvin mikä tahansa malli suoriutuu pyynnöstä ilman, että meidän on suoritettava malli. Tämän seurauksena voimme lähettää pyynnön malliin, joka tuottaa parhaimman tuloksen.

Voitko keskustella kustannussäästöistä, joita voidaan nähdä LLM:n optimoinnista?

Anna käyttäjille mahdollisuus määritellä, miten he tasapainottavat kustannuksia ja suorituskykyä. Jos huolehdit vain suorituskyvystä, voimme ylittää GPT-4:n suorituskyvyn. Jos etsit tiettyä kustannusta, jotta voit tehdä yksikköekonomiasi toimivaksi, anna meille mahdollisuus määritellä enimmäiskustannus pyynnölle, ja etsimme parhaimman mallin suorittamaan pyynnön. Ja jos haluat jotain dynaamisempaa, anna meille mahdollisuus määritellä, kuinka paljon olet valmis maksamaan paremmasta vastauksesta – siten, jos kaksi mallia on samanlaista suorituskyvyltään, mutta suuri ero kustannuksissa, voimme antaa sinun käyttää vähemmän kalliita malleja. Jotkut asiakkaistamme ovat nähneet jopa 12-kertaisen laskun kustannuksissa.

Mikä on visiosi Martianin tulevaisuudelle?

Joka kerta, kun parannamme perustavanlaatuisen ymmärryksen malleista, se johtaa paradigmamuutokseen tekoälyssä. Hienosäätö on paradigm, jota ohjaa ymmärrys tuloksista. Syötteen ohjaama paradigm on ymmärrys syötteistä. Tämä yksinkertainen ero ymmärryksessämme malleista erottaa perinteisen ML:n (“kouluta regressiota”) ja modernin generatiivisen tekoälyn (“syötä vauvaa AGI: ää”).

Tavoitteemme on toimittaa jatkuvasti läpimurtoja tulkittavuudessa, kunnes tekoäly on täysin ymmärrettävissä ja meillä on yhtä vankka teoria älystä kuin logiikasta tai laskennasta.

Meille tämä tarkoittaa rakentamista. Tarkoittaa luomista upeita tekoälytyökaluja ja asettamista ihmisten käsiin. Tarkoittaa julkaisemista asioita, jotka rikkovat muotin, joita kukaan ei ole aiemmin tehnyt, ja jotka ennen kaikkea ovat mielenkiintoisia ja hyödyllisiä.

Sir Francis Baconin sanoissa “Tieto on valta”. Vastaavasti, paras tapa varmistaa, että ymmärrämme tekoälyn, on julkaisemalla voimallisia työkaluja. Meidän mielestämme mallin reititin on sellainen työkalu. Olemme innoissamme rakentamaan, kasvattamaan ja asettamaan sen ihmisten käsiin.

Tämä on vain yksi monista työkaluista, jotka julkaisemme tulevina kuukausina. Löytääksesi kauniin teorian tekoälystä, mahdollistaaksesi täysin uusia tekoälyinfrastruktuurin tyyppejä, auttaaksesi rakentamaan kirkkaamman tulevaisuuden sekä ihmisille että koneille – emme voi odottaa, että jaamme nämä työkalut kanssanne.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, kannattaa vierailla Martian-sivustolla.