Rob May, NeuroMetricin CEO ja Co-Founder – Haastattelu Sarja

Rob May, NeuroMetricin CEO ja Co-Founder, on kokenut yrittäjä ja sijoittaja, jolla on pitkä historia pilvipalveluissa, AI-startupissa ja venture capitalissa. Hän johtaa tällä hetkellä NeuroMetric AI:ta ja toimii myös HalfCourt Venturesin johtajana, jossa hän on tuki yli 100 teknologiayritystä. Yritystoiminnan ja sijoittamisen lisäksi hän on perustanut AI Innovators Communityn ja aiemmin rakentanut ja myynyt yrityksiä, kuten Backupifyn, jossa hän on osoittanut syvää kokemusta useiden teknologisen kehityksen jaksojen aikana. Hän on myös laajasti tunnettu pitkäaikaisesta Investing in AI -uutiskirjeestään, jonka hän aloitti yli kymmenen vuotta sitten analysoimaan nousuja AI-trendeissä, sijoitusstrategioissa ja markkinamuutoksissa, ja josta on kehittynyt syvemmän ymmärryksen alusta nopeasti kehittyvään AI-maailmaan.

NeuroMetric AI on keskittynyt ratkaisemaan yhtä kriittisimmistä haasteista tekoälyssä tällä hetkellä: tekoälymallien käytön kustannuksia ja tehokkuutta suurissa mittakaavoissa. Alusta arvioi dynaamisesti tekoälykuormituksia ja soveltaa optimointistrategioita, kuten yhdistämällä pienempiä, erikoistuneita malleja edistyneiden laskentamenetelmien kanssa, parantamaan suorituskykyä ja vähentämään kustannuksia dramaattisesti, mahdollistaen yritysten saavuttamaan paremman tuoton tekoälykäytöistä. Koordinoidessaan kuormituksia ja sovittaessaan mallien käyttöä tiettyihin tehtäviin, NeuroMetric pyrkii tekemään tekoälyjärjestelmistä merkittävästi nopeampia ja edullisempia, asettamalla itsensä tekoälyinfrastruktuurin, tehokkuuden ja todellisen skaalautuvuuden risteykseen, kun organisaatiot siirtyvät kokeilusta tuotantoon.

Olet perustanut ja johtanut useita tekoälyyrityksiä, sijoittanut yli 100 startupiin HalfCourt Venturesin kautta ja aiemmin rakentanut ja myynyt Backupifyn. Miten nämä kokemukset ovat muovanneet näkemyksesi siitä, missä kestävää arvoa luodaan tekoälyssä tänään?

Luulen, että useimmat sijoittajat ja yrittäjät ajavat lyhytaikaisia etuoikeuksia – asioita, jotka näyttävät selviltä markkinarakoille tänään, mutta jotka sulkevat olemassa olevat yritykset nopeasti. Tekoäly tekee liiketoiminnan pyörittämisestä sarjan todennäköisyyspäätöksiä. Sijoitettavat tai rakennettavat yritykset ovat niitä, joilla on parhaat yleiset arviot näistä todennäköisyyksistä. Joskus se tulee pystytymällä pystysuoraan integraatioon ja toisinaan vaakasuoraan skaalaamalla – se riippuu markkinasta.

Investing in AI -uutiskirjeessäsi olet väittänyt, että mallit ovat muuttumassa yhä vaihtuvammaksi ja että todellinen puolustus siirtyy järjestelmätasolle. Miltä näyttää todellinen “järjestelmämoottori” käytännössä?

Todellinen järjestelmämoottori on kolme ominaisuutta: se kasvaa käytön myötä, se on spesifinen asiakkaalle ja se ei voida replikoida vaihtamalla parempaan malliin.

Puolustus elää siinä, mitä kutsun “kontekstin järjestelmäksi” – integroiduksi arkkitehtuuriksi, joka yhdistää perusmallit kaikkeen, mikä tekee yrityksestä ainutlaatuisen: sen tietonsa, työprosessinsa, alan tiedonsa, päätöshistoriansa. Järjestelmä ottaa signaaleja jokaisesta vuorovaikutuksesta – mitkä mallit onnistuvat mihin tehtäviin, missä viive on tärkeää, mitkä yrityskohtaiset mallit syntyvät – ja syöttää sen takaisin parantamaan itseään.

Avainhavainto on, että tämä luo moninkertaista pyörivää, ei additiivista. Et vain kerää luettavaa lokia aiemmista päätöksistä. Tuotat koulutussignaalia, joka tuottaa erikoistuneita malleja, jotka parantavat reititystä, joka ottaa arvokkaampaa tietoa. Moottori laajenee jokaisen päätöksen myötä.

Käytännössä järjestelmämoottori näyttää syvältä työprosessien integraatiolta, jossa vaihtokustannukset eivät ole API-riippuvia – ne ovat liiketoimintalogiikkaa uudelleenkirjoittamista. Se näyttää omista konteksteista, joita kilpailija ei voi replikoida, koska se on tuotettu kuukausien ajan tuotantokäytössä tietyn yrityksen sisällä. Ja se näyttää jatkuvalta erikoistumispyörivältä, jossa järjestelmä paranee merkittävästi tuo asiakas tavoin, jota yleinen mallitoimittaja ei voi.

Malliaika antoi meille raakakapasiteetin. Järjestelmäaika on, jossa kyseinen kapasiteetti muuttuu todelliseksi arvoksi.

Miten yritykset pitäisi ajatella monimallistrategian rakentamisesta, mukaan lukien reitityslogiikka, eskalaatioreitit ja jatkuva arviointi, sen sijaan, että riippuvat yhdestä eturintamallista?

Ensimmäinen asia, jonka yritykset on sisäistettävä, on, että “käytä vain parasta mallia” on häviävä strategia suuressa mittakaavassa. Se on sama kuin suorittaa jokainen kysely kautta sen senior-Insinööri. Se on kallista, se on hitaata, ja – vastoin odotuksia – se usein ei tuota parhaita tuloksia.

Tämä liittyy siihen, mitä kutsun “epätasaiseksi inference-etuksi”: mallin suorituskyky on tehtäväkohtainen ja arvaamaton. Eturintamallit häviävät pienemmille, erikoistuneille malleille tietyissä tehtävissä aina. Olemme nähneet yhdistettyjä monimallijärjestelmiä, jotka saavuttavat 72,7%:n tarkin CRM-tehtävissä, kun eturintamallit saavuttivat 58%. Suorituskyvyn pinta ei korreloi tiiviisti parametrilaskun kanssa. Joten todellinen kysymys ei ole “mikä malli on paras?” – se on “mikä malli on paras tähän tiettyyn alitehtävään?”

Tämä uudelleenmuotoilu on todellisen monimallistrategian perusta. Tässä on, miten kertoisin yritysten ajatella sitä kolmessa kerroksessa.

Reitityslogiikka alkaa kartoittamalla inference-maastoa. Luettele jokainen piste järjestelmässä, jossa LLM-kutsu tehdään, ja kunkin kohdalla, dokumentoi tehtävän tyyppi, syöte/vastaavuuskompleksisuus, viivevaatimukset, tarkin tarkkuus ja kutsuvolyymi. Se antaa sinulle lämpökartan. Löydät nopeasti, että suurin osa tilastosta on korkeataajuuksista, kapean skaalan työstä – luokittelu, yksikköpoisto, aikomusreititys, malligeneraattori – jossa hienosäätöinen pieni malli vastaa tai voittaa eturintamallin murto-osaan kustannuksista. Varaa kalliit eturintamasi kutsut tehtäville, jotka edellyttävät todella monimutkaista päättelyä. Agentti, joka tekee 50 kutsua tehtävittäin, ei tarvitse GPT-4:ää kaikille 50:lle.

Eskalaatioreitit ovat älykkäiden takaisinsoittojen rakentamisesta, eikä vain epäonnistumisesta. Järjestelmän on tunnistettava, kun pieni malli palauttaa matalan luottamuksen tuloksia ja eskaloida kykykkäämmälle mallille – tai toiseen malli-strategia-yhdistelmään kokonaan. Tässä on, missä testauslaskentastrategiat tulevat. Joskus oikea vastaus ei ole suurempi malli – se on sama malli ketjuajattelulla, sädehaulla tai parhaan N:n näytteellä. Optimaalinen konfiguraatio muuttuu ei vain mallin mukaan, vaan myös ajattelualgoritmin, jonka paritellaan siihen.

Jatkuva arviointi on se osa, jota useimmat yritykset kokonaan väärin. Se on, missä todellinen puolustus syntyy. Mallin valinta ei ole kertaluontoinen päätös – se on jatkuva optimointiongelma. Uudet mallit julkaistaan jatkuvasti, käyttötapaustesi kehittyvät ja suorituskyky heikkenee tavoin, jotka epäonnistuvat hiljaa. Et tiedä, että asiakaspalvelubotisi antoi 40% huonomman vastauksen, koska käytit väärää mallia kyseiselle kyselytyypille – sinun vain näet asiakastappiota kolme kuukautta myöhemmin. Tarvitset infrastruktuuria, joka jatkuvasti mitta, mitä todella toimii malli-tehtävien yhdistelmissä ja sovittaa reititystä todellisen suorituskyvyn perusteella, ei benchmarkien mukaan.

Syy, miksi useimmat yritykset eivät ole tehneet tätä siirtymää, on, että kukaan ei saa potkut valitsemalla eturintamallin – se on “kukaan ei saa potkut ostamalla IBM”:n tekoälyversio. Myyntiekosysteemi työntää eturintamaa, koska siinä on marginaalit. Ja orkestraatioinfrastruktuuri, jota tarvitaan todella suorittamaan monimallirakennetta – reitityslogiikka, takaisinsoittomekanismit, mallinhallinta, havainnollistaminen – ei ole olemassa useimmissa yrityksissä. He ovat jumissa paikallisessa optimaalisuudessa, jossa monimallin vaihtokustannukset ja epävarmuus tuntuvat suuremmilta kuin jatkuva yliinvestointi eturintamainferenssiin.

Mitä ovat suurimmat virheet, joita yritykset tekevät siirtymällä tekoälykokeilusta tuotantoon?

He olettavat, että heidän valintansa voidaan olla staattisia ja pitkäaikaisia. Todellisuudessa jokainen kerros tekoälyn teknologiapinossa muuttuu nopeasti. Yritysten on tehtävä päätöksiä, jotka tarjoavat vaihtoehtoja ja joustavuutta.

Missä työprosesseissa olet nähnyt pienemmät, tehtäväkohtaiset mallit ylittävän suuret eturintamallit, ja miksi se on tärkeää strategisesti?

Olemme nähneet sen melkein jokaisessa yleisessä päivittäisessä työtehtävässä – asioissa kuten peruslaskenta, tekstin yhteenveto, yksikön poisto eri asiakirjoista. Olemme tutkineet SLM:itä satoja työtehtäviä varten, ja ne voittavat melkein aina, jos ongelma on rakennettu oikein.

Olet kirjoittanut tekoälyn käyttöönoton laskevista marginaalikustannuksista. Miten se muuttaa tekoälyn omaksumisen pitkän aikavälin taloutta yrityksille?

Kuplabudjettitarina olettaa, että tekoälytuotot vaativat suhteellista R&D-sijoitusta uusiin malleihin. Se ei. Mallit on rakennettu. Infrastruktuuri on olemassa. Jokainen lisätty käyttötapaus on kysely, data-yhteys, ehkä hieman hienosäätöä – ei toinen 100 miljoonan dollarin koulutusajo. Marginaalikustannuskaava kaartuu alas, kun alusta kypsyy.

Tämä on vastakkainen kuin rautatiet tai telekom, jossa jokainen uusi rata oli kallista. Tekoälyssä moottorin rakentaminen oli kallista. Asian liittäminen moottoriin on halpaa ja halpenee – inference-kustannukset ovat laskeneet noin 1 000-kertaisesti kahdessa vuodessa. Kysymys yrityksille ei ole, kannattaako tekoäly. Se on, kuinka monta käyttötapauksia voit pinota samalle infrastruktuurille, ennen kuin tulokäyrä ylittää kustannuskaaren.

Mitkä signaalit tekniset tiimit pitäisi käyttää määrittämiseen, milloin vaihtaa malleja, hienosäätää tai rakentaa erikoistuneita pieniä tehtävämalleja?

Signaalit eivät välttämättä ole teknisiä. Ne ovat enemmän suorituskyky- tai taloudellisesti ohjattuja. Esimerkiksi mallin vaihtaminen tai hienosäätäminen tai mukautetun SLM:n rakentaminen kaikki voivat toimia. Päätös riippuu siitä, onko optimoimassa viiveä tai kustannuksia, kuinka usein tehtävä suoritetaan ja kuinka kauan kestää rakentaa ja ottaa käyttöön kunkin ratkaisun.

Miten suunnittelet varusteita, seurantaa ja hallintoa tavalla, joka skaalautuu käytön mukaan sen sijaan, että se muuttuu pullonkaulaksi?

Virhe, jonka useimmat yritykset tekevät, on kohdella hallintoa tarkastuskohtauksena – manuaalisena tarkastuskerroksena, joka on kiinnitetty tekoälytyöprosesseihin. Se ei skaalautu. Se muuttuu pullonkaulaksi hetkeen, kun käyttö lisääntyy.

Hallinto on upotettava itse orkestraatiokerrokseen. Kun reititysinfrastruktuurisi arvioi jokaisen inference-kutsun – mikä malli, mikä tehtävä, mikä luottamuksen taso – lisääminen varusteita on marginaalikustannus, ei uusi järjestelmä. Sama kerros, joka päättää, mikä malli käsittelee kyselyn, voi pakottaa käytäntöä: PII-suodatus ennen kutsua, tulostusvalidointi jälkeen, audit-rajat tallennetaan automaattisesti, kustannusjakautuminen osastoon.

Avainhavainto on, että yritykset eivät epäonnistu sisisesti tekoälyjärjestelmissä. He epäonnistuvat välillä niiden – siirtymisissä, eskalaatioissa ja poikkeamissa. Hallinto, joka skaalautuu, näyttää ohjaus tasolta, joka tekee jokaisen tekoälytoiminnon turvalliseksi, tarkastettavaksi ja toistettavaksi suorituksen sivutuotteena, ei esteenä sille.

Olet vertannut nykyistä tekoälymaisemaa siirtymään keskustietokoneista henkilökohtaisiin tietokoneisiin. Mitä tämä keskittymisen loppuminen tarkoittaa tekoälyjärjestelmien rakentamisesta?

Olemme tekoälyn keskustietokoneaikakaudella tällä hetkellä. Suuret, keskitetyt eturintamallit OpenAI:sta, Anthropicista ja Googlelta olivat välttämättömiä fokusoida ponnistelut ja osoittaa, mitä tekoäly voisi tehdä. Se vaihe toimi. Kyvyt ovat hyvin ymmärretty. Mutta kuten laskenta ei jäänyt keskitetyksi, tekoäly ei jää sinne. Siirrymme henkilökohtaiseen tietokoneaikaan – hajautettuun ekosysteemiin, jossa pienemmät, erikoistuneet mallit suorittavat lähempänä työtä.

Kulutustiedot heijastavat jo tätä. Yritysten tekoälysijoitus on nyt jakautunut melkein tasaisesti infrastruktuurin ja sovellusten välillä, ja sovelluksen osuus kasvaa nopeammin. Laajentuminen on lateraalia – HR:ään, oikeuteen, markkinointiin, operaatioihin, rahoitukseen – ei pystysuoraan suurempiin malleihin.

Startup-yrityksille, jotka rakentavat järjestelmätasolla, tämä on sukupolven mahdollisuus. Keskittyneessä maailmassa mallintoimittaja ottaa suurimman osan arvosta. Hajautetussa maailmassa arvo siirtyy yrityksiin, jotka ratkaisevat orkestraation, reitityksen, arvioinnin ja erikoistumisen – tekoälyjärjestelmien käyttöönoton operatiiviset haasteet heterogeenisessa malliekosysteemissä suurissa mittakaavoissa.

Ennustani on, että noin 25% tekoälyinferenssia vaatii eturintamalleja. Nämä yritykset ovat hyvin – se on muutamia biljoonia dollareiden arvoinen TAM. Mutta 75% suorittaa avoimen lähdekoodin ja pienillä erikoistuneilla tehtävämalleilla. Koulutimme 4 miljardin parametrin mallin, joka voitti eturintamallit tietyssä CRM-tehtävässä, ja se on niin halpaa suorittaa, että se on melkein ilmaista. Se on tulevaisuus – ja se tarvitsee täysin uuden järjestelmätason sen hallitsemiseen.

Vertauskuva pitää kaiken läpi: keskustietokonevalmistajat menivät hyvin, mutta todellinen varallisuuden luominen tapahtui PC-ekosysteemissä. Sama tapahtuu tekoälyssä.

Näkemään viisi vuotta eteenpäin, uskotko, että eturintamallintoimittajat ottavat suurimman osan arvosta, vai tuleeko suurin osa taloudellisesta vaikutuksesta orkestraatiosta, optimoinnista ja sovelletuista järjestelmistä, jotka on rakennettu niiden ympärille?

Luulen, että tekoälyinferenssimarkkinat tulevat olemaan yksi maailmanhistorian suurimmista markkinoista. Se tarkoittaa, että eturintamallilaboratoriot menestyvät erinomaisesti, ja siitä on edelleen valtavat mahdollisuudet yrityksille, jotka rakentavat niiden ympärille. Kun sinulla on biljoonien dollarien markkinat, ratkaisemalla pieniä reunatapauksia niissä markkinoissa voidaan luoda miljardien dollarien arvoinen yritys.

Kiitos hienosta haastattelusta, lukijat, jotka haluavat oppia enemmän, voivat vierailla NeuroMetric AI:ssa tai tilata Investing in AI -uutiskirjeen.