Haastattelut

Rahul Nambiar, Propensity Labsin kanssaperustaja ja toimitusjohtaja – haastattelusarja

Antoine Tardif
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Rahul Nambiar smiling in a green shirt against an outdoor urban background.
Keskeiset kohdatMukauttamalla kehotteita halvemmalle mallille se saatiin vastaamaan premium-mallia 7…
Näytä lisää
  • Mukauttamalla kehotteita halvemmalle mallille se saatiin vastaamaan premium-mallia 7 prosentilla kustannuksista.
  • Halvemmat mallit epäonnistuvat usein korjattavissa olevien käyttäytymismallien vuoksi eikä riittämättömän raakan suorituskyvyn takia.
  • Tiimien tulisi mitata kustannus onnistuneesti suoritettua tehtävää kohden eikä pelkästään kustannus tokenia kohden.

Rahul Nambiar on Propensity Labsin toinen perustaja ja toimitusjohtaja. Hän rakensi aiemmin laajamittaisia infrastruktuurijärjestelmiä AWS:llä ennen siirtymistään Metalle, jossa hän johti koneoppimiseen perustuvaa luokittelua hyödyntävän, eksatavun kokoisen käyttäjätietovarannon kehitystyötä. Nykyisessä työssään hän keskittyy ymmärtämään tekoälymallien toimintaa sekä yhdistämään mallien reitityksen ja ohjeiden mukauttamisen agenttipohjaisten työnkulkujen kustannustehokkuuden ja luotettavuuden parantamiseksi.

Propensity Labs kehittää järjestelmiä, joiden avulla tiimit voivat valita tekoälymalleja ja ohjata niitä omiin käyttötarpeisiinsa. Yhtiön lähestymistavassa yhdistyvät mallien toiminnan arviointi, kehotteiden automaattinen mukauttaminen ja mallien välinen reititys. Tavoitteena on auttaa käyttäjiä saamaan enemmän irti saatavilla olevista malleista ilman, että heidän tarvitsee olla asiantuntijoita jokaisen mallin kohdalla.

Urasi on vienyt sinut Metalta, jossa johdit yksityisyydensuojaan liittyvää teknologiakehitystä eksatavun kokoisessa tietovarantoa koskevassa hankkeessa, AWS:lle ja sieltä Propensity Labsin toimitusjohtajaksi. Miten tekninen taustasi on vaikuttanut näkemykseesi nykyisten tekoälymallien rajoituksista ja mallikohtaisen ohjeiden reitityksen mahdollisuuksista?

Aloitin itse asiassa AWS:llä ja siirryin sieltä Metalle. Yksi suurten järjestelmien rakentamisesta oppimani asia on se, että usein voidaan saavuttaa huomattavia parannuksia ymmärtämällä ja optimoimalla taustalla olevien komponenttien toimintaa sen sijaan, että niitä pidettäisiin keskenään vaihdettavina mustina laatikoina. Sama pätee tekoälymalleihin. Olemme havainneet, että jopa erittäin kyvykkäissä malleissa on käyttäytymiseen liittyviä erityispiirteitä, jotka voidaan tunnistaa ja ottaa huomioon. Näin voidaan usein parantaa suorituskykyä ja kustannustehokkuutta yllättävän paljon.

Tuoreessa kokeessasi osoitit, että reititetyt, pienemmät mallit päihittivät huippumallit murto-osalla niiden kustannuksista. Mitkä ovat keskeisimmät tekniset haasteet tällaisen mallien reitityksen käyttöönotossa tuotantoympäristöissä verrattuna vertailutestiin?

Mukauttamalla kehotteita Lunan heikkouksien mukaan saimme sen yltämään Solin suorituskykyyn monimutkaisessa Sierra-yhtiön Tau3-agenttivertailutestissä vain 7 prosentilla kustannuksista. Reitittämällä tehtäviä mukautetun Lunan ja Solin välillä pystyimme yltämään Astran suorituskykyyn vain 16 prosentilla sen kustannuksista.

Yksi tärkeä oppi meille oli, että sekä reititys että kehotteiden mukauttaminen on kohdennettava tarkasti tiettyyn käyttötarkoitukseen. Vertailutesteissä on valmiiksi määritellyt ympäristöt ja arviointityökalut, joiden avulla voi tutkia mallin suoriutumista yksittäisissä tehtävissä ja arvioida, miten hyvin se onnistui. Näiden perusteella voidaan päätellä, miten kehotteita pitää mukauttaa mallille ja milloin tehtävä kannattaa reitittää millekin mallille.

Tuotantotyönkulut eivät ole yhtä siististi valmiiksi jäsenneltyjä. Käytettävissä on jälkiä mallien suorittamista tehtävistä, mutta ei luotettavaa tapaa arvioida, onnistuivatko ne todella tai miltä hyvä suoritus näyttää. Olemme oppineet hyödyntämään olemassa olevaa käyttötietoa, kuten arviointeja tai tuotantojälkiä, ja rakentamaan niiden pohjalta uudelleen arviointiasetelman, jonka avulla voimme testata eri malleja ja mukautuksia saman käyttötarkoituksen yhteydessä.

Kiinnostavaa on se, että reititystä ja mukauttamista on tarkasteltava yhdessä. Edullisempi malli saattaa epäonnistua tehtävässä nykyisillä kehotteillasi mutta onnistua, kun kehotteet mukautetaan mallin toimintatapaan. Tämä muuttaa sitä, mille mallille tehtävä kannattaa alun perin reitittää.

Mainitset ohjeiden mukauttamisen tietyille malleille. Miten erotat yleispätevät ohjeet niistä, jotka on räätälöitävä nimenomaan tietyn malliarkkitehtuurin vahvuuksien ja heikkouksien mukaan?

Monet yleispäteviltä vaikuttavat ohjeet on mukautettava mallikohtaisesti. Yksinkertainen esimerkki on hallusinaatioiden tuottaminen yhden vuoron vastauksissa. Tutkimme tässä kahta eri mallia: DeepSeek V4 Prota ja GPT-6 Lunaa. Molemmilla on vahva taipumus keksiä asioita silloin, kun ne eivät tiedä vastausta. Jokin niiden koulutusprosessiin liittyvä tekijä saa ne epäröimään voimakkaasti vastaamatta jättämistä ja sen sanomista, etteivät ne tiedä. Käyttäytyminen on samankaltaista, mutta sen hillitsemiseen käytettävät kehotteet toimivat hyvin eri tavoin.

DeepSeek V4 Pro voidaan saada jättämään vastaamatta yhtä usein kuin Claude-mallit lisäämällä kehotteeseen useita muunnelmia ilmauksesta ”On ihan hyväksyttävää sanoa, etten tiedä”. Sama keino vaikuttaa Lunaan vain vähän. Luna reagoi parhaiten siihen, että väärästä vastauksesta määrätään pistevähennys. Esimerkiksi ohje ”Väärä vastaus vähentää 90 pistettä, kun taas oikea vastaus tuo vain 10 pistettä” saa sen jättämään vastaamatta yhtä usein kuin sen suurempi sisarmalli Sol. Käyttäytyminen on sama, mutta malleja täytyy ohjata pois siitä hyvin erilaisin keinoin. Ohjeiden mukauttaminen tiettyä mallia varten edellyttää, että ymmärtää syvällisesti sekä mallia että työnkulkua, jossa sitä käytetään.

Kun yritykset siirtyvät agenttipohjaisiin työnkulkuihin, millaista näyttöä näet siitä, että edullisempien, erikoistuneiden mallien välinen reititys on kestävämpi strategia kuin sen odottaminen, että yksi yhä kyvykkäämpi huippumalli pystyy hoitamaan kaiken?

Uusi huippumalli julkaistaan suunnilleen joka viikko. Oletetaan, että valitset juuri nyt suurimman ja parhaan mallin koko työnkulkuusi. Parin kuukauden, tai jopa muutaman viikon, kuluttua saatavilla on todennäköisesti pienempiä malleja, jotka pystyvät hoitamaan suuria osia työnkulustasi, elleivät jopa koko työnkulkua. Samalla saataville tulee luultavasti myös suurempia tai erikoistuneempia malleja, jotka suoriutuvat työnkulussasi paremmin. Jos et vaihda mallia tai reititä tehtäviä eri mallien välillä, menetät mahdollisuuksia parantaa sekä suorituskykyä että kustannustehokkuutta.

Kaiken tämän seuraaminen on kuitenkin hankalaa, eikä ihmisten pitäisi joutua perehtymään asiantuntijoiksi kaikkiin eri malleihin. Uskomme voivamme auttaa varmistamalla, että käytössäsi on aina työkuormaasi parhaiten sopiva malli mahdollisimman edullisesti haluamallasi suorituskykytasolla. Joskus tämä tarkoittaa yksinkertaisesti tehokkaimman saatavilla olevan mallin valitsemista työkuormasi tiettyihin osiin, toisinaan taas suurimman osan työkuormastasi mukauttamista niin, että huomattavasti edullisemmat mallit pystyvät käsittelemään sen.

Kun hallinnoit järjestelmää, joka reitittää tehtäviä useiden mallien välillä, miten huolehdit tietojen yhdenmukaisuudesta ja tietosuojasta etenkin silloin, kun tehtävät koskevat arkaluonteisia tietoja?

Toimimme käyttäjien ja mallipalveluntarjoajien välisenä kerroksena. Käyttäjät valitsevat haluamansa palveluntarjoajat ja tuovat mukanaan omat API-avaimensa. Valitsemme näiltä palveluntarjoajilta parhaiten käyttäjän koko työkuormaan tai sen osaan sopivan mallin, mukautamme työkuormaa ja välitämme sen oikeille malleille. Käytämme vain niitä arviointeja tai jälkiä, jotka asiakas päättää jakaa, emmekä kouluta malleja asiakkaan datalla tai säilytä sitä.

Perustit Propensity Labsin yhdessä Mana Azarmin kanssa. Miten jaatte työnne mallien käyttäytymiseen liittyvän tutkimuksen ja näitä agenttiputkia rakentavan käytännön järjestelmätekniikan välillä?

Osaamisemme täydentää tässä toisiaan hyvin. Mana, joka toimii ylitutkijanamme ja on myös professori, keskittyy enemmän mallien käyttäytymiseen, kun taas minä keskityn järjestelmätekniikkaan. Tai oikeastaan näin haluaisimme asian olevan. Todellisuus on monimutkaisempi, ja päädymme kumpikin työskentelemään kulloinkin suurimman esteen parissa.

Mikä on teknologiajohtajille, jotka käyttävät tällä hetkellä paljon rahaa huippumallien API-kutsuihin, helpoin tapa kokeilla mallien reititystä ja ohjeiden mukauttamista nykyisissä työnkuluissaan?

Tulkaa juttelemaan kanssamme! Mutta ihan vakavasti puhuen kokeilisin uusimman sukupolven pienempää mallia juuri teidän työkuormallanne ja katsoisin, mihin se pystyy. Epäilen, että monet käyttävät yhä aiempien sukupolvien suurempia malleja eivätkä mallien kehitysvauhdin vuoksi ole vielä huomanneet, että viime aikoina on julkaistu pienempiä ja edullisempia vaihtoehtoja, jotka pystyvät käsittelemään heidän työkuormansa.

Millaisia yleisimpiä väärinkäsityksiä kehittäjillä on siitä, mihin edullisemmat mallit pystyvät, kun niiden toimintaa rajataan tai ohjataan asianmukaisesti?

Yleisin väärinkäsitys on olettaa, että edullisempi malli epäonnistuu, koska se ei yksinkertaisesti ole riittävän kyvykäs. Mielestäni kannattaa analysoida perusteellisesti, miten ja missä tilanteissa edullisempi malli epäonnistuu työnkuluissanne. Osa epäonnistumisista johtuu toimintamalleista, joihin malli taipuu. Jos ne tunnistetaan ja mallia ohjataan välttämään niitä, malli saattaa onnistua työssänne. Toisissa tapauksissa kyse on tehtävistä, joiden suorittamiseen edullisemman mallin perustason kyvykkyys ei yksinkertaisesti riitä. Silloin tarvitaan suurempaa mallia.

Työssäsi yhdistyvät tietosuoja, skaalautuvuus ja kustannukset. Kun tarkastelet seuraavia 12–18 kuukautta tekoälyinfrastruktuurin kehityksessä, missä näet suurimman kuilun yritysten tarpeiden ja nykyisen työkaluekosysteemin tarjoamien ratkaisujen välillä?

Keskustellessani tuotantokäyttöön malleja ottavien ammattilaisten kanssa olen huomannut, että monet pelkäävät jäävänsä paitsi uusista mahdollisuuksista (FOMO) ja ovat jossain määrin väsyneitä uusien mallien ja niiden kasvavien kyvykkyyksien perässä pysymiseen. Useimmat teknologiat muuttuvat ajan myötä helpommiksi käyttää ja ottaa käyttöön. Suurten kielimallien käyttö on sen sijaan vaikeutunut, sillä valittavana on valtava määrä malleja ja asetuksia, kuten lämpötila, päättelypanostus ja välimuistitus. Mielestäni mallien käyttöä kannattaa yksinkertaistaa ja niiden yksityiskohdat piilottaa niitä käyttäviltä tiimeiltä, jotta ne voivat keskittyä siihen, mitä haluavat mallien avulla saada aikaan, eikä siihen, miten se tehdään.

Mitä mittareita teknisen tiimin kannattaa seurata, kun se alkaa kokeilla usean mallin välistä reititystä, jotta kustannussäästöjä ei tavoitella luotettavuuden kustannuksella?

Aloittaisin tehtävien onnistumisasteesta, epäonnistumisasteesta, viiveestä ja onnistuneesti suoritetun tehtävän kustannuksesta. Pelkkä token-kohtainen hinta ei ole erityisen hyödyllinen, jos edullisempi malli epäonnistuu useammin. Siksi kannattaa laskea tehtävän kokonaiskustannukset, mukaan lukien uusintayritykset sekä luokittelijoiden tai reitityspäätöksiä tekevien mallien kustannukset.

Vaikeinta on luotettavuuden mittaaminen. Olemme nähneet usein saman kaavan: tiimeillä on vaikeuksia siirtää agenttinsa mallista toiseen, minkä jälkeen ne panostavat arviointiin usean kuukauden ajan ja huomaavat sitten mallien vaihtamisen helpottuneen huomattavasti. Suosittelen vahvasti investoimaan työnkulkujen perusteelliseen arviointiin mahdollisimman varhaisessa vaiheessa ja pitämään arvioinnit ajan tasalla sitä mukaa kuin työnkulut ja käyttäjien tavat hyödyntää niitä muuttuvat.

Kiitos hienosta haastattelusta! Lukijat, jotka haluavat tutustua mallien reititykseen, ohjeiden mukauttamiseen ja arviointimenetelmiin luotettavampien ja kustannustehokkaampien tekoälytyönkulkujen toteuttamiseksi, voivat vierailla sivustolla Propensity Labs.

Antoine on visionäärinen johtaja ja Unite.AI:n perustajaosakas, jota ohjaa vankkumaton intohimo tekoälyn ja robotiikan tulevaisuuden muovaamiseen ja edistämiseen. Sarjayrittäjänä hän uskoo tekoälyn muuttavan yhteiskuntaa yhtä perusteellisesti kuin sähkö, ja hän puhuu usein innostuneesti mullistavien teknologioiden ja yleisen tekoälyn (AGI) mahdollisuuksista.

Futuristina hän on omistautunut selvittämään, miten nämä innovaatiot muovaavat maailmaamme. Hän on myös Securities.io:n perustaja. Alusta keskittyy sijoittamaan huipputeknologioihin, jotka määrittelevät tulevaisuutta uudelleen ja muuttavat kokonaisia toimialoja.