Rebecca Qian, Patronus AI:n perustaja ja CTO – Haastattelusarja

Rebecca Qian on Patronus AI:n perustaja ja CTO, jolla on lähes vuosikymmenen kokemus tuotantokelpoisten koneoppimisjärjestelmien kehittämisestä NLP:n, ruumiillistetun AI:n ja infrastruktuurin risteyksessä. Facebook (META ) AI:ssa hän työskenteli tutkimuksen ja käyttöönoton parissa, kouluttaen FairBERTa-nimistä suurta kielen mallia, joka on suunniteltu reiluuden tavoitteilla, kehittäen demograafisen häiriömallin Wikipedia-sisällön uudelleenkirjoittamiseksi ja johtaa semanttista analyysiä robottiavustajille. Hän myös rakensi ihmisen ja koneen välistä pipelinea ruumiillistetuille agenteille ja loi infrastruktuurityökaluja, kuten jatkuva kontrastiluokan kaivuu, joka otettiin käyttöön Facebookin infrastruktuuritiimissä ja esiteltiin ICSE:ssa. Hän on osallistunut avoimen lähdekoodin projekteihin, mukaan lukien FacebookResearch/fairo ja Droidlet- semanttisen analyysin muistikirjat. Perustajana hän keskittyy nyt skaalautuvaan valvontaan, vahvistusoppimiseen ja turvallisten, ympäristötietoisten AI-agenttien käyttöönottoon.

Patronus AI on San Francisco -perustainen yritys, joka tarjoaa tutkimusperustaisen alustan suurten kielen mallien (LLM) ja AI-agenttien arviointiin, seurantaan ja optimointiin, jotta kehittäjät voivat toimittaa luotettavia generatiivisia AI-tuotteita luottamuksella. Alusta tarjoaa automaattisia arviointityökaluja, benchmarkingia, analytiikkaa, mukautettuja tietoja ja agenttikohtaisia ympäristöjä, jotka tunnistavat suoritusongelmia, kuten hallucinaatioita, turvallisuusrisktejä tai loogisia virheitä, mahdollistaen tiimien jatkuvaan parantamiseen ja vianmääritykseen AI-järjestelmissä todellisissa käyttötarkoituksissa. Patronus palvelee yritysasiakkaita ja teknologia-kumppaneita antamalla heille mahdollisuuden arvioida mallin käyttäytymistä, havaita virheitä suuressa mittakaavassa ja parantaa luotettavuutta ja suorituskykyä tuotannon AI-sovelluksissa.

Sinulla on syvä tausta ML-järjestelmien rakentamisessa Facebook AI:ssa, mukaan lukien työ FairBERTassa ja ihmisen ja koneen välisissä putkistoihin. Miten tämä kokemus on muovannut näkemyksesi todellisen maailman AI-käyttöönotosta ja turvallisuudesta?

Työskenteleminen Meta AI:ssa sai minut keskittymään siihen, mitä vaaditaan mallien luotettavuuden saavuttamiseksi käytännössä – erityisesti vastuullisessa NLP:ssä. Työskentelin reiluuden keskittyneessä kielen mallinnuksessa, kuten LLMien kouluttamisessa reiluuden tavoitteilla, ja näin ensimmäisen kerran, kuinka vaikeaa on arvioida ja tulkita mallien tulostuksia. Se on muovannut ajatteluni turvallisuudesta. Jos et voi mitata ja ymmärtää mallin käyttäytymistä, on vaikea käyttöönottoon AI:ta todella maailmassa.

Mikä motivoi sinua siirtymään tutkimusinsinööriksi yrittäjyyteen, perustamaan Patronus AI:n, ja mikä ongelma tuntui kiireellisimmältä ratkaistavaksi tuolloin?

Arviointi muodostui esteeksi AI:ssa tuolloin. Lähdin Meta AI:sta huhtikuussa perustamaan Patronusia Anandin kanssa, koska olin nähnyt ensimmäisen kerran, kuinka vaikeaa on arvioida ja tulkita AI-tulostuksia. Ja kun generatiivinen AI alkoi siirtyä yritysprosesseihin, oli selvää, että tämä ei ollut enää vain laboratoriotilanne. 

Kuulimme samaa asiaa yrityksiltä. He halusivat ottaa käyttöön LLM:t, mutta he eivät voineet luotettavasti testata niitä, seurata niitä tai ymmärtää virhetilanteita, kuten hallucinaatioita, erityisesti säänneltyissä aloissa, joissa on hyvin vähän toleranssia virheille. 

Niinpä kiireellinen ongelma alkuvaiheessa oli rakentaa tapa automatisoida ja skaalata mallin arviointi – arvioida malleja todellisissa tilanteissa, luoda vastakkaisia testitapauksia ja benchmarkkaus – jotta tiimit voivat käyttöönottoon luottamuksella ilman arvaamista

Patronus esitteli äskettäin generatiivisia simulaattoreita sopeutuvina ympäristöinä AI-agenteille. Mitkä rajoitukset olemassa olevissa arviointi- tai koulutuslähestymistavoissa johtivat sinut tähän suuntaan?

Näimme kasvavan eroon aiheuttavan, miten AI-agentejä arvioidaan ja miten niitä odotetaan suoriutuvan todellisessa maailmassa. Perinteiset benchmarkit mitataan eristyneitä kykyjä tiettynä ajankohtana, mutta todellinen työ on dynaaminen. Tehtävät keskeytetään, vaatimukset muuttuvat tehtävän aikana, ja päätökset kasaantuvat pitkien aikahorisonttien yli. Agentit voivat näyttää vahvoilta staattisissa testeissä ja silti epäonnistua pahasti, kun ne otetaan käyttöön. Kun agentit paranevat, ne myös tyytyvät kiinteisiin benchmarkkeihin, mikä aiheuttaa oppimisen tasapainon. Generatiiviset simulaattorit syntyivät tavaksi korvata staattiset testit elävillä ympäristöillä, jotka sopeutuvat, kun agentti oppii.

Miten näet generatiiviset simulaattorit muuttavan AI-agenttien koulutusta ja arviointia verrattuna staattisiin benchmarkkeihin tai kiinteisiin tietoihin?

Muutos on, että benchmarkit lopettavat olemasta testeja ja alkavat olla ympäristöjä. Sen sijaan, että esitetään kiinteä joukko kysymyksiä, simulaattori luo tehtävän, ympäristön ja arviointilogiikan lennossa. Kun agentti toimii ja paranee, ympäristö sopeutuu. Se romahduttaa perinteisen rajan koulutuksen ja arvioinnin välillä. Et enää kysy, onko agentti läpäissyt benchmarkin, vaan voivatko ne toimia luotettavasti ympäristössä, joka on dynaaminen.

Miten teknisesti generatiiviset simulaattorit eroavat perinteisistä lähestymistavoista, erityisesti tehtävien luomisessa, ympäristödynamiikassa ja palkkiorakenteissa?

Yleisellä tasolla generatiiviset simulaattorit yhdistävät vahvistusoppimisen ja sopeutuvan ympäristön luomisen. Simulaattori voi luoda uusia tehtäviä, päivittää maailman sääntöjä dynaamisesti ja arvioida agentin toimintaa reaaliajassa. Avainkomponentti on niin sanottu kurssin säätäjä, joka analysoi agentin käyttäytymistä ja muuttaa tehtävien vaikeustasoa ja rakennetta, jotta oppiminen pysyy tuottavana. Palkkiorakenteet on suunniteltu oikein ja verifioiduksi, jotta agenteja ohjataan oikeaan käyttäytymiseen eikä pinta-alaiseen lyhytaikaiseen ratkaisuun.

Miten Patronusin lähestymistapa eroaa muista AI-arviointi- ja agenttityökalujen tarjoajista?

Fokuksena on ekologinen validiteetti. Suunnittelemme ympäristöjä, jotka heijastelevat todellisia ihmisten työprosesseja, mukaan lukien keskeytykset, kontekstin vaihdokset, työkalujen käytön ja monivaiheisen päättelyn. Sen sijaan, että optimoitsemme agenteja näyttämään hyvältä ennalta määritetyissä testeissä, keskitymme paljastamaan sellaiset epäonnistumiset, jotka ovat tärkeitä tuotannossa. Simulaattori arvioi käyttäytymistä ajan myötä, ei vain erillisiä tulostuksia.

Mitä tehtäviä tai virhetilanteita hyödyttävät eniten simulaattoripohjaisesta arvioinnista verrattuna perinteiseen testaukseen?

Pitkien aikahorisonttien ja monivaiheisten tehtävien hyödyntäminen on suurinta. Vaikka pienet virheriskit askel kohden voivat kasaantua suuriksi virheriskeiksi monimutkaisissa tehtävissä, joita staattiset benchmarkit eivät pysty havaitsemaan. Simulaattoripohjainen arviointi mahdollistaa virheiden paljastamisen, jotka liittyvät pysymiseen kurssilla ajan myötä, keskeytysten käsittelyyn, työkalujen käyttöön ja sopeutumiseen, kun olosuhteet muuttuvat tehtävän aikana.

Miten ympäristöperusteinen oppiminen muuttaa ajattelutapaa AI-turvallisuudesta, ja tuovatko generatiiviset simulaattorit uusia riskejä, kuten palkkion hakkerointi tai emergentit virhetilanteet?

Ympäristöperusteinen oppiminen tekee useista turvallisuusongelmista helpommin havaittaviksi. Palkkion hakkerointi menestyy staattisissa ympäristöissä, joissa agenteja voidaan hyödyntää kiinteistä reikiä. Generatiivisissa simulaattoreissa ympäristö on liikkuva kohde, mikä tekee noista lyhytaikaisista ratkaisuista vaikeamman ylläpitämisen. Sanottakoon, että huolellinen suunnittelu on edelleen vaadittua palkkioista ja valvonnasta. Ympäristön etu on, että ne antavat paljon enemmän valvontaa ja näkyvyyttä agentin käyttäytymiseen kuin staattiset benchmarkit koskaan voivat.

Näkymässä viisi vuotta eteenpäin, missä näet Patronus AI:n sekä teknisen urheilun että alan vaikutuksen kannalta?

Uskomme, että ympäristöt tulevat olemaan perusrakenteita AI:lle. Kun agenteista tulee vastuussa tehtävistä, ympäristöt, joissa ne oppivat, muokkaavat, miten kykeneviä ja luotettavia ne tulevat olemaan. Pitkän aikavälin tavoitteemme on muuttaa todelliset työprosessit rakenteellisiksi ympäristöiksi, joista agenteja voidaan jatkuvasti oppia. Perinteinen ero arvioinnin ja koulutuksen välillä on romahtamassa, ja uskomme, että tämä muutos määrittelee seuraavan aallon AI-järjestelmiä.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla Patronus AI:ssa.