Anand Kannappan, Patronus AI:n toimitusjohtaja ja perustaja – Haastattelu

Anand Kannappan on Patronus AI:n perustaja ja toimitusjohtaja, Patronus AI, joka on teollisuuden ensimmäinen automaattinen AI-arviointi- ja turvallisuuspalvelu, joka auttaa yrityksiä havaitsemaan LLM-virheitä laajassa mittakaavassa. Aikaisemmin Anand johti Meta Reality Labsin ML-selitysmallien ja edistyneiden kokeilujen pyrkimyksiä.

Mikä aluksi veti sinut tietokoneiden maailmaan?

Kasvamassa, olin aina kiinnostunut teknologiasta ja siitä, miten sitä voidaan käyttää ratkaisemaan todellisia maailman ongelmia. Ajatus siitä, että voisin luoda jotain alusta lähtien vain tietokoneen ja koodin avulla, oli minulle viehättävää. Kun tutustin tietokoneiden maailmaan, tajusin, kuinka suuren potentiaalin se tarjoaa innovaatiolle ja muutokselle eri aloilla. Tämä innovaation ja eroon tekemisen halu oli se, mikä aluksi veti minut tietokoneiden maailmaan.

Voitko kertoa Patronus AI:n syntytarinaa?

Patronus AI:n syntytarina on varsin mielenkiintoinen matka. Kun OpenAI julkaisi ChatGPT:n, se nousi nopeimmin kasvavaksi kuluttajatuotteeksi, keräten yli 100 miljoonaa käyttäjää vain kahdessa kuukaudessa. Tämä massiivinen omaksuminen korosti generatiivisen AI:n potentiaalia, mutta se myös toi esiin yritysten epäröinnin käyttää AI:ta nopealla tahdilla. Monet yritykset olivat huolissaan LLM:ien (suurten kielen mallien) mahdollisista virheistä ja ennalta arvaamattomasta käyttäytymisestä.

Rebecca ja minä olemme tunteneet toisiamme vuosia, ollessamme opiskelleet tietokoneiden tieteen yhdessä Chicagon yliopistossa. Metassa meillä molemmilla oli haasteita arvioida ja tulkita koneoppimisen tuloksia – Rebecca tutkimuksen näkökulmasta ja minä soveltamisen näkökulmasta. Kun ChatGPT ilmoitettiin, me molemmat näimme LLM:ien muodonmuuttuvan potentiaalin, mutta ymmärsimme myös yritysten varovaisuuden.

Äänestyskynnys saavutettiin, kun veljeni Piper Sandler päätti kieltää OpenAI:n pääsyn sisäisesti. Tämä sai meidät tajamaan, että vaikka AI on edennyt merkittävästi, on edelleen aukko yritysten omaksumisessa LLM:ien turvallisuuden ja luotettavuuden vuoksi. Perustimme Patronus AI:n tämän aukon täyttämiseksi ja lisäämään yritysten luottamusta generatiiviseen AI:hin tarjoamalla arviointi- ja turvallisuuskerroksen LLM:ille.

Voitko kuvata Patronus AI:n alustan ydinominaisuuksia LLM:ien arvioinnissa ja turvallisuudessa?

Meidän tehtävämme on lisätä yritysten luottamusta generatiiviseen AI:hin. Olemme kehittäneet teollisuuden ensimmäisen automaattisen arviointi- ja turvallisuusalustan nimenomaan LLM:ille. Alustamme auttaa yrityksiä havaitsemaan virheitä LLM-tulosteissa laajassa mittakaavassa, mahdollistaen heidän turvallisen ja luotettavan AI-tuotteiden käyttöönoton.

Alustamme automatisoi useita avainprosesseja:

• Arviointi: Arvioimme mallin suorituskykyä todellisissa skenaarioissa, keskittyen tärkeisiin kriteereihin, kuten hallusinaatioihin ja turvallisuuteen.
• Testien luominen: Automaattisesti luomme vastustuskykyisiä testisarjoja laajassa mittakaavassa arvioidaksemme mallin kykyjä.
• Vertailu: Vertaamme eri malleja, jotta asiakkaat voivat tunnistaa parhaan sopimuksen omiin käyttötarkoituksiinsa.

Yritykset suosivat usein arviointeja sopeutuakseen kehittyviin malleihin, tietoihin ja käyttäjien tarpeisiin. Alustamme toimii luotettavana kolmannen osapuolen arvioijana, tarjoten puolueettoman näkökulman, joka on verrattavissa Moody’siin AI-tilassa. Alkuvuodesta yhteistyökumppaneihimme kuuluvat johtavat AI-yritykset, kuten MongoDB, Databricks, Cohere ja Nomic AI, ja olemme neuvotteluissa useiden perinteisten alojen tunnettujen yritysten kanssa kokeilemaan alustaa.

Mitä virheitä tai “hallusinaatioita” Patronus AI:n Lynx-malli havaitsee LLM-tulosteissa, ja miten se ratkaisee nämä ongelmat yrityksille?

LLM:t ovat todella voimakkaita työkaluja, mutta niiden todennäköisyysluonne tekee niistä alttiita “hallusinaatioille” eli virheille, joissa malli luo epätarkkaa tai irrelevanttia tietoa. Nämä hallusinaatiot ovat ongelmallisia, erityisesti korkean panoksen liiketoimintaympäristöissä, joissa tarkkuus on kriittinen.

Perinteisesti yritykset ovat luottaneet manuaaliseen tarkastukseen LLM-tulosteiden arvioinnissa, prosessi, joka on sekä aikaa vievä että mittakaavaongelmainen. Tätä varten Patronus AI kehitti Lynx-mallin, joka parantaa alustamme kykyä automatisoimalla hallusinaatioiden havaitsemisen. Lynx, joka on integroitu alustaan, tarjoaa kattavan testikattavuuden ja vakuuttavat suorituskykytakuit, keskittyen kriittisten virheiden tunnistamiseen, jotka voivat vaikuttaa merkittävästi liiketoiminnan toimintaan, kuten virheellisiin taloudellisiin laskelmiin tai virheisiin oikeudellisten asiakirjojen tarkastuksessa.

Lynxin avulla meidän on mahdollista lieventää manuaalisen arvioinnin rajoituksia automaattisella vastustuskykyisellä testauksella, tutkimalla laajaa spektriä mahdollisia epäonnistumisskenaarioita. Tämä mahdollistaa ongelmien havaitsemisen, jotka saattavat jääda ihmisten arvioijien huomaamatta, tarjoten yrityksille lisäätyä luotettavuutta ja luottamusta LLM:ien käyttöön kriittisissä sovelluksissa.

FinanceBench on kuvattu teollisuuden ensimmäiseksi LLM-suorituskyvyn arviointitulokseksi rahoituskysymyksissä. Mitkä rahoitusalalla olleet haasteet johtivat FinanceBenchin kehittämiseen?

FinanceBench kehitettiin rahoitusalalla koettujen haasteiden vuoksi LLM:ien omaksumisessa. Rahoitussovellukset vaativat korkeaa tarkkuutta ja luotettavuutta, koska virheet voivat johtaa merkittäviin taloudellisiin tappioihin tai sääntelyongelmiin. Vaikka LLM:t lupaavat suuren potentiaalin suurten määrien rahoitustiedon käsittelyssä, tutkimuksemme osoitti, että valmiit mallit kuten GPT-4 ja Llama 2 kärsivät rahoituskysymyksistä, usein epäonnistuen hakemaan tarkkaa tietoa.

FinanceBench luotiin kattavaksi benchmarkiksi LLM-suorituskyvyn arvioimiseksi rahoituskonteksteissa. Se sisältää 10 000 kysymys- ja vastausparia, jotka perustuvat julkisesti saatavilla oleviin rahoituskirjallisuuteen, kattaen alueita kuten numeerinen päättely, tietojen hakeminen, looginen päättely ja maailman tietäminen. Tarjoamalla tämän benchmarkin, tavoitteenamme on auttaa yrityksiä ymmärtämään nykyisten mallien rajoituksia ja tunnistamaan parantamisen kohteita.

Alkuvaiheen analyysi paljasti, että monet LLM:t eivät täytä rahoitussovellusten korkeita vaatimuksia, korostaen tarvetta edelleen kehittämiseen ja kohdennettuun arviointiin. FinanceBenchin avulla tarjoamme arvokkaan työkalun yrityksille arvioida ja parantaa LLM:ien suorituskykyä rahoitusalalla.

Mitä pitkän aikavälin seurauksia uskot Patronus AI:n tutkimuksen osoittaneen johtavan AI-kehitykseen ja laajemmin teknologia-alalle, erityisesti AI:n ja tekijänoikeuslain ympärillä käydään keskustelua?

AI-mallien tuottamat tekijänoikeudellisesti suojatut sisällöt ovat monimutkainen ja ajankohtainen huolenaihe AI-teollisuudessa. Tutkimuksemme osoitti, että mallit kuten GPT-4 tuottivat tekijänoikeudellisesti suojattua materiaalia merkittävillä tasolla, kun niille annettiin suosituksia suosittujen kirjojen katkelmista. Tämä herättää tärkeitä kysymyksiä immateriaalioikeuksista ja AI-sisällön oikeudellisista seurauksista.

Pitkällä aikavälillä nämä löydökset korostavat selkeiden ohjeiden ja sääntelyjen tarvetta AI:n ja tekijänoikeuksien ympärillä. Teollisuuden on työstettävä AI-malleja, jotka kunnioittavat immateriaalioikeuksia samalla säilyttäen luovia kykyjään. Tämä voi vaatia tarkkaa koulutusaineistojen valintaa, jotta ne sisältävät tekijänoikeudellisesti suojattua materiaalia vain asianmukaisilla lisensseillä.

Laajemmin teknologia-alalla on tarve jatkuvaan keskusteluun oikeudellisten asiantuntijoiden, viranomaisten ja sidosryhmien kanssa luodakseen kehyksen, joka tasapainottaa innovaation ja olemassa olevien lakien kunnioittamisen. Kun AI jatkaa kehittymistään, on tärkeää osoittaa, että nämä haasteet hoidetaan proaktiivisesti varmistaen vastuullisen ja eettisen AI-kehityksen.

Annetaan, että valtioiden LLM:t toistavat tekijänoikeudellisesti suojattua sisältöä hälyttävällä tahdilla, kuten tutkimuksesi osoittaa, mitä toimia AI-kehittäjien ja teollisuuden on otettava näiden huolenaiheiden ratkaisemiseksi? Lisäksi, miten Patronus AI aikoo osallistua vastuullisten ja laillisten AI-mallien luomiseen näiden löydösten valossa?

Tekijänoikeudellisesti suojattujen sisältöjen ongelman ratkaiseminen vaatii monipuolisen lähestymistavan. AI-kehittäjien ja teollisuuden on priorisoitava avoimuutta ja vastuullisuutta AI-mallien kehityksessä. Tämä sisältää:

• Parannettu datan valinta: Varmistamalla, että koulutusaineistot on huolellisesti valittu välttämään tekijänoikeudellisesti suojattua materiaalia, ellei sitä ole asianmukaisesti lisensoitu.
• Havaintomekanismien kehittäminen: Kehittämällä järjestelmiä, jotka voivat tunnistaa, kun AI-malli tuottaa mahdollisesti tekijänoikeudellisesti suojattua sisältöä, ja tarjoamalla käyttäjille vaihtoehtoja muuttaa tai poistaa tällainen sisältö.
• Teollisuuden standardien perustaminen: Yhteistyössä oikeudellisten asiantuntijoiden ja teollisuuden sidosryhmien kanssa luodakseen ohjeita ja standardeja AI-kehitykselle, jotka kunnioittavat immateriaalioikeuksia.

Patronus AI:ssa olemme sitoutuneita osallistumaan vastuulliseen AI-kehitykseen keskittyymällä arviointiin ja yhdenmukaisuuteen. Alustamme sisältää tuotteita kuten EnterprisePII, jotka auttavat yrityksiä tunnistamaan ja hallitsemaan potentiaalisia yksityisyyden ongelmia AI-tulosteissa. Tarjoamalla nämä ratkaisut, tavoitteenamme on antaa yrityksille mahdollisuus käyttää AI:ta vastuullisesti ja eettisesti vähentäen oikeudellisia riskejä.

Työkalujen, kuten EnterprisePII ja FinanceBench, avulla, mitä muutoksia odotat siinä, miten yritykset käyttävät AI:ta, erityisesti herkillä aloilla kuten rahoituksessa ja henkilökohtaisissa tiedoissa?

Nämä työkalut antavat yrityksille mahdollisuuden arvioida ja hallita AI-tulosteita tehokkaammin, erityisesti herkillä aloilla kuten rahoituksessa ja henkilökohtaisissa tiedoissa.

Rahoitusalalla FinanceBench mahdollistaa yrityksille arvioida LLM-suorituskykyä korkealla tarkkuudella, varmistaen, että mallit täyttävät rahoitussovellusten tiukat vaatimukset. Tämä antaa yrityksille mahdollisuuden hyödyntää AI:ta tehtävissä kuten data-analyysissä ja päätöksenteossa suuremmalla luottamuksella ja luotettavuudella.

Vastaavasti työkalut kuten EnterprisePII auttavat yrityksiä navigoimaan data-yksityisyyden monimutkaisuuksissa. Tarjoamalla näkemyksiä potentiaalisista riskeistä ja ratkaisuja niiden lieventämiseksi, nämä työkalut mahdollistavat yrityksille turvallisemman ja vastuullisemman AI:n käytön.

Kokonaisuutena nämä työkalut ovat avaamassa tien tietoisemmalle ja strategisemmalle lähestymistavalle AI:n omaksumisessa, auttaen yrityksiä hyödyntämään AI:n hyödyt minimoiden samalla liittyvät riskit.

Miten Patronus AI työskentelee yritysten kanssa integroidakseen nämä työkalut olemassa oleviin LLM-käyttöönottoihin ja työnkulkuihin?

Patronus AI:ssa ymmärrämme integraation merkityksen AI:n omaksumisessa. Työskentelemme läheisesti asiakkaiden kanssa varmistaaksemme, että työkalumme voidaan helposti integroida olemassa oleviin LLM-käyttöönottoihin ja työnkulkuihin. Tämä sisältää:

• Mukautetut integraatiosuunnitelmat: Yhteistyössä jokaisen asiakkaan kanssa kehitämme räätälöityjä integraatiosuunnitelmia, jotka ovat linjassa heidän tarkoituksiinsa ja tavoitteisiinsa.
• Kattava tuki: Tiimimme tarjoaa jatkuvaa tukea koko integraatioprosessin ajan, tarjoten ohjausta ja apua varmistaaksemme sulavan siirtymisen.
• Koulutus ja koulutus: Tarjoamme koulutussessioita ja koulutusresursseja, jotta asiakkaat voivat täysin ymmärtää ja hyödyntää työkalujamme, antaen heille mahdollisuuden saada enemmän irti AI-sijoituksistaan.

Miten Patronus AI suhtautuu yritysten pyynnöksiin ja miten se varmistaa, että asiakkaat saavat parhaan mahdollisen tuen?

Priorisoimalla yhteistyön ja tuen, tavoitteenamme on tehdä integraatioprosessista mahdollisimman suoraviivaisesta ja tehokkaasta, mahdollistaen yrityksille pääsyn alustamme täydelliseen potentiaaliin.

Mitä neuvoja antaisit sekä LLM-kehittäjille että yrityksille, jotka aikovat käyttää niitä, ottaen huomioon AI-tulosteiden turvallisuuden, tarkkuuden ja lakienmukaisuuden monimutkaisuudet?

AI-tulosteiden turvallisuuden, tarkkuuden ja lakienmukaisuuden monimutkaisuudet esittävät merkittäviä haasteita. LLM-kehittäjille on tärkeää priorisoida avoimuus ja vastuullisuus kehitysprosessissa.

Yksi perustava asia on datan laatu. Kehittäjien on varmistettava, että koulutusaineistot on hyvin valittu ja vapaata tekijänoikeudellisesti suojattua materiaalia, ellei sitä ole asianmukaisesti lisensoitu. Tämä auttaa estämään potentiaalisia oikeudellisia ongelmia ja varmistaa, että AI tuottaa luotettavia tuloksia. Lisäksi on tärkeää osoittaa huomiota bias ja reiluuteen. Aktiivisesti työskentelemällä tunnistamaan ja lieventämään bias ja kehittämällä monipuolisia ja edustavia koulutusaineistoja, kehittäjät voivat vähentää bias ja varmistaa reilut tulokset kaikille käyttäjille.

Robustit arviointimenetelmät ovat olennaisia. Toteuttamalla tiukat testit ja hyödyntämällä benchmark-ohjelmia kuten FinanceBench voidaan arvioida AI-mallien suorituskykyä ja luotettavuutta, varmistaen, että ne täyttävät tiettyjen sovellusten vaatimukset. Lisäksi eettiset huomioonotot on asetettava etusijalle. Osallistumalla eettisiin ohjeisiin ja kehyksiin varmistetaan, että AI-järjestelmiä kehitetään vastuullisesti ja niistä pidetään huolta yhteiskunnan arvoja.

Yrityksille on tärkeää ymmärtää AI:n kykyjä. On tärkeää asettaa realistisia odotuksia ja varmistaa, että AI käytetään tehokkaasti organisaatiossa. Sulava integraatio ja tuki ovat myös olennaisia. Työskentelemällä luotettavien kumppanien kanssa yritykset voivat integroida AI-ratkaisuja olemassa oleviin työnkulkuihin ja varmistaa, että tiimit on koulutettu ja tuettu hyödyntämään AI:ta tehokkaasti.

Lakienmukaisuus ja turvallisuus on priorisoitava, keskittyen sääntelyyn ja tietosuojalakeihin. Työkalut kuten EnterprisePII voivat auttaa seuraamaan ja hallitsemaan potentiaalisia riskejä. Jatkuva seuranta ja säännöllinen arviointi AI-suorituskyvystä on myös välttämätöntä ylläpitämään tarkkuutta ja luotettavuutta, mahdollistaen sopeutumisen tarpeen mukaan.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, kannattaa vierailla Patronus AI:ssa.