Anand Kannappan, CEO & Co-fondator al Patronus AI – Seria de interviuri

Anand Kannappan este co-fondator și CEO al Patronus AI, prima platformă automată de evaluare și securitate a inteligenței artificiale pentru a ajuta întreprinderile să detecteze greșelile modelelor de limbaj la scară largă.. Anterior, Anand a condus eforturile de explicare a inteligenței artificiale și experimentarea avansată la Meta Reality Labs.

Ce v-a atras inițial către știința calculatoarelor?

Crescând, am fost întotdeauna fascinat de tehnologie și de modul în care putea fi utilizată pentru a rezolva probleme din lumea reală. Ideea de a putea crea ceva de la zero, utilizând doar un calculator și cod, m-a intrigat. Pe măsură ce am explorat mai profund știința calculatoarelor, am realizat potențialul imens pe care îl are pentru inovare și transformare în diverse industrii. Această dorință de a inova și de a face o diferență este ceea ce m-a atras inițial către știința calculatoarelor.

Puteți împărtăși povestea de fond a Patronus AI?

Geneza Patronus AI este o călătorie interesantă. Când OpenAI a lansat ChatGPT, a devenit cel mai rapid produs de consum, strângând peste 100 de milioane de utilizatori în doar două luni. Acestă adoptare masivă a subliniat potențialul inteligenței artificiale generative, dar a adus și la lumină ezitarea întreprinderilor de a dezvolta inteligența artificială la un ritm atât de rapid. Multe afaceri erau preocupate de posibilele greșeli și de comportamentul imprevizibil al modelelor de limbaj de mare scară (LLM).

Rebecca și eu ne cunoaștem de ani de zile, având studiat împreună știința calculatoarelor la Universitatea din Chicago. La Meta, ambele am întâmpinat provocări în evaluarea și interpretarea ieșirilor inteligenței artificiale—Rebecca dintr-o perspectivă de cercetare și eu dintr-o perspectivă aplicată. Când a fost anunțat ChatGPT, ambele am văzut potențialul transformator al LLM, dar am înțeles și prudența pe care întreprinderile o exercitau.

Punctul de cotitură a venit când banca de investiții a fratelui meu, Piper Sandler, a decis să interzică accesul la OpenAI în interior. Acest lucru ne-a făcut să realizăm că, deși inteligența artificială a evoluat semnificativ, exista încă o lacună în adoptarea întreprinderilor din cauza preocupărilor legate de fiabilitate și securitate. Am fondat Patronus AI pentru a aborda această lacună și pentru a spori încrederea întreprinderilor în inteligența artificială generativă, oferind un strat de evaluare și securitate pentru LLM.

Puteți descrie funcționalitatea de bază a platformei Patronus AI pentru evaluarea și securizarea LLM?

Misiunea noastră este de a îmbunătăți încrederea întreprinderilor în inteligența artificială generativă. Am dezvoltat prima platformă automată de evaluare și securitate din industrie, special concepută pentru LLM. Platforma noastră ajută afacerile să detecteze greșelile în ieșirile LLM la scară largă, permițându-le să implementeze produse de inteligență artificială în siguranță și cu încredere.

Platforma noastră automatizează mai multe procese cheie:

• Scorare: Evaluăm performanța modelului în scenarii din lumea reală, concentrându-ne pe criterii importante, cum ar fi halucinații și siguranță.
• Generare de teste: Generăm automat seturi de teste adverse la scară pentru a evalua riguros capacitățile modelului.
• Benchmarking: Comparam diferite modele pentru a ajuta clienții să identifice cel mai bun potrivit pentru cazurile lor de utilizare specifice.

Întreprinderile preferă evaluări frecvente pentru a se adapta la modele, date și nevoi de utilizator în evoluție. Platforma noastră acționează ca un evaluator de încredere, oferind o perspectivă imparțială, similară cu Moody’s în spațiul inteligenței artificiale. Partenerii noștri inițiali includ companii de top din domeniul inteligenței artificiale, cum ar fi MongoDB (MDB ), Databricks, Cohere și Nomic AI, și suntem în discuții cu mai multe companii de top din industrii tradiționale pentru a pilota platforma noastră.

Ce tipuri de greșeli sau “halucinații” detectează modelul Lynx al Patronus AI în ieșirile LLM și cum abordează aceste probleme pentru afaceri?

Modelele de limbaj de mare scară sunt, într-adevăr, unelte puternice, dar natura lor probabilistică le face predispuse la “halucinații”, sau erori în care modelul generează informații inexacte sau irelevante. Aceste halucinații sunt problematice, în special în medii de afaceri de înaltă tehnologie, unde acuratețea este critică.

În mod tradițional, afacerile s-au bazat pe inspecția manuală pentru a evalua ieșirile LLM, un proces care nu numai că este consumator de timp, dar și nelimitat. Pentru a simplifica acest proces, Patronus AI a dezvoltat Lynx, un model specializat care îmbunătățește capacitatea platformei noastre prin automatizarea detectării halucinațiilor. Lynx, integrat în platforma noastră, oferă acoperire de test cuprinzătoare și garanții robuste de performanță, concentrându-se pe identificarea erorilor critice care ar putea afecta semnificativ operațiunile de afaceri, cum ar fi calcule financiare incorecte sau erori în revizuirile documentelor legale.

Cu Lynx, mitigăm limitările evaluării manuale prin testarea adversă automată, explorând un spectru larg de scenarii de eșec posibile. Acest lucru ne permite detectarea problemelor care ar putea evita evaluatorii umani, oferind afacerilor o fiabilitate și o încredere sporite pentru a implementa LLM în aplicații critice.

FinanceBench este descris ca primul benchmark pentru evaluarea performanței LLM la întrebări financiare. Care au fost provocările din sectorul financiar care au determinat dezvoltarea FinanceBench?

FinanceBench a fost dezvoltat ca răspuns la provocările unice cu care se confruntă sectorul financiar în adoptarea LLM. Aplicațiile financiare necesită un nivel ridicat de acuratețe și fiabilitate, deoarece erorile pot duce la pierderi financiare semnificative sau la probleme de reglementare. În ciuda promisiunii LLM de a gestiona volume mari de date financiare, cercetarea noastră a arătat că modelele de top, cum ar fi GPT-4 și Llama 2, au luptat cu întrebări financiare, adesea eșuând să retrieveze informații precise.

FinanceBench a fost creat ca un benchmark cuprinzător pentru a evalua performanța LLM în contexte financiare. Include 10.000 de perechi de întrebări și răspunsuri bazate pe documente financiare disponibile public, acoperind domenii cum ar fi raționamentul numeric, recuperarea informațiilor, raționamentul logic și cunoașterea lumii. Prin furnizarea acestui benchmark, ne propunem să ajutăm întreprinderile să înțeleagă mai bine limitările modelelor actuale și să identifice domenii de îmbunătățire.

Analiza noastră inițială a arătat că multe LLM nu îndeplinesc standardele ridicate necesare pentru aplicații financiare, subliniind nevoia de îmbunătățire și evaluare țintită. Cu FinanceBench, oferim un instrument valoros pentru întreprinderi să evalueze și să îmbunătățească performanța LLM în sectorul financiar.

Cercetarea dvs. a evidențiat faptul că modelele de top de inteligență artificială, în special GPT-4, au generat conținut protejat de drepturi de autor la rate semnificative atunci când au fost promptate cu extrase din cărți populare. Ce implicații pe termen lung considerați că au aceste constatări pentru dezvoltarea inteligenței artificiale și pentru industria tehnologiei mai largă, în special având în vedere dezbaterile în curs despre inteligența artificială și drepturile de autor?

Problema modelelor de inteligență artificială care generează conținut protejat de drepturi de autor este o preocupare complexă și presantă în industria inteligenței artificiale. Cercetarea noastră a arătat că modele precum GPT-4, atunci când au fost promptate cu extrase din cărți populare, au reproducerea adesea material protejat de drepturi de autor. Acest lucru ridică întrebări importante despre drepturile de proprietate intelectuală și implicațiile legale ale utilizării conținutului generat de inteligența artificială.

Pe termen lung, aceste constatări subliniază nevoia unor îndrumări și reglementări mai clare cu privire la inteligența artificială și drepturile de autor. Industria trebuie să lucreze pentru a dezvolta modele de inteligență artificială care să respecte drepturile de proprietate intelectuală, menținând în același timp capacitățile lor creative. Acest lucru ar putea implica rafinarea seturilor de date de antrenament pentru a exclude materialul protejat de drepturi de autor sau implementarea mecanismelor care detectează și previn reproducerea conținutului protejat.

Industria tehnologiei mai largă trebuie să se implice în discuții continue cu experți în drept, factori de decizie politică și părți interesate pentru a stabili un cadru care echilibrează inovarea cu respectarea legilor existente. Pe măsură ce inteligența artificială continuă să evolueze, este crucial să abordăm aceste provocări proactiv pentru a asigura dezvoltarea responsabilă și etică a inteligenței artificiale.

Având în vedere rata alarmantă la care modelele de top de inteligență artificială reproduc conținut protejat de drepturi de autor, așa cum a demonstrat studiul dvs., ce pași considerați că trebuie să ia dezvoltatorii de inteligență artificială și industria în ansamblu pentru a aborda aceste preocupări? De asemenea, cum intenționează Patronus AI să contribuie la crearea unor modele de inteligență artificială mai responsabile și conforme cu legile, în lumina acestor constatări?

Abordarea problemei modelelor de inteligență artificială care reproduc conținut protejat de drepturi de autor necesită o abordare multifacetată. Dezvoltatorii de inteligență artificială și industria în ansamblu trebuie să prioritizeze transparența și răspunderea în dezvoltarea modelelor de inteligență artificială. Acest lucru implică:

• Îmbunătățirea selecției datelor: Asigurarea că seturile de date de antrenament sunt selectate cu atenție pentru a evita materialul protejat de drepturi de autor, cu excepția cazului în care se obțin licențe adecvate.
• Dezvoltarea mecanismelor de detectare: Implementarea sistemelor care pot identifica atunci când un model de inteligență artificială generează conținut posibil protejat de drepturi de autor și oferirea utilizatorilor a opțiunilor de a modifica sau elimina un astfel de conținut.
• Stabilirea standardelor industriale: Colaborarea cu experți în drept și factori de decizie din industrie pentru a crea îndrumări și standarde pentru dezvoltarea inteligenței artificiale care respectă drepturile de proprietate intelectuală.

La Patronus AI, suntem dedicați să contribuim la dezvoltarea responsabilă a inteligenței artificiale, concentrându-ne pe evaluare și conformitate. Platforma noastră include produse precum EnterprisePII, care ajută afacerile să detecteze și să gestioneze potențialele probleme de confidențialitate a datelor. Prin furnizarea acestor soluții, ne propunem să împuternicim afacerile să utilizeze inteligența artificială în mod responsabil și etic, minimizând riscurile legale.

Cu instrumente precum EnterprisePII și FinanceBench, ce schimbări anticipați în ceea ce privește modul în care întreprinderile implementează inteligența artificială, în special în domenii sensibile precum finanțele și datele personale?

Aceste instrumente oferă afacerilor capacitatea de a evalua și gestiona ieșirile inteligenței artificiale mai eficient, în special în domenii sensibile, cum ar fi finanțele și datele personale.

În sectorul financiar, FinanceBench permite întreprinderilor să evalueze performanța LLM cu un nivel ridicat de precizie, asigurând că modelele îndeplinesc cerințele stricte ale aplicațiilor financiare. Acest lucru împuternicește afacerile să utilizeze inteligența artificială pentru sarcini precum analiza datelor și luarea deciziilor cu mai multă încredere și fiabilitate.

Instrumente precum EnterprisePII ajută afacerile să navigheze complexitățile confidențialității datelor. Prin furnizarea de informații despre riscuri potențiale și oferirea de soluții pentru a le mitigă, aceste instrumente permit întreprinderilor să implementeze inteligența artificială în mod mai sigur și responsabil.

În general, aceste instrumente deschid calea către o abordare mai informată și strategică a adoptării inteligenței artificiale, ajutând afacerile să valorifice beneficiile inteligenței artificiale, minimizând în același timp riscurile asociate.

Cum lucrează Patronus AI cu companiile pentru a integra aceste instrumente în implementările și fluxurile de lucru existente ale LLM?

La Patronus AI, înțelegem importanța integrării fără probleme atunci când vine vorba de adoptarea inteligenței artificiale. Lucrăm îndeaproape cu clienții noștri pentru a ne asigura că instrumentele noastre sunt integrate cu ușurință în implementările și fluxurile de lucru existente ale LLM. Acest lucru include furnizarea clienților noștri cu:

• Planuri de integrare personalizate: Colaborăm cu fiecare client pentru a dezvolta planuri de integrare personalizate care se aliniază cu obiectivele și nevoile lor specifice.
• Suport cuprinzător: Echipa noastră oferă suport continuu pe parcursul procesului de integrare, oferind îndrumare și asistență pentru a asigura o tranziție lină.
• Formare și educație: Oferim sesiuni de formare și resurse educaționale pentru a ajuta clienții să înțeleagă și să utilizeze pe deplin instrumentele noastre, împuternicindu-i să valorifice la maximum investițiile în inteligența artificială.

Având în vedere complexitățile asigurării că ieșirile inteligenței artificiale sunt securizate, precise și conforme cu diverse legi, ce sfaturi ați oferi atât dezvoltatorilor de LLM, cât și companiilor care doresc să le utilizeze?

Prin prioritizarea colaborării și a suportului, ne propunem să facem procesul de integrare cât mai simplu și eficient posibil, permițând afacerilor să valorifice pe deplin soluțiile noastre de inteligență artificială.

Complexitățile asigurării că ieșirile inteligenței artificiale sunt securizate, precise și conforme cu diverse legi prezintă provocări semnificative. Pentru dezvoltatorii de modele de limbaj de mare scară, cheia constă în a prioritiza transparența și răspunderea pe parcursul întregului proces de dezvoltare.

Unul dintre aspectele fundamentale este calitatea datelor. Dezvoltatorii trebuie să se asigure că seturile de date de antrenament sunt bine selectate și lipsite de material protejat de drepturi de autor, cu excepția cazului în care se obțin licențe adecvate. Acest lucru nu numai că previne potențialele probleme legale, dar asigură și că inteligența artificială generează ieșiri fiabile. De asemenea, abordarea prejudecăților și a echității este crucială. Prin identificarea și mitigarea prejudecăților, precum și prin dezvoltarea de seturi de date de antrenament diverse și reprezentative, dezvoltatorii pot reduce prejudecățile și asigura rezultate echitabile pentru toți utilizatorii.

Procedurile robuste de evaluare sunt esențiale. Implementarea testării riguroase și utilizarea benchmark-urilor precum FinanceBench poate ajuta la evaluarea performanței și a fiabilității modelelor de inteligență artificială, asigurând că acestea îndeplinesc cerințele cazurilor de utilizare specifice. De asemenea, considerațiile etice ar trebui să fie în prim-plan. Implicarea în cadrul etic și în dezvoltarea de cadre etice asigură că sistemele de inteligență artificială sunt dezvoltate în mod responsabil și se aliniază cu valorile societății.

Pentru companiile care doresc să utilizeze LLM, înțelegerea capacităților inteligenței artificiale este crucială. Este important să se stabilească așteptări realiste și să se asigure că inteligența artificială este utilizată eficient în cadrul organizației. Integrarea și suportul fără probleme sunt, de asemenea, vitale. Prin colaborarea cu parteneri de încredere, companiile pot integra soluții de inteligență artificială în fluxurile de lucru existente și pot asigura că echipele lor sunt instruite și sprijinite pentru a valorifica inteligența artificială în mod eficient.

Conformitatea și securitatea ar trebui să fie prioritizate, cu accent pe respectarea reglementărilor și a legilor de protecție a datelor. Instrumente precum EnterprisePII pot ajuta la monitorizarea și gestionarea riscurilor potențiale. Monitorizarea continuă și evaluarea regulată a performanței inteligenței artificiale sunt, de asemenea, necesare pentru a menține acuratețea și fiabilitatea, permițând ajustări după cum este necesar.

Mulțumim pentru acest interviu minunat, cititorilor care doresc să afle mai multe despre Patronus AI.