Anand Kannappan, CEO & Co-founder of Patronus AI – Wywiad

Anand Kannappan jest współzałożycielem i dyrektorem generalnym Patronus AI, pierwszej na świecie platformy automatycznej oceny i bezpieczeństwa AI, która pomaga przedsiębiorstwom wykrywać błędy w modelach językowych na dużą skalę. Wcześniej Anand kierował zespołem odpowiedzialnym za wyjaśnialność modeli machine learning i zaawansowane eksperymenty w Meta Reality Labs.

Czym było to, co pierwotnie przyciągnęło Cię do informatyki?

Wychowywałem się w środowisku, w którym zawsze fascynowała mnie technologia i sposób, w jaki mogła być wykorzystywana do rozwiązywania prawdziwych problemów. Idea tworzenia czegoś od podstaw za pomocą tylko komputera i kodu była dla mnie intruigująca. Im głębiej zagłębiałem się w informatykę, tym bardziej zdawałem sobie sprawę z ogromnego potencjału, jaki posiada dla innowacji i transformacji w różnych branżach. To właśnie ten pęd do innowacji i chęć robienia różnicy przyciągnął mnie do informatyki.

Czy mógłbyś opowiedzieć o historii powstania Patronus AI?

Historia powstania Patronus AI jest naprawdę interesująca. Kiedy OpenAI wydał ChatGPT, stał się on najszybciej rozwijającym się produktem konsumenckim, zdobywając ponad 100 milionów użytkowników w zaledwie dwa miesiące. To ogromne przyjęcie podkreśliło potencjał generatywnej sztucznej inteligencji, ale również ujawniło wahanie przedsiębiorstw wdrażających AI w tak szybkim tempie. Wiele firm była zaniepokojonych potencjalnymi błędami i nieprzewidywalnym zachowaniem się modeli językowych.

Rebecca i ja znaliśmy się od lat, studiując wspólnie informatykę na Uniwersytecie w Chicago. W Meta obydwoje mieliśmy do czynienia z wyzwaniami związanymi z oceną i interpretacją wyników modeli machine learning — Rebecca z punktu widzenia badań, a ja z punktu widzenia zastosowań praktycznych. Kiedy ChatGPT został ogłoszony, oboje zobaczyliśmy potencjał transformacyjny modeli językowych, ale również zrozumieliśmy ostrożność, którą przedsiębiorstwa zachowywały.

Punkt zwrotny nastąpił, kiedy bank inwestycyjny mojego brata, Piper Sandler, zdecydował się na wewnętrzny zakaz dostępu do OpenAI. To sprawiło, że zrozumieliśmy, iż chociaż AI znacznie się rozwinęła, nadal istniała luka w przyjęciu przez przedsiębiorstwa z powodu obaw o niezawodność i bezpieczeństwo. Założyliśmy Patronus AI, aby rozwiązać ten problem i zwiększyć zaufanie przedsiębiorstw do generatywnej sztucznej inteligencji, dostarczając warstwę oceny i bezpieczeństwa dla modeli językowych.

Czy mógłbyś opisać podstawową funkcjonalność platformy Patronus AI do oceny i zabezpieczania modeli językowych?

Naszą misją jest zwiększenie zaufania przedsiębiorstw do generatywnej sztucznej inteligencji. Rozwinęliśmy pierwszą na świecie platformę automatycznej oceny i bezpieczeństwa specjalnie dla modeli językowych. Nasza platforma pomaga firmom wykrywać błędy w danych wyjściowych modeli językowych na dużą skalę, umożliwiając im bezpieczne i pewne wdrożenie produktów AI.

Nasza platforma automatyzuje kilka kluczowych procesów:

• Ocena: Ocena wydajności modelu w scenariuszach rzeczywistych, koncentrując się na ważnych kryteriach, takich jak halucynacje i bezpieczeństwo.
• Generowanie testów: Automatyczne generowanie zestawów testowych w celu rygorystycznego ocenienia możliwości modelu.
• Porównywanie: Porównywanie różnych modeli, aby pomóc klientom znaleźć najlepsze rozwiązanie dla ich konkretnych przypadków użycia.

Przedsiębiorstwa preferują częste oceny, aby dostosować się do ewoluujących modeli, danych i potrzeb użytkowników. Nasza platforma działa jako zaufany, zewnętrzny oceniający, dostarczając obiektywny punkt widzenia, podobny do Moody’s w przestrzeni AI. Nasi wczesni partnerzy obejmują wiodące firmy AI, takie jak MongoDB (MDB ), Databricks, Cohere i Nomic AI, oraz prowadzimy rozmowy z kilkoma firmami z tradycyjnych branż, aby przetestować naszą platformę.

Jakie rodzaje błędów lub „halucynacji” wykrywa model Lynx Patronus AI w danych wyjściowych modeli językowych, i jak rozwiązuje te problemy dla firm?

Modele językowe są naprawdę potężnymi narzędziami, ale ich probabilistyczna natura sprawia, że są one podatne na „halucynacje”, czyli błędy, w których model generuje niedokładne lub nieistotne informacje. Te halucynacje są problematyczne, szczególnie w środowiskach biznesowych, gdzie dokładność jest kluczowa.

Tradycyjnie firmy polegały na inspekcji ręcznej, aby ocenić dane wyjściowe modeli językowych, proces, który jest nie tylko czasochłonny, ale również nie skalowalny. Aby uprościć to, Patronus AI opracował Lynx, specjalizowany model, który zwiększa możliwości naszej platformy, automatyzując wykrywanie halucynacji. Lynx, zintegrowany z naszą platformą, zapewnia kompleksowe pokrycie testowe i gwarancje wydajności, koncentrując się na identyfikowaniu krytycznych błędów, które mogą znacznie wpłynąć na operacje biznesowe, takie jak błędne obliczenia finansowe lub błędy w przeglądzie dokumentów prawnych.

Z Lynx ograniczamy ograniczenia oceny ręcznej za pomocą automatycznego testowania przeciwnego, badając szeroki zakres potencjalnych scenariuszy awaryjnych. To umożliwia wykrywanie problemów, które mogą umknąć oceniającym, oferując firmom zwiększoną niezawodność i zaufanie do wdrożenia modeli językowych w krytycznych aplikacjach.

FinanceBench jest opisywany jako pierwszy benchmark do oceny wydajności modeli językowych w kwestiach finansowych. Jakie wyzwania w sektorze finansowym skłoniły do rozwoju FinanceBench?

FinanceBench został opracowany w odpowiedzi na unikalne wyzwania, z którymi sektor finansowy spotyka się przy wdrażaniu modeli językowych. Aplikacje finansowe wymagają wysokiego stopnia dokładności i niezawodności, ponieważ błędy mogą prowadzić do znacznych strat finansowych lub problemów regulacyjnych. Pomimo obietnic modeli językowych w radzeniu sobie z dużymi ilościami danych finansowych, nasze badania wykazały, że modele takie jak GPT-4 i Llama 2 miały trudności z pytaniami finansowymi, często nie udzielając dokładnych informacji.

FinanceBench został stworzony jako kompleksowy benchmark do oceny wydajności modeli językowych w kontekstach finansowych. Obejmuje 10 000 par pytań i odpowiedzi opartych na publicznie dostępnych dokumentach finansowych, obejmujących takie obszary, jak rozumowanie numeryczne, pobieranie informacji, rozumowanie logiczne i wiedza o świecie. Poprzez dostarczanie tego benchmarku, naszym celem jest pomóc przedsiębiorstwom lepiej zrozumieć ograniczenia obecnych modeli i zidentyfikować obszary do poprawy.

Nasza wstępna analiza ujawniła, że wiele modeli językowych nie spełnia wysokich standardów wymaganych dla aplikacji finansowych, podkreślając potrzebę dalszej poprawy i ukierunkowanej oceny. Z FinanceBench oferujemy cenny narzędzie, które pozwoli firmom ocenić i poprawić wydajność modeli językowych w sektorze finansowym.

Twoje badania ujawniły, że wiodące modele AI, w szczególności GPT-4 OpenAI, generowały utwory objęte prawem autorskim w znaczących ilościach, gdy zostały zaproszone do fragmentów popularnych książek. Co uważasz, jakie są długoterminowe implikacje tych odkryć dla rozwoju AI i szerszego przemysłu technologicznego, biorąc pod uwagę trwające debaty na temat AI i prawa autorskiego?

Problem modeli AI generujących utwory objęte prawem autorskim jest złożoną i pilną sprawą w branży AI. Nasze badania wykazały, że modele takie jak GPT-4, gdy zaproszone o fragmenty popularnych książek, często odtwarzały utwory objęte prawem autorskim. To podnosi ważne pytania dotyczące praw własności intelektualnej i implikacji prawnych związanych z korzystaniem z treści generowanych przez AI.

W długiej perspektywie te odkrycia podkreślają potrzebę klarownych wytycznych i regulacji dotyczących AI i prawa autorskiego. Branża musi pracować nad rozwijaniem modeli AI, które szanują prawa własności intelektualnej, jednocześnie zachowując swoje zdolności twórcze. To może obejmować udoskonalenie zbiorów danych szkoleniowych, aby wykluczyć utwory objęte prawem autorskim, chyba że uzyskano odpowiednie licencje. Jest to nie tylko kwestia uniknięcia potencjalnych problemów prawnych, ale również zapewnienia, że AI generuje wiarygodne dane wyjściowe.

Szeroki przemysł technologiczny musi angażować się w ciągłe dyskusje z ekspertami prawnymi, decydentami i zainteresowanymi stronami, aby ustanowić ramy, które balansują innowacje z poszanowaniem istniejących praw. W miarę ewolucji AI jest kluczowe, aby proaktywnie rozwiązywać te wyzwania, aby zapewnić odpowiedzialny i etyczny rozwój AI.

Biorąc pod uwagę alarmujący wskaźnik, w jakim wiodące modele językowe odtwarzają utwory objęte prawem autorskim, jakie kroki, Twoim zdaniem, powinny podjąć deweloperzy AI i cała branża, aby rozwiązać te obawy? Jak Patronus AI planuje przyczynić się do tworzenia bardziej odpowiedzialnych i zgodnych z prawem modeli AI w świetle tych odkryć?

Rozwiązanie problemu modeli AI odtwarzających utwory objęte prawem autorskim wymaga wieloaspektowego podejścia. Deweloperzy AI i cała branża muszą priorytetowo traktować transparentność i odpowiedzialność w rozwoju modeli AI. To obejmuje:

• Poprawę selekcji danych: Upewnienie, że zbiory danych szkoleniowych są starannie wybrane, aby uniknąć utworów objętych prawem autorskim, chyba że uzyskano odpowiednie licencje.
• Rozwój mechanizmów wykrywania: Wdrożenie systemów, które mogą identyfikować, kiedy model AI generuje potencjalnie utwory objęte prawem autorskim, i zapewnienie użytkownikom opcji modyfikacji lub usunięcia takich utworów.
• Ustanowienie standardów branżowych: Współpraca z ekspertami prawnymi i zainteresowanymi stronami, aby stworzyć wytyczne i standardy dla rozwoju AI, które szanują prawa własności intelektualnej.

W Patronus AI jesteśmy zaangażowani w przyczynianie się do odpowiedzialnego rozwoju AI, koncentrując się na ocenie i zgodności. Nasza platforma obejmuje produkty takie jak EnterprisePII, które pomagają firmom wykrywać i zarządzać potencjalnymi problemami związanymi z prywatnością w danych wyjściowych AI. Poprzez dostarczanie tych rozwiązań, naszym celem jest umożliwienie firmom odpowiedzialnego i etycznego korzystania z AI, minimalizując jednocześnie ryzyko prawne.

Z narzędziami takimi jak EnterprisePII i FinanceBench, jakie zmiany oczekujesz w sposobie, w jaki przedsiębiorstwa wdrażają AI, szczególnie w wrażliwych obszarach, takich jak finanse i dane osobowe?

Te narzędzia zapewniają firmom możliwość skuteczniejszej oceny i zarządzania danymi wyjściowymi AI, szczególnie w wrażliwych obszarach, takich jak finanse i dane osobowe.

W sektorze finansowym FinanceBench umożliwia przedsiębiorstwom ocenę wydajności modeli językowych z wysokim stopniem precyzji, zapewniając, że modele spełniają surowe wymagania aplikacji finansowych. To umożliwia firmom wykorzystywanie AI do zadań takich jak analiza danych i podejmowanie decyzji z większą pewnością i niezawodnością.

Podobnie, narzędzia takie jak EnterprisePII pomagają firmom nawigować w złożonościach ochrony danych. Poprzez dostarczanie wglądu w potencjalne ryzyka i oferowanie rozwiązań, aby je zminimalizować, te narzędzia umożliwiają przedsiębiorstwom bardziej bezpieczne i odpowiedzialne wdrożenie AI.

Ogólnie te narzędzia przyczyniają się do bardziej świadomego i strategicznego podejścia do przyjęcia AI, pomagając firmom wykorzystywać korzyści AI, jednocześnie minimalizując związane z tym ryzyka.

Jak Patronus AI współpracuje z firmami, aby zintegrować te narzędzia z istniejącymi wdrożeniami i procesami modeli językowych?

W Patronus AI rozumiemy wagę bezproblemowej integracji w przypadku wdrożenia AI. Współpracujemy ściśle z naszymi klientami, aby upewnić się, że nasze narzędzia są łatwo włączane do ich istniejących wdrożeń i procesów modeli językowych. To obejmuje:

• Planowanie integracji: Współpracujemy z każdym klientem, aby opracować plany integracji dostosowane do ich konkretnych potrzeb i celów.
• Kompleksowe wsparcie: Nasz zespół zapewnia ciągłe wsparcie w trakcie procesu integracji, oferując wskazówki i pomoc, aby zapewnić gładki przejście.
• Szkolenia i edukacja: Oferujemy sesje szkoleniowe i edukacyjne, aby pomóc klientom w pełni zrozumieć i wykorzystywać nasze narzędzia, umożliwiając im maksymalne wykorzystanie ich inwestycji w AI.

Uwzględniając złożoności zapewnienia, że dane wyjściowe AI są bezpieczne, dokładne i zgodne z różnymi przepisami, jakie porady oferujesz deweloperom modeli językowych i firmom, które chcą je wykorzystywać?

Poprzez priorytetowe traktowanie współpracy i wsparcia, naszym celem jest uczynienie procesu integracji jak najbardziej prostym i efektywnym, umożliwiając firmom odblokowanie pełnego potencjału naszych rozwiązań AI.

Złożoności zapewnienia, że dane wyjściowe AI są bezpieczne, dokładne i zgodne z różnymi przepisami, przedstawiają znaczące wyzwania. Dla deweloperów modeli językowych kluczem jest priorytetowe traktowanie transparentności i odpowiedzialności w procesie rozwoju.

Jednym z podstawowych aspektów jest jakość danych. Deweloperzy muszą upewnić się, że zbiory danych szkoleniowych są dobrze wybrane i pozbawione utworów objętych prawem autorskim, chyba że uzyskano odpowiednie licencje. To nie tylko pomaga uniknąć potencjalnych problemów prawnych, ale również zapewnia, że AI generuje wiarygodne dane wyjściowe. Dodatkowo, rozwiązywanie problemów związanych z biasem i sprawiedliwością jest kluczowe. Poprzez aktywne rozwiązywanie biasów i rozwijanie różnorodnych i reprezentatywnych zbiorów danych szkoleniowych, deweloperzy mogą zmniejszyć bias i zapewnić sprawiedliwe wyniki dla wszystkich użytkowników.

Rigorousne procedury oceny są niezwykle ważne. Wdrożenie rygorystycznych testów i wykorzystanie benchmarków takich jak FinanceBench może pomóc ocenić wydajność i niezawodność modeli AI, zapewniając, że spełniają one wymagania konkretnych przypadków użycia. Ponadto, rozważania etyczne powinny być na pierwszym planie. Zaangażowanie w ramy etyczne i wytyczne zapewnia, że systemy AI są rozwijane w sposób odpowiedzialny i zgodny z wartościami społecznymi.

Dla firm, które chcą wykorzystywać modele językowe, zrozumienie możliwości AI jest kluczowe. Ważne jest ustalenie realistycznych oczekiwań i zapewnienie, że AI jest wykorzystywany skutecznie w ramach organizacji. Bezproblemowa integracja i wsparcie są również niezwykle ważne. Poprzez współpracę z zaufanymi partnerami, firmy mogą zintegrować rozwiązania AI z istniejącymi procesami i upewnić się, że ich zespoły są przeszkolone i wspierane, aby w pełni wykorzystywać AI.

Zgodność z przepisami i bezpieczeństwo powinny być priorytetem, z uwzględnieniem przestrzegania odpowiednich regulacji i praw ochrony danych. Narzędzia takie jak EnterprisePII mogą pomóc monitorować i zarządzać potencjalnymi ryzykami. Ciągłe monitorowanie i regularna ocena wydajności AI są również niezbędne, aby utrzymać dokładność i niezawodność, umożliwiając wprowadzanie niezbędnych dostosowań.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Patronus AI.