Anand Kannappan, CEO & Co-founder of Patronus AI – Wywiad z serii

Anand Kannappan jest współzałożycielem i dyrektorem generalnym Patronus AI, pierwszej na świecie automatycznej platformy oceny i bezpieczeństwa AI, która pomaga przedsiębiorstwom wykrywać błędy w LLM na dużą skalę. Wcześniej Anand kierował działami wyjaśnialności ML i zaawansowanymi eksperymentami w Meta Reality Labs.

Czym było to, co początkowo przyciągnęło Cię do informatyki?

Wychowując się, zawsze fascynowałem się technologią i tym, jak można ją wykorzystać do rozwiązywania prawdziwych problemów. Pomysł stworzenia czegoś od podstaw za pomocą tylko komputera i kodu fascynował mnie. Im głębiej zagłębiałem się w informatykę, tym bardziej zdawałem sobie sprawę z ogromnego potencjału, jaki ma do zaoferowania w zakresie innowacji i transformacji w różnych branżach. To pragnienie innowacji i robienia różnicy jest tym, co początkowo przyciągnęło mnie do informatyki.

Czy mógłbyś opowiedzieć o historii powstania Patronus AI?

Historia powstania Patronus AI jest dość interesująca. Kiedy OpenAI uruchomiło ChatGPT, stało się najszybciej rozwijającym się produktem konsumenckim, zgromadzając ponad 100 milionów użytkowników w zaledwie dwa miesiące. To ogromne przyjęcie uwidoczniło potencjał generatywnej sztucznej inteligencji, ale również ujawniło wahanie przedsiębiorstw w wdrożeniu AI w tak szybkim tempie. Wiele firm była zaniepokojonych potencjalnymi błędami i nieprzewidywalnym zachowaniem się dużych modeli językowych (LLM).

Rebecca i ja znaliśmy się przez lata, studiując wspólnie informatykę na Uniwersytecie w Chicago. W Meta obaj mieliśmy do czynienia z wyzwaniami związanymi z oceną i interpretacją wyników machine learningu — Rebecca z punktu widzenia badawczego, a ja z punktu widzenia stosowanego. Kiedy ogłoszono ChatGPT, obydwoje zobaczyliśmy przemieniający potencjał LLM, ale również zrozumieliśmy ostrożność, jaką exercise przedsiębiorstwa.

Punkt zwrotny nastąpił, gdy bank inwestycyjny mojego brata, Piper Sandler, zdecydował się na wewnętrzny zakaz dostępu do OpenAI. To sprawiło, że zrozumieliśmy, iż chociaż AI znacznie się rozwinęło, nadal istnieje luka w przyjęciu przez przedsiębiorstwa z powodu obaw o niezawodność i bezpieczeństwo. Założyliśmy Patronus AI, aby zapełnić tę lukę i zwiększyć zaufanie przedsiębiorstw do generatywnej AI, dostarczając warstwę oceny i bezpieczeństwa dla LLM.

Czy możesz opisać podstawową funkcjonalność platformy Patronus AI do oceny i zabezpieczania LLM?

Nasza misja polega na zwiększeniu zaufania przedsiębiorstw do generatywnej AI. Rozwinęliśmy pierwszą na świecie automatyczną platformę oceny i bezpieczeństwa specjalnie dla LLM. Nasza platforma pomaga firmom wykrywać błędy w danych wyjściowych LLM na dużą skalę, umożliwiając im bezpieczne i pewne wdrożenie produktów AI.

Nasza platforma automatyzuje kilka kluczowych procesów:

• Ocena: Ocena wydajności modelu w scenariuszach rzeczywistych, koncentrując się na ważnych kryteriach, takich jak halucynacje i bezpieczeństwo.
• Generowanie testów: Automatyczne generowanie zestawów testowych na dużą skalę w celu dokładnej oceny możliwości modelu.
• Benchmarking: Porównywanie różnych modeli, aby pomóc klientom wybrać najlepsze rozwiązanie dla ich konkretnych przypadków użycia.

Przedsiębiorstwa preferują częste oceny, aby dostosować się do ewoluujących modeli, danych i potrzeb użytkowników. Nasza platforma działa jako zaufany, niezależny oceniający, zapewniając bezstronne spojrzenie podobne do Moody’s w przestrzeni AI. Naszymi wczesnymi partnerami są wiodące firmy AI, takie jak MongoDB, Databricks, Cohere i Nomic AI, oraz prowadzimy rozmowy z kilkoma firmami z tradycyjnych branż, aby przetestować naszą platformę.

Jakie rodzaje błędów lub „halucynacji” wykrywa model Lynx Patronus AI w danych wyjściowych LLM, i jak rozwiązuje te problemy dla firm?

LLM są w istocie potężnymi narzędziami, ale ich probabilistyczna natura sprawia, że są one podatne na „halucynacje”, czyli błędy, w których model generuje nieprecyzyjne lub nieistotne informacje. Te halucynacje są problematyczne, szczególnie w środowiskach biznesowych o wysokich stawkach, gdzie dokładność jest kluczowa.

Tradycyjnie firmy polegały na ręcznej inspekcji w celu oceny danych wyjściowych LLM, proces, który jest nie tylko czasochłonny, ale również nie skalowalny. Aby przyspieszyć ten proces, Patronus AI opracował Lynx, specjalizowany model, który zwiększa możliwości naszej platformy, automatyzując wykrywanie halucynacji. Lynx, zintegrowany z naszą platformą, zapewnia kompleksowe pokrycie testowe i gwarancje wydajności, koncentrując się na identyfikowaniu krytycznych błędów, które mogą znacząco wpłynąć na operacje biznesowe, takie jak błędne obliczenia finansowe lub błędy w przeglądzie dokumentów prawnych.

Z Lynx ograniczamy ograniczenia oceny ręcznej za pomocą automatycznego testowania przeciwnego, badając szeroki zakres potencjalnych scenariuszy awaryjnych. To umożliwia wykrywanie problemów, które mogą umknąć oceniającym, oferując firmom zwiększoną niezawodność i pewność wdrożenia LLM w krytycznych aplikacjach.

FinanceBench jest opisywany jako pierwszy benchmark dla oceny wydajności LLM w kwestiach finansowych. Jakie wyzwania w sektorze finansowym skłoniły do opracowania FinanceBench?

FinanceBench został opracowany w odpowiedzi na unikalne wyzwania, z którymi sektor finansowy zmaga się przy przyjęciu LLM. Aplikacje finansowe wymagają wysokiego poziomu dokładności i niezawodności, ponieważ błędy mogą prowadzić do znaczących strat finansowych lub problemów regulacyjnych. Pomimo obietnic LLM w zakresie obsługi dużych ilości danych finansowych, nasze badania wykazały, że modele takie jak GPT-4 i Llama 2 mają trudności z pytaniami finansowymi, często nie udzielając precyzyjnych informacji.

FinanceBench został stworzony jako kompleksowy benchmark do oceny wydajności LLM w kontekstach finansowych. Obejmuje 10 000 par pytań i odpowiedzi opartych na publicznie dostępnych dokumentach finansowych, obejmujących takie obszary, jak rozumowanie numeryczne, pobieranie informacji, rozumowanie logiczne i wiedza o świecie. Poprzez dostarczanie tego benchmarku, mamy na celu pomóc przedsiębiorstwom lepiej zrozumieć ograniczenia obecnych modeli i zidentyfikować obszary do poprawy.

Nasza wstępna analiza ujawniła, że wiele LLM nie spełnia wysokich standardów wymaganych dla aplikacji finansowych, podkreślając potrzebę dalszego udoskonalenia i ukierunkowanej oceny. Z FinanceBench oferujemy cenny narzędzie, które pozwoli przedsiębiorstwom ocenić i poprawić wydajność LLM w sektorze finansowym.

Twoje badania wykazały, że wiodące modele AI, w szczególności GPT-4 OpenAI, generują utwory chronione prawem autorskim w znaczących ilościach, gdy są one poddawane fragmentom popularnych książek. Co uważasz za długoterminowe implikacje tych odkryć dla rozwoju AI i szerszego przemysłu technologicznego, biorąc pod uwagę trwające debaty na temat AI i prawa autorskiego?

Problem modeli AI generujących utwory chronione prawem autorskim jest złożoną i palącą kwestią w branży AI. Nasze badania wykazały, że modele takie jak GPT-4, gdy są poddawane fragmentom popularnych książek, często odtwarzają materiały chronione prawem autorskim. To podnosi ważne pytania dotyczące praw własności intelektualnej i implikacji prawnych związanych z korzystaniem z treści generowanych przez AI.

W długiej perspektywie te odkrycia podkreślają potrzebę wyraźniejszych wytycznych i regulacji dotyczących AI i prawa autorskiego. Branża musi pracować nad opracowaniem modeli AI, które szanują prawa własności intelektualnej, jednocześnie zachowując swoje możliwości twórcze. Mogłoby to obejmować udoskonalenie zbiorów danych szkoleniowych, aby wykluczyć materiały chronione prawem autorskim, lub wdrożenie mechanizmów, które wykrywają i zapobiegają odtwarzaniu chronionych treści.

Szeroki przemysł technologiczny musi angażować się w ciągłe dyskusje z ekspertami prawnymi, decydentami i zainteresowanymi stronami, aby ustanowić ramy, które równoważą innowacje z poszanowaniem istniejących praw. W miarę ewolucji AI jest kluczowe, aby proaktywnie rozwiązywać te wyzwania, aby zapewnić odpowiedzialny i etyczny rozwój AI.

Biorąc pod uwagę alarmujący wskaźnik, w jakim wiodące LLM odtwarzają utwory chronione prawem autorskim, jak podkreśla Twoje badanie, jakie kroki uważasz, że deweloperzy AI i cała branża powinni podjąć, aby rozwiązać te obawy? Jak Patronus AI planuje przyczynić się do tworzenia bardziej odpowiedzialnych i zgodnych z prawem modeli AI w świetle tych odkryć?

Rozwiązanie problemu modeli AI odtwarzających utwory chronione prawem autorskim wymaga wieloaspektowego podejścia. Deweloperzy AI i cała branża muszą priorytetowo traktować przejrzystość i odpowiedzialność w rozwoju modeli AI. Obejmuje to:

• Poprawę selekcji danych: Zapewnienie, że zbiory danych szkoleniowych są starannie opracowane, aby uniknąć materiałów chronionych prawem autorskim, chyba że uzyskano odpowiednie licencje.
• Rozwój mechanizmów wykrywania: Wdrożenie systemów, które mogą identyfikować, kiedy model AI generuje potencjalnie chronione treści, i zapewnić użytkownikom opcje modyfikacji lub usunięcia takich treści.
• Ustanowienie standardów branżowych: Współpracę z ekspertami prawnymi i zainteresowanymi stronami, aby stworzyć wytyczne i standardy dla rozwoju AI, które szanują prawa własności intelektualnej.

W Patronus AI jesteśmy zaangażowani w przyczynianie się do odpowiedzialnego rozwoju AI, koncentrując się na ocenie i zgodności. Nasza platforma obejmuje produkty takie jak EnterprisePII, które pomagają firmom wykrywać i zarządzać potencjalnymi problemami związanymi z prywatnością w danych wyjściowych AI. Poprzez dostarczanie tych rozwiązań, mamy na celu umożliwić firmom odpowiedzialne i etyczne korzystanie z AI, minimalizując jednocześnie ryzyko prawne.

Z narzędziami takimi jak EnterprisePII i FinanceBench, jakie zmiany przewidujesz w sposobie, w jaki przedsiębiorstwa wdrożą AI, szczególnie w wrażliwych obszarach, takich jak finanse i dane osobowe?

Te narzędzia zapewniają firmom możliwość skuteczniejszej oceny i zarządzania danymi wyjściowymi AI, szczególnie w wrażliwych obszarach, takich jak finanse i dane osobowe.

W sektorze finansowym FinanceBench umożliwia przedsiębiorstwom ocenę wydajności LLM z wysokim poziomem precyzji, zapewniając, że modele spełniają surowe wymagania aplikacji finansowych. To umożliwia firmom wykorzystanie AI do zadań takich jak analiza danych i podejmowanie decyzji z większą pewnością i niezawodnością.

Podobnie, narzędzia takie jak EnterprisePII pomagają firmom nawigować w złożoności danych osobowych. Poprzez dostarczanie wglądu w potencjalne ryzyka i oferowanie rozwiązań, aby je złagodzić, te narzędzia umożliwiają przedsiębiorstwom bardziej bezpieczne i odpowiedzialne wdrożenie AI.

Ogólnie te narzędzia przyczyniają się do bardziej świadomego i strategicznego podejścia do przyjęcia AI, pomagając firmom wykorzystać korzyści AI, jednocześnie minimalizując związane z tym ryzyka.

Jak Patronus AI współpracuje z firmami, aby zintegrować te narzędzia z ich istniejącymi wdrożeniami i procesami LLM?

W Patronus AI rozumiemy wagę bezproblemowej integracji w przypadku przyjęcia AI. Współpracujemy ściśle z naszymi klientami, aby zapewnić, że nasze narzędzia są łatwo włączane do ich istniejących wdrożeń i procesów LLM. Obejmuje to zapewnianie klientom:

• Planów integracji dostosowanych do potrzeb: Współpracujemy z każdym klientem, aby opracować plany integracji dopasowane do ich konkretnych potrzeb i celów.
• Kompleksowego wsparcia: Nasz zespół zapewnia ciągłe wsparcie w trakcie procesu integracji, oferując wskazówki i pomoc, aby zapewnić płynne przejście.
• Szkoleń i edukacji: Oferujemy sesje szkoleniowe i materiały edukacyjne, aby pomóc klientom w pełni zrozumieć i wykorzystać nasze narzędzia, umożliwiając im maksymalne wykorzystanie ich inwestycji w AI.

Uwzględniając złożoności zapewnienia, że dane wyjściowe AI są bezpieczne, dokładne i zgodne z różnymi prawami, jakie wskazówki chciałbyś udzielić deweloperom LLM i firmom, które chcą je wykorzystać?

Poprzez priorytetowe traktowanie współpracy i wsparcia, mamy na celu uczynienie procesu integracji tak prostym i wydajnym, jak to tylko możliwe, umożliwiając firmom odblokowanie pełnego potencjału naszych rozwiązań AI.

Złożoności zapewnienia, że dane wyjściowe AI są bezpieczne, dokładne i zgodne z różnymi prawami, przedstawiają znaczące wyzwania. Dla deweloperów dużych modeli językowych (LLM) kluczem jest priorytetowe traktowanie przejrzystości i odpowiedzialności w procesie rozwoju.

Jednym z podstawowych aspektów jest jakość danych. Deweloperzy muszą zapewnić, że zbiory danych szkoleniowych są dobrze opracowane i pozbawione materiałów chronionych prawem autorskim, chyba że uzyskano odpowiednie licencje. To nie tylko pomaga uniknąć potencjalnych problemów prawnych, ale również zapewnia, że AI generuje niezawodne dane wyjściowe. Dodatkowo, rozwiązywanie problemów związanych z biasem i sprawiedliwością jest kluczowe. Poprzez aktywne wysiłki w celu identyfikacji i złagodzenia biasów oraz rozwój różnorodnych i reprezentatywnych zbiorów danych szkoleniowych, deweloperzy mogą zmniejszyć bias i zapewnić sprawiedliwe wyniki dla wszystkich użytkowników.

Rigorystyczne procedury oceny są niezbędne. Wdrożenie rygorystycznych testów i korzystanie z benchmarków takich jak FinanceBench może pomóc ocenić wydajność i niezawodność modeli AI, zapewniając, że spełniają one wymagania konkretnych przypadków użycia. Ponadto, rozważania etyczne powinny być na pierwszym planie. Zaangażowanie w wytyczne etyczne i ramy gwarantuje, że systemy AI są rozwijane w sposób odpowiedzialny i zgodny z wartościami społecznymi.

Dla firm, które chcą wykorzystać LLM, zrozumienie możliwości AI jest kluczowe. Ważne jest ustalenie realistycznych oczekiwań i zapewnienie, że AI jest wykorzystywany skutecznie w ramach organizacji. Bezproblemowa integracja i wsparcie są również niezwykle ważne. Poprzez współpracę z zaufanymi partnerami, firmy mogą zintegrować rozwiązania AI z istniejącymi procesami i zapewnić, że ich zespoły są przeszkolone i wspierane, aby w pełni wykorzystać AI.

Zgodność i bezpieczeństwo powinny być priorytetem, z naciskiem na przestrzeganie odpowiednich regulacji i praw ochrony danych. Narzędzia takie jak EnterprisePII mogą pomóc monitorować i zarządzać potencjalnymi ryzykami. Ciągłe monitorowanie i regularna ocena wydajności AI są również niezbędne, aby utrzymać dokładność i niezawodność, umożliwiając dostosowania w razie potrzeby.

Dziękujemy za wspaniały wywiad. Czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Patronus AI.