Anand Kannappan, CEO & Co-Founder von Patronus AI – Interview-Serie

Anand Kannappan ist Co-Founder und CEO von Patronus AI, der branchenweit ersten automatisierten AI-Evaluierungs- und Sicherheitsplattform, um Unternehmen dabei zu helfen, LLM-Fehler im großen Maßstab zu erkennen. Zuvor leitete Anand die Bemühungen um ML-Erklärbarkeit und fortschrittliche Experimentierung bei Meta Reality Labs.

Was hat Sie ursprünglich zur Informatik hingezogen?

Als ich aufwuchs, war ich immer von Technologie fasziniert und wie sie verwendet werden kann, um reale Probleme zu lösen. Die Idee, etwas von Grund auf mit nur einem Computer und Code erstellen zu können, hat mich fasziniert. Als ich mich tiefer in die Informatik einarbeitete, erkannte ich das immense Potenzial, das sie für Innovation und Transformation in verschiedenen Branchen birgt. Dieser Antrieb, zu innovieren und einen Unterschied zu machen, hat mich ursprünglich zur Informatik hingezogen.

Können Sie die Entstehungsgeschichte hinter Patronus AI teilen?

Die Entstehung von Patronus AI ist eine ziemlich interessante Reise. Als OpenAI ChatGPT veröffentlichte, wurde es zum am schnellsten wachsenden Verbraucherprodukt, mit über 100 Millionen Nutzern in nur zwei Monaten. Diese massive Akzeptanz hob das Potenzial von generativer KI hervor, aber es brachte auch die Zurückhaltung von Unternehmen bei der Bereitstellung von KI in so einem rasanten Tempo ans Licht. Viele Unternehmen waren besorgt über die möglichen Fehler und unvorhersehbare Verhaltensweisen von großen Sprachmodellen (LLMs).

Rebecca und ich haben uns seit Jahren gekannt, nachdem wir gemeinsam Informatik an der University of Chicago studiert haben. Bei Meta haben wir beide Herausforderungen bei der Bewertung und Interpretation von maschinellen Lernalgorithmen erlebt – Rebecca aus einer Forschungsperspektive und ich aus einer angewandten Perspektive. Als ChatGPT angekündigt wurde, sahen wir beide das transformative Potenzial von LLMs, aber auch die Vorsicht, die Unternehmen übten.

Der Wendepunkt kam, als mein Bruder seine Investmentbank, Piper Sandler, beschloss, den Zugriff auf OpenAI intern zu verbieten. Dies machte uns klar, dass KI, obwohl sie erheblich fortgeschritten war, immer noch eine Lücke in der Unternehmensadoption aufgrund von Bedenken hinsichtlich Zuverlässigkeit und Sicherheit gab. Wir gründeten Patronus AI, um diese Lücke zu schließen und das Vertrauen von Unternehmen in generative KI zu stärken, indem wir eine Bewertungs- und Sicherheitsebene für LLMs bereitstellen.

Können Sie die Kernfunktionen der Plattform von Patronus AI zur Bewertung und Sicherung von LLMs beschreiben?

Unsere Mission ist es, das Vertrauen von Unternehmen in generative KI zu stärken. Wir haben die branchenweit erste automatisierte Bewertungs- und Sicherheitsplattform speziell für LLMs entwickelt. Unsere Plattform hilft Unternehmen dabei, Fehler in LLM-Ausgaben im großen Maßstab zu erkennen, sodass sie KI-Produkte sicher und zuverlässig bereitstellen können.

Unsere Plattform automatisiert mehrere wichtige Prozesse:

• Bewertung: Wir bewerten die Modellleistung in realen Szenarien, wobei wir wichtige Kriterien wie Halluzinationen und Sicherheit berücksichtigen.
• Testgenerierung: Wir generieren automatisch adversarische Test-Suiten im großen Maßstab, um die Fähigkeiten des Modells gründlich zu bewerten.
• Benchmarking: Wir vergleichen verschiedene Modelle, um Kunden dabei zu helfen, das beste Modell für ihre spezifischen Anwendungsfälle zu finden.

Unternehmen bevorzugen häufige Bewertungen, um sich an sich verändernde Modelle, Daten und Benutzerbedürfnisse anzupassen. Unsere Plattform fungiert als vertrauenswürdiger Drittbewerter und bietet eine unvoreingenommene Perspektive, ähnlich wie Moody’s im KI-Bereich. Zu unseren frühen Partnern gehören führende KI-Unternehmen wie MongoDB, Databricks, Cohere und Nomic AI, und wir sind in Gesprächen mit mehreren traditionsreichen Unternehmen, um unsere Plattform zu testen.

Welche Arten von Fehlern oder “Halluzinationen” erkennt das Lynx-Modell von Patronus AI in LLM-Ausgaben, und wie geht es auf diese Probleme für Unternehmen ein?

LLMs sind tatsächlich leistungsstarke Werkzeuge, aber ihre probabilistische Natur macht sie anfällig für “Halluzinationen” oder Fehler, bei denen das Modell ungenaue oder irrelevante Informationen generiert. Diese Halluzinationen sind problematisch, insbesondere in hochriskanten Geschäftsumgebungen, in denen Genauigkeit entscheidend ist.

Traditionell haben Unternehmen auf manuelle Inspektionen vertraut, um LLM-Ausgaben zu bewerten, ein Prozess, der nicht nur zeitaufwändig, sondern auch nicht skalierbar ist. Um dies zu vereinfachen, entwickelte Patronus AI Lynx, ein spezialisiertes Modell, das die Fähigkeiten unserer Plattform durch die Automatisierung der Halluzinationserkennung erweitert. Lynx, das in unsere Plattform integriert ist, bietet umfassende Testabdeckung und robuste Leistungsgarantien, wobei es sich auf die Erkennung kritischer Fehler konzentriert, die erhebliche Auswirkungen auf Geschäftsoperationen haben könnten, wie z. B. falsche finanzielle Berechnungen oder Fehler bei der Überprüfung von Rechtsdokumenten.

Mit Lynx mindern wir die Einschränkungen der manuellen Bewertung durch automatisierte adversarische Tests, indem wir ein breites Spektrum potenzieller Fehlerbereiche erkunden. Dies ermöglicht die Erkennung von Problemen, die menschlichen Bewertern entgehen könnten, und bietet Unternehmen eine erhöhte Zuverlässigkeit und das Vertrauen, LLMs in kritischen Anwendungen bereitzustellen.

FinanceBench wird als die erste Benchmark für die Bewertung der LLM-Leistung bei Finanzfragen beschrieben. Welche Herausforderungen im Finanzsektor haben die Entwicklung von FinanceBench ausgelöst?

FinanceBench wurde als Reaktion auf die einzigartigen Herausforderungen entwickelt, denen sich der Finanzsektor bei der Einführung von LLMs gegenübersieht. Finanzielle Anwendungen erfordern einen hohen Grad an Genauigkeit und Zuverlässigkeit, da Fehler zu erheblichen finanziellen Verlusten oder regulatorischen Problemen führen können. Trotz des Potenzials von LLMs bei der Verarbeitung großer Mengen an Finanzdaten zeigte unsere Forschung, dass state-of-the-art-Modelle wie GPT-4 und Llama 2 bei Finanzfragen Schwierigkeiten hatten und oft nicht in der Lage waren, genaue Informationen abzurufen.

FinanceBench wurde als umfassende Benchmark entwickelt, um die LLM-Leistung in finanziellen Kontexten zu bewerten. Es umfasst 10.000 Frage- und Antwortpaare auf der Grundlage öffentlich verfügbarer Finanzdokumente, die Bereiche wie numerische Argumentation, Informationsabruf, logische Argumentation und Weltwissen abdecken. Durch die Bereitstellung dieser Benchmark zielen wir darauf ab, Unternehmen dabei zu helfen, die Einschränkungen aktueller Modelle besser zu verstehen und Bereiche für Verbesserungen zu identifizieren.

Unsere anfängliche Analyse zeigte, dass viele LLMs die hohen Standards, die für finanzielle Anwendungen erforderlich sind, nicht erfüllen, was die Notwendigkeit einer weiteren Verfeinerung und gezielten Bewertung unterstreicht. Mit FinanceBench stellen wir Unternehmen ein wertvolles Werkzeug zur Verfügung, um die Leistung von LLMs im Finanzsektor zu bewerten und zu verbessern.

Ihre Forschung hob hervor, dass führende KI-Modelle, insbesondere OpenAIs GPT-4, urheberrechtlich geschütztes Material in erheblichem Umfang generierten, wenn sie mit Auszügen aus beliebten Büchern angestoßen wurden. Was glauben Sie sind die langfristigen Auswirkungen dieser Ergebnisse für die KI-Entwicklung und die breitere Technologiebranche, insbesondere im Hinblick auf die laufenden Debatten um KI und Urheberrechtsgesetze?

Das Problem von KI-Modellen, die urheberrechtlich geschütztes Material generieren, ist ein komplexes und dringendes Anliegen in der KI-Industrie. Unsere Forschung zeigte, dass Modelle wie GPT-4, wenn sie mit Auszügen aus beliebten Büchern angestoßen wurden, oft urheberrechtlich geschütztes Material reproduzierten. Dies wirft wichtige Fragen über Urheberrechte und die rechtlichen Auswirkungen der Verwendung von KI-generiertem Inhalt auf.

Langfristig unterstreichen diese Ergebnisse die Notwendigkeit klarerer Richtlinien und Vorschriften für KI und Urheberrecht. Die Branche muss daran arbeiten, KI-Modelle zu entwickeln, die Urheberrechte respektieren, während sie ihre kreativen Fähigkeiten beibehalten. Dies könnte die Verfeinerung von Trainingsdatensätzen umfassen, um urheberrechtlich geschütztes Material auszuschließen, oder die Implementierung von Mechanismen, die die Reproduktion von geschütztem Inhalt erkennen und verhindern.

Die breitere Technologiebranche muss sich mit Rechtsexperten, politischen Entscheidungsträgern und Interessenvertretern auseinandersetzen, um einen Rahmen zu schaffen, der Innovation mit Respekt für bestehende Gesetze in Einklang bringt. Da KI weiterhin evolviert, ist es entscheidend, diese Herausforderungen proaktiv anzugehen, um verantwortungsvolle und ethische KI-Entwicklung zu gewährleisten.

Angesichts der alarmierenden Rate, mit der state-of-the-art-LLMs urheberrechtlich geschütztes Material reproduzieren, wie in Ihrer Studie nachgewiesen, welche Schritte glauben Sie, dass KI-Entwickler und die Branche als Ganzes unternehmen müssen, um diese Bedenken anzugehen? Wie plant Patronus AI, zur Schaffung verantwortungsvollerer und rechtskonformer KI-Modelle beizutragen, im Lichte dieser Ergebnisse?

Die Bekämpfung des Problems von KI-Modellen, die urheberrechtlich geschütztes Material reproduzieren, erfordert einen vielschichtigen Ansatz. KI-Entwickler und die Branche als Ganzes müssen Transparenz und Rechenschaftspflicht bei der KI-Modellentwicklung priorisieren. Dazu gehören:

• Verbesserung der Datenauswahl: Sicherstellen, dass Trainingsdatensätze sorgfältig ausgewählt werden, um urheberrechtlich geschütztes Material zu vermeiden, sofern nicht entsprechende Lizenzen erworben werden.
• Entwicklung von Erkennungsmechanismen: Implementierung von Systemen, die erkennen, wenn ein KI-Modell möglicherweise urheberrechtlich geschütztes Material generiert, und Benutzern Optionen anbieten, um solches Material zu ändern oder zu entfernen.
• Einrichtung von Branchenstandards: Zusammenarbeit mit Rechtsexperten und Brancheninteressenvertretern, um Richtlinien und Standards für die KI-Entwicklung zu schaffen, die Urheberrechte respektieren.

Bei Patronus AI sind wir bestrebt, zur verantwortungsvollen KI-Entwicklung beizutragen, indem wir uns auf Bewertung und Compliance konzentrieren. Unsere Plattform umfasst Produkte wie EnterprisePII, die Unternehmen dabei helfen, potenzielle Datenschutzprobleme in KI-Ausgaben zu erkennen und zu verwalten. Durch die Bereitstellung dieser Lösungen zielen wir darauf ab, Unternehmen zu befähigen, KI verantwortungsvoll und ethisch zu nutzen, während sie rechtliche Risiken minimieren.

Mit Tools wie EnterprisePII und FinanceBench, welche Verschiebungen erwarten Sie bei der Bereitstellung von KI durch Unternehmen, insbesondere in sensiblen Bereichen wie Finanzen und personenbezogenen Daten?

Diese Tools ermöglichen es Unternehmen, KI-Ausgaben effektiver zu bewerten und zu verwalten, insbesondere in sensiblen Bereichen wie Finanzen und personenbezogenen Daten.

Im Finanzsektor ermöglicht FinanceBench Unternehmen, die Leistung von LLMs mit hoher Präzision zu bewerten, um sicherzustellen, dass Modelle die strengen Anforderungen von Finanzanwendungen erfüllen. Dies befähigt Unternehmen, KI für Aufgaben wie Datenanalyse und Entscheidungsfindung mit größerer Zuverlässigkeit und Sicherheit zu nutzen.

Ähnlich helfen Tools wie EnterprisePII Unternehmen, die Komplexität von Datenschutz zu meistern. Durch die Bereitstellung von Erkenntnissen über potenzielle Risiken und Lösungen, um diese zu mindern, ermöglichen diese Tools es Unternehmen, KI sicherer und verantwortungsvoller bereitzustellen.

Insgesamt ebnet diese Tools den Weg für einen informierteren und strategischeren Ansatz bei der KI-Einführung, indem sie Unternehmen dabei helfen, die Vorteile von KI zu nutzen, während sie gleichzeitig die damit verbundenen Risiken minimieren.

Wie arbeitet Patronus AI mit Unternehmen zusammen, um diese Tools in bestehende LLM-Bereitstellungen und Workflows zu integrieren?

Bei Patronus AI verstehen wir die Bedeutung einer nahtlosen Integration bei der KI-Einführung. Wir arbeiten eng mit unseren Kunden zusammen, um sicherzustellen, dass unsere Tools problemlos in bestehende LLM-Bereitstellungen und Workflows integriert werden. Dazu gehören:

• Maßgeschneiderte Integrationspläne: Wir entwickeln gemeinsam mit jedem Kunden individuelle Integrationspläne, die auf ihre spezifischen Bedürfnisse und Ziele abgestimmt sind.
• Umfassende Unterstützung: Unser Team bietet während des gesamten Integrationsprozesses umfassende Unterstützung, um eine reibungslose Transition zu gewährleisten.
• Schulung und Bildung: Wir bieten Schulungssitzungen und Bildungsressourcen an, um Kunden dabei zu helfen, unsere Tools vollständig zu verstehen und zu nutzen, und sie so in die Lage zu versetzen, das Beste aus ihren KI-Investitionen zu machen.

Angesichts der Komplexität, KI-Ausgaben sicher, genau und rechtskonform zu machen, welche Ratschläge würden Sie sowohl KI-Entwicklern als auch Unternehmen, die diese nutzen möchten, geben?

Durch die Priorisierung von Zusammenarbeit und Unterstützung zielen wir darauf ab, den Integrationsprozess so einfach und effizient wie möglich zu gestalten, um Unternehmen in die Lage zu versetzen, das volle Potenzial unserer KI-Lösungen zu nutzen.

Die Komplexität, sicherzustellen, dass KI-Ausgaben sicher, genau und rechtskonform sind, stellt erhebliche Herausforderungen dar. Für KI-Entwickler ist der Schlüssel, Transparenz und Rechenschaftspflicht während des gesamten Entwicklungsprozesses zu priorisieren.

Ein grundlegender Aspekt ist die Qualität der Daten. Entwickler müssen sicherstellen, dass Trainingsdatensätze sorgfältig ausgewählt und frei von urheberrechtlich geschütztem Material sind, sofern nicht entsprechende Lizenzen erworben wurden. Dies hilft nicht nur, potenzielle rechtliche Probleme zu vermeiden, sondern stellt auch sicher, dass die KI zuverlässige Ausgaben generiert. Darüber hinaus ist es entscheidend, Vorurteile und Fairness anzugehen. Durch die aktive Identifizierung und Minderung von Vorurteilen und die Entwicklung diverser und repräsentativer Trainingsdaten können Entwickler Vorurteile reduzieren und faire Ergebnisse für alle Benutzer gewährleisten.

Robuste Bewertungsverfahren sind unerlässlich. Die Implementierung strenger Tests und die Nutzung von Benchmarks wie FinanceBench können dazu beitragen, die Leistung und Zuverlässigkeit von KI-Modellen zu bewerten, um sicherzustellen, dass sie die Anforderungen spezifischer Anwendungsfälle erfüllen. Darüber hinaus sollten ethische Überlegungen im Vordergrund stehen. Die Auseinandersetzung mit ethischen Richtlinien und Rahmenbedingungen stellt sicher, dass KI-Systeme verantwortungsvoll entwickelt und mit gesellschaftlichen Werten übereinstimmen.

Für Unternehmen, die LLMs nutzen möchten, ist es entscheidend, die Fähigkeiten von KI zu verstehen. Es ist wichtig, realistische Erwartungen zu setzen und sicherzustellen, dass KI innerhalb des Unternehmens effektiv eingesetzt wird. Nahtlose Integration und Unterstützung sind ebenfalls von entscheidender Bedeutung. Durch die Zusammenarbeit mit vertrauenswürdigen Partnern können Unternehmen KI-Lösungen in bestehende Workflows integrieren und sicherstellen, dass ihre Teams geschult und unterstützt werden, um KI effektiv zu nutzen.

Compliance und Sicherheit sollten priorisiert werden, mit einem Fokus auf die Einhaltung relevanter Vorschriften und Datenschutzgesetze. Tools wie EnterprisePII können dabei helfen, potenzielle Risiken zu überwachen und zu verwalten. Kontinuierliche Überwachung und regelmäßige Bewertung der KI-Leistung sind ebenfalls notwendig, um Genauigkeit und Zuverlässigkeit aufrechtzuerhalten und Anpassungen vorzunehmen, wenn erforderlich.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Patronus AI besuchen.