Anand Kannappan, CEO & Co-Founder von Patronus AI – Interview-Serie

Anand Kannappan ist Co-Founder und CEO von Patronus AI, der ersten automatisierten AI-Evaluations- und Sicherheitsplattform, die Unternehmen hilft, LLM-Fehler im großen Maßstab zu erkennen. Zuvor leitete Anand die Bemühungen um ML-Erklärbarkeit und fortschrittliche Experimentierung bei Meta Reality Labs.

Was hat Sie ursprünglich zur Informatik hingezogen?

Als ich aufwuchs, war ich immer von Technologie fasziniert und wie sie verwendet werden kann, um reale Probleme zu lösen. Die Idee, etwas von Grund auf mit nur einem Computer und Code zu erstellen, hat mich fasziniert. Als ich mich tiefer in die Informatik einarbeitete, erkannte ich das immense Potenzial, das sie für Innovation und Transformation in verschiedenen Branchen bietet. Dieser Antrieb, zu innovieren und einen Unterschied zu machen, ist es, was mich ursprünglich zur Informatik hingezogen hat.

Können Sie die Entstehungsgeschichte hinter Patronus AI teilen?

Die Entstehung von Patronus AI ist eine interessante Reise. Als OpenAI ChatGPT startete, wurde es zum am schnellsten wachsenden Verbraucherprodukt, mit über 100 Millionen Nutzern in nur zwei Monaten. Diese massive Akzeptanz hob das Potenzial von generativer KI hervor, aber es brachte auch die Zurückhaltung von Unternehmen bei der Bereitstellung von KI in einem so schnellen Tempo ans Licht. Viele Unternehmen waren besorgt über die möglichen Fehler und unvorhersehbare Verhaltensweisen von großen Sprachmodellen (LLMs).

Rebecca und ich haben uns seit Jahren gekannt, nachdem wir gemeinsam Informatik an der University of Chicago studiert hatten. Bei Meta haben wir beide Herausforderungen bei der Bewertung und Interpretation von maschinellen Lernalgorithmen erlebt – Rebecca aus der Forschungsperspektive und ich aus der angewandten Perspektive. Als ChatGPT angekündigt wurde, sahen wir beide das transformative Potenzial von LLMs, aber auch die Vorsicht, die Unternehmen übten.

Der Wendepunkt kam, als mein Bruder seine Investmentbank, Piper Sandler, entschied, den Zugang zu OpenAI intern zu verbieten. Dies machte uns bewusst, dass KI zwar erheblich fortgeschritten war, es aber immer noch eine Lücke in der Unternehmensadoption aufgrund von Bedenken hinsichtlich Zuverlässigkeit und Sicherheit gab. Wir gründeten Patronus AI, um diese Lücke zu schließen und das Vertrauen von Unternehmen in generative KI zu stärken, indem wir eine Bewertungs- und Sicherheitsebene für LLMs bereitstellen.

Können Sie die Kernfunktionen der Plattform von Patronus AI für die Bewertung und Sicherung von LLMs beschreiben?

Unsere Mission ist es, das Vertrauen von Unternehmen in generative KI zu stärken. Wir haben die erste automatisierte Bewertungs- und Sicherheitsplattform speziell für LLMs entwickelt. Unsere Plattform hilft Unternehmen, Fehler in LLM-Ausgaben im großen Maßstab zu erkennen, sodass sie KI-Produkte sicher und zuverlässig bereitstellen können.

Unsere Plattform automatisiert mehrere Schlüsselprozesse:

• Bewertung: Wir bewerten die Modellleistung in realen Szenarien, mit Fokus auf wichtige Kriterien wie Halluzinationen und Sicherheit.
• Testgenerierung: Wir generieren automatisch adversarial Test-Suiten im großen Maßstab, um die Modellfähigkeiten gründlich zu bewerten.
• Benchmarking: Wir vergleichen verschiedene Modelle, um Kunden zu helfen, das beste Modell für ihre spezifischen Anwendungsfälle zu identifizieren.

Unternehmen bevorzugen häufige Bewertungen, um sich an veränderte Modelle, Daten und Benutzerbedürfnisse anzupassen. Unsere Plattform fungiert als vertrauenswürdiger Drittbewerter, der eine unvoreingenommene Perspektive ähnlich wie Moody’s im KI-Bereich bietet. Unsere ersten Partner umfassen führende KI-Unternehmen wie MongoDB (MDB ), Databricks, Cohere und Nomic AI, und wir sind in Gesprächen mit mehreren bekannten Unternehmen in traditionellen Branchen, um unsere Plattform zu testen.

Welche Arten von Fehlern oder “Halluzinationen” erkennt das Lynx-Modell von Patronus AI in LLM-Ausgaben, und wie geht es auf diese Probleme für Unternehmen ein?

LLMs sind tatsächlich leistungsfähige Werkzeuge, aber ihre wahrscheinlichkeitstheoretische Natur macht sie anfällig für “Halluzinationen” oder Fehler, bei denen das Modell ungenaue oder irrelevante Informationen generiert. Diese Halluzinationen sind problematisch, insbesondere in hochriskanten Geschäftsumgebungen, in denen Genauigkeit entscheidend ist.

Traditionell haben Unternehmen auf manuelle Inspektionen gesetzt, um LLM-Ausgaben zu bewerten, ein Prozess, der nicht nur zeitaufwändig, sondern auch nicht skalierbar ist. Um dies zu rationalisieren, entwickelte Patronus AI Lynx, ein spezialisiertes Modell, das die Fähigkeiten unserer Plattform durch die Automatisierung der Erkennung von Halluzinationen erweitert. Lynx, das in unsere Plattform integriert ist, bietet umfassende Testabdeckung und robuste Leistungsgarantien, mit Fokus auf die Identifizierung kritischer Fehler, die den Geschäftsbetrieb erheblich beeinträchtigen könnten, wie z. B. falsche finanzielle Berechnungen oder Fehler bei der Überprüfung von Rechtsdokumenten.

Mit Lynx können wir die Einschränkungen der manuellen Bewertung durch automatisierte adversarial Testing mildern, indem wir ein breites Spektrum potenzieller Fehlerursachen erkunden. Dies ermöglicht die Erkennung von Problemen, die menschlichen Evaluatoren entgehen könnten, und bietet Unternehmen erhöhte Zuverlässigkeit und Vertrauen in die Bereitstellung von LLMs in kritischen Anwendungen.

FinanceBench wird als erste Benchmark für die Bewertung der LLM-Leistung bei Finanzfragen beschrieben. Welche Herausforderungen im Finanzsektor führten zur Entwicklung von FinanceBench?

FinanceBench wurde als Reaktion auf die einzigartigen Herausforderungen entwickelt, die der Finanzsektor bei der Einführung von LLMs erlebt. Finanzielle Anwendungen erfordern ein hohes Maß an Genauigkeit und Zuverlässigkeit, da Fehler zu erheblichen finanziellen Verlusten oder regulatorischen Problemen führen können. Trotz des Potenzials von LLMs bei der Verarbeitung großer Mengen an Finanzdaten zeigte unsere Forschung, dass state-of-the-art-Modelle wie GPT-4 und Llama 2 bei Finanzfragen Schwierigkeiten hatten und oft nicht in der Lage waren, genaue Informationen abzurufen.

FinanceBench wurde als umfassende Benchmark erstellt, um die LLM-Leistung in Finanzkontexten zu bewerten. Es umfasst 10.000 Frage- und Antwortpaare auf der Grundlage öffentlich zugänglicher Finanzdokumente, die Bereiche wie numerische Argumentation, Informationsabruf, logische Argumentation und Weltwissen abdecken. Durch die Bereitstellung dieser Benchmark zielen wir darauf ab, Unternehmen zu helfen, die Einschränkungen der aktuellen Modelle besser zu verstehen und Bereiche für Verbesserungen zu identifizieren.

Unsere anfängliche Analyse zeigte, dass viele LLMs die hohen Standards, die für Finanzanwendungen erforderlich sind, nicht erfüllen, was die Notwendigkeit für weitere Verfeinerung und gezielte Bewertung unterstreicht. Mit FinanceBench bieten wir ein wertvolles Werkzeug für Unternehmen, um die Leistung von LLMs im Finanzsektor zu bewerten und zu verbessern.

Ihre Forschung hob hervor, dass führende KI-Modelle, insbesondere OpenAIs GPT-4, urheberrechtlich geschütztes Material in erheblichem Umfang generierten, wenn sie mit Auszügen aus beliebten Büchern konfrontiert wurden. Was glauben Sie sind die langfristigen Auswirkungen dieser Ergebnisse für die KI-Entwicklung und die breitere Technologieindustrie, insbesondere im Hinblick auf die laufenden Debatten um KI und Urheberrecht?

Die Frage, ob KI-Modelle urheberrechtlich geschütztes Material generieren, ist ein komplexes und dringendes Anliegen in der KI-Industrie. Unsere Forschung zeigte, dass Modelle wie GPT-4, wenn sie mit Auszügen aus beliebten Büchern konfrontiert wurden, oft urheberrechtlich geschütztes Material reproduzierten. Dies wirft wichtige Fragen über geistige Eigentumsrechte und die rechtlichen Implikationen der Verwendung von KI-generiertem Inhalt auf.

Langfristig unterstreichen diese Ergebnisse die Notwendigkeit klarerer Richtlinien und Vorschriften für KI und Urheberrecht. Die Industrie muss daran arbeiten, KI-Modelle zu entwickeln, die geistige Eigentumsrechte respektieren, während sie ihre kreativen Fähigkeiten beibehalten. Dies könnte die Verfeinerung von Trainingsdatensätzen umfassen, um urheberrechtlich geschütztes Material auszuschließen, oder die Implementierung von Mechanismen, die die Reproduktion von geschütztem Inhalt erkennen und verhindern.

Die breitere Technologieindustrie muss sich mit rechtlichen Experten, politischen Entscheidungsträgern und Interessengruppen auseinandersetzen, um einen Rahmen zu schaffen, der Innovation mit Respekt für bestehende Gesetze in Einklang bringt. Da KI weiterhin evolviert, ist es entscheidend, diese Herausforderungen proaktiv anzugehen, um verantwortungsvolle und ethische KI-Entwicklung zu gewährleisten.

Angesichts der alarmierenden Rate, mit der state-of-the-art-LLMs urheberrechtlich geschütztes Material reproduzieren, wie in Ihrer Studie nachgewiesen, welche Schritte müssen KI-Entwickler und die Industrie als Ganzes unternehmen, um diese Bedenken anzugehen? Wie plant Patronus AI, zur Schaffung verantwortungsvollerer und rechtlich konformer KI-Modelle beizutragen, angesichts dieser Ergebnisse?

Die Bekämpfung des Problems, dass KI-Modelle urheberrechtlich geschütztes Material reproduzieren, erfordert einen vielschichtigen Ansatz. KI-Entwickler und die Industrie als Ganzes müssen Transparenz und Rechenschaftspflicht in der KI-Modellentwicklung priorisieren. Dies beinhaltet:

• Verbesserung der Datenauswahl: Sicherstellen, dass Trainingsdatensätze sorgfältig ausgewählt werden, um urheberrechtlich geschütztes Material zu vermeiden, sofern nicht entsprechende Lizenzen erworben werden.
• Entwicklung von Erkennungsmechanismen: Implementierung von Systemen, die erkennen können, wenn ein KI-Modell möglicherweise urheberrechtlich geschütztes Material generiert, und den Benutzern Optionen anbieten, um solches Material zu ändern oder zu entfernen.
• Einrichtung von Branchenstandards: Zusammenarbeit mit rechtlichen Experten und Interessengruppen, um Richtlinien und Standards für die KI-Entwicklung zu schaffen, die geistige Eigentumsrechte respektieren.

Bei Patronus AI sind wir bestrebt, zur verantwortungsvollen KI-Entwicklung beizutragen, indem wir uns auf Bewertung und Compliance konzentrieren. Unsere Plattform umfasst Produkte wie EnterprisePII, die Unternehmen helfen, potenzielle Datenschutzprobleme in KI-Ausgaben zu erkennen und zu verwalten. Durch die Bereitstellung dieser Lösungen zielen wir darauf ab, Unternehmen zu befähigen, KI verantwortungsvoll und ethisch zu nutzen, während sie rechtliche Risiken minimieren.

Mit Tools wie EnterprisePII und FinanceBench, welche Verschiebungen erwarten Sie in der Art und Weise, wie Unternehmen KI einsetzen, insbesondere in sensiblen Bereichen wie Finanzen und personenbezogenen Daten?

Diese Tools bieten Unternehmen die Möglichkeit, KI-Ausgaben effektiver zu bewerten und zu verwalten, insbesondere in sensiblen Bereichen wie Finanzen und personenbezogenen Daten.

Im Finanzsektor ermöglicht FinanceBench Unternehmen, die Leistung von LLMs mit hoher Präzision zu bewerten, sodass Modelle die strengen Anforderungen von Finanzanwendungen erfüllen. Dies befähigt Unternehmen, KI für Aufgaben wie Datenanalyse und Entscheidungsfindung mit größerer Zuverlässigkeit und Sicherheit einzusetzen.

Ähnlich helfen Tools wie EnterprisePII Unternehmen, die Komplexität von Datenschutz zu meistern. Durch die Bereitstellung von Erkenntnissen über potenzielle Risiken und die Angebot von Lösungen, um diese zu mildern, ermöglichen diese Tools es Unternehmen, KI sicherer und verantwortungsvoller einzusetzen.

Insgesamt ebnet diese Art von Tools den Weg für einen informierteren und strategischeren Ansatz zur KI-Einführung, indem sie Unternehmen befähigen, die Vorteile von KI zu nutzen, während sie damit verbundene Risiken minimieren.

Wie arbeitet Patronus AI mit Unternehmen zusammen, um diese Tools in ihre bestehenden LLM-Deployments und Workflows zu integrieren?

Bei Patronus AI verstehen wir die Bedeutung einer nahtlosen Integration bei der KI-Einführung. Wir arbeiten eng mit unseren Kunden zusammen, um sicherzustellen, dass unsere Tools problemlos in ihre bestehenden LLM-Deployments und Workflows integriert werden können. Dies umfasst:

• Maßgeschneiderte Integrationspläne: Wir entwickeln gemeinsam mit jedem Kunden individuelle Integrationspläne, die auf ihre spezifischen Bedürfnisse und Ziele abgestimmt sind.
• Umfassende Unterstützung: Unser Team bietet während des gesamten Integrationsprozesses umfassende Unterstützung, einschließlich Anleitung und Hilfe, um einen reibungslosen Übergang zu gewährleisten.
• Schulung und Bildung: Wir bieten Schulungssitzungen und Bildungsressourcen an, um Kunden zu helfen, unsere Tools vollständig zu verstehen und zu nutzen, und ihnen so zu ermöglichen, das Beste aus ihren KI-Investitionen zu machen.

Angesichts der Komplexität, KI-Ausgaben sicher, genau und konform mit verschiedenen Gesetzen zu stellen, welche Ratschläge würden Sie sowohl KI-Entwicklern als auch Unternehmen, die diese einsetzen möchten, geben?

Durch die Priorisierung von Zusammenarbeit und Unterstützung zielen wir darauf ab, den Integrationsprozess so einfach und effizient wie möglich zu gestalten, um es Unternehmen zu ermöglichen, das volle Potenzial unserer KI-Lösungen zu nutzen.

Die Komplexität, sicherzustellen, dass KI-Ausgaben sicher, genau und konform mit verschiedenen Gesetzen sind, stellt erhebliche Herausforderungen dar. Für KI-Entwickler ist es entscheidend, Transparenz und Rechenschaftspflicht während des gesamten Entwicklungsprozesses zu priorisieren.

Ein grundlegender Aspekt ist die Qualität der Daten. Entwickler müssen sicherstellen, dass Trainingsdatensätze sorgfältig ausgewählt und frei von urheberrechtlich geschütztem Material sind, sofern nicht entsprechende Lizenzen erworben wurden. Dies hilft nicht nur, potenzielle rechtliche Probleme zu vermeiden, sondern stellt auch sicher, dass die KI zuverlässige Ausgaben generiert. Darüber hinaus ist es entscheidend, Vorurteile und Fairness anzugehen. Durch die aktive Identifizierung und Milderung von Vorurteilen und die Entwicklung diverser und repräsentativer Trainingsdaten können Entwickler Vorurteile reduzieren und faire Ergebnisse für alle Benutzer gewährleisten.

Robuste Bewertungsverfahren sind unerlässlich. Die Implementierung strenger Tests und die Nutzung von Benchmarks wie FinanceBench können helfen, die Leistung und Zuverlässigkeit von KI-Modellen zu bewerten, um sicherzustellen, dass sie die Anforderungen spezifischer Anwendungsfälle erfüllen. Darüber hinaus sollten ethische Überlegungen im Vordergrund stehen. Die Einbindung in ethische Richtlinien und Rahmenbedingungen stellt sicher, dass KI-Systeme verantwortungsvoll und im Einklang mit gesellschaftlichen Werten entwickelt werden.

Für Unternehmen, die KI einsetzen möchten, ist es entscheidend, die Fähigkeiten von KI zu verstehen. Es ist wichtig, realistische Erwartungen zu haben und sicherzustellen, dass KI effektiv innerhalb des Unternehmens eingesetzt wird. Nahtlose Integration und Unterstützung sind ebenfalls von entscheidender Bedeutung. Durch die Zusammenarbeit mit vertrauenswürdigen Partnern können Unternehmen KI-Lösungen in ihre bestehenden Workflows integrieren und sicherstellen, dass ihre Teams geschult und unterstützt werden, um KI effektiv zu nutzen.

Compliance und Sicherheit sollten priorisiert werden, mit Fokus auf die Einhaltung relevanter Vorschriften und Datenschutzgesetze. Tools wie EnterprisePII können helfen, potenzielle Risiken zu überwachen und zu verwalten. Kontinuierliche Überwachung und regelmäßige Bewertung der KI-Leistung sind ebenfalls notwendig, um Genauigkeit und Zuverlässigkeit zu gewährleisten und Anpassungen vorzunehmen, wenn erforderlich.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Patronus AI besuchen.