Anand Kannappan, CEO & Co-founder di Patronus AI – Serie di interviste

Anand Kannappan è Co-Founder e CEO di Patronus AI, la prima piattaforma automatizzata di valutazione e sicurezza AI per aiutare le imprese a rilevare gli errori dei modelli di linguaggio a larga scala.. In precedenza, Anand ha guidato gli sforzi di spiegazione della ML e di sperimentazione avanzata presso Meta Reality Labs.

Cosa ti ha inizialmente attratto verso l’informatica?

Crescendo, sono sempre stato affascinato dalla tecnologia e da come potesse essere utilizzata per risolvere problemi del mondo reale. L’idea di poter creare qualcosa dal nulla utilizzando solo un computer e un codice mi ha intrigato. Man mano che mi addentravo nell’informatica, mi sono reso conto del potenziale enorme che essa possiede per l’innovazione e la trasformazione in vari settori. Questa spinta all’innovazione e al fare la differenza è ciò che mi ha inizialmente attratto verso l’informatica.

Potresti condividere la storia di come è nata Patronus AI?

La genesi di Patronus AI è un viaggio piuttosto interessante. Quando OpenAI ha lanciato ChatGPT, è diventato il prodotto consumer più veloce nella storia, raggiungendo oltre 100 milioni di utenti in soli due mesi. Questa adozione massiccia ha messo in luce il potenziale dell’AI generativa, ma ha anche evidenziato l’esitazione delle imprese nell’implementare l’AI a un ritmo così rapido. Molte aziende erano preoccupate per gli errori potenziali e il comportamento imprevedibile dei modelli di linguaggio a larga scala (LLM).

Rebecca e io ci conosciamo da anni, avendo studiato insieme informatica all’Università di Chicago. In Meta, abbiamo entrambi affrontato sfide nella valutazione e nell’interpretazione dei risultati della ML – Rebecca da un punto di vista di ricerca e io da un punto di vista applicativo. Quando ChatGPT è stato annunciato, abbiamo entrambi visto il potenziale trasformativo dei LLM, ma abbiamo anche capito la cautela che le imprese stavano esercitando.

Il punto di svolta è arrivato quando il fratello di Rebecca, che lavora in una banca d’investimenti, Piper Sandler, ha deciso di vietare l’accesso a OpenAI all’interno della banca. Ciò ci ha fatto capire che, sebbene l’AI fosse avanzata notevolmente, c’era ancora un gap nell’adozione da parte delle imprese a causa delle preoccupazioni sulla sicurezza e l’affidabilità. Abbiamo fondato Patronus AI per colmare questo gap e aumentare la fiducia delle imprese nell’AI generativa, fornendo uno strato di valutazione e sicurezza per i LLM.

Potresti descrivere la funzionalità principale della piattaforma di Patronus AI per la valutazione e la sicurezza dei LLM?

La nostra missione è quella di aumentare la fiducia delle imprese nell’AI generativa. Abbiamo sviluppato la prima piattaforma automatizzata di valutazione e sicurezza specificamente progettata per i LLM. La nostra piattaforma aiuta le aziende a rilevare gli errori nei risultati dei LLM a larga scala, consentendo loro di implementare prodotti AI in modo sicuro e con fiducia.

La nostra piattaforma automatizza diversi processi chiave:

• Valutazione: Valutiamo le prestazioni del modello in scenari del mondo reale, concentrandoci su criteri importanti come allucinazioni e sicurezza.
• Generazione di test: Generiamo automaticamente suite di test avversarie a larga scala per valutare rigorosamente le capacità del modello.
• Confronto: Confrontiamo diversi modelli per aiutare i clienti a identificare il miglior adattamento per i loro casi d’uso specifici.

Le imprese preferiscono valutazioni frequenti per adattarsi a modelli, dati e esigenze degli utenti in evoluzione. La nostra piattaforma agisce come un valutatore di terze parti affidabile, fornendo una prospettiva imparziale simile a quella di Moody’s nello spazio AI. I nostri primi partner includono importanti aziende di AI come MongoDB (MDB ), Databricks, Cohere e Nomic AI, e siamo in discussione con diverse aziende di alto profilo in settori tradizionali per testare la nostra piattaforma.

Quali tipi di errori o “allucinazioni” rileva il modello Lynx di Patronus AI nei risultati dei LLM e come affronta questi problemi per le aziende?

I LLM sono strumenti potenti, ma la loro natura probabilistica li rende soggetti ad “allucinazioni”, ovvero errori in cui il modello genera informazioni inaccurate o non pertinenti. Queste allucinazioni sono problematiche, in particolare in ambienti aziendali ad alto rischio dove l’accuratezza è critica.

Tradizionalmente, le aziende si sono affidate all’ispezione manuale per valutare i risultati dei LLM, un processo non solo lungo ma anche non scalabile. Per semplificare questo, Patronus AI ha sviluppato Lynx, un modello specializzato che aumenta la capacità della nostra piattaforma automatizzando la rilevazione di allucinazioni. Lynx, integrato nella nostra piattaforma, fornisce una copertura di test completa e garanzie di prestazioni robuste, concentrandosi sull’identificazione di errori critici che potrebbero avere un impatto significativo sulle operazioni aziendali, come calcoli finanziari errati o errori nella revisione di documenti legali.

Con Lynx, mitigiamo i limiti della valutazione manuale attraverso test avversari automatici, esplorando un ampio spettro di possibili scenari di fallimento. Ciò consente la rilevazione di problemi che potrebbero sfuggire ai valutatori umani, offrendo alle aziende una maggiore affidabilità e la fiducia per implementare LLM in applicazioni critiche.

FinanceBench è descritto come il primo benchmark per la valutazione delle prestazioni dei LLM in questioni finanziarie. Quali sfide nel settore finanziario hanno portato allo sviluppo di FinanceBench?

FinanceBench è stato sviluppato in risposta alle sfide uniche affrontate dal settore finanziario nell’adozione dei LLM. Le applicazioni finanziarie richiedono un alto livello di accuratezza e affidabilità, poiché gli errori possono portare a significative perdite finanziarie o problemi regolatori. Nonostante la promessa dei LLM nel gestire grandi volumi di dati finanziari, la nostra ricerca ha mostrato che modelli all’avanguardia come GPT-4 e Llama 2 hanno faticato con le domande finanziarie, spesso fallendo nel recuperare informazioni accurate.

FinanceBench è stato creato come un benchmark completo per valutare le prestazioni dei LLM in contesti finanziari. Include 10.000 coppie di domande e risposte basate su documenti finanziari pubblicamente disponibili, coprendo aree come ragionamento numerico, recupero di informazioni, ragionamento logico e conoscenza del mondo. Fornendo questo benchmark, ci proponiamo di aiutare le imprese a comprendere meglio i limiti dei modelli attuali e identificare aree di miglioramento.

La nostra analisi iniziale ha rivelato che molti LLM non soddisfano gli standard elevati richiesti per le applicazioni finanziarie, evidenziando la necessità di ulteriore raffinamento e valutazione mirata. Con FinanceBench, stiamo fornendo uno strumento prezioso per le imprese per valutare e migliorare le prestazioni dei LLM nel settore finanziario.

La tua ricerca ha messo in luce che i principali modelli di AI, in particolare GPT-4 di OpenAI, generano contenuti protetti da copyright a tassi significativi quando viene loro fornito un estratto da libri popolari. Cosa pensi siano le implicazioni a lungo termine di questi risultati per lo sviluppo dell’AI e l’industria tecnologica più ampia, considerando i dibattiti in corso su AI e legge sul copyright?

La questione dei modelli di AI che generano contenuti protetti da copyright è una preoccupazione complessa e urgente nell’industria dell’AI. La nostra ricerca ha mostrato che modelli come GPT-4, quando forniti con estratti da libri popolari, spesso riproducono materiale protetto da copyright. Ciò solleva importanti questioni sui diritti di proprietà intellettuale e sulle implicazioni legali dell’utilizzo di contenuti generati dall’AI.

A lungo termine, questi risultati sottolineano la necessità di linee guida più chiare e regolamenti sull’AI e il copyright. L’industria deve lavorare per sviluppare modelli di AI che rispettino i diritti di proprietà intellettuale, mantenendo al contempo le loro capacità creative. Ciò potrebbe coinvolgere il raffinamento dei set di dati di training per escludere il materiale protetto da copyright o l’implementazione di meccanismi che rilevino e prevenzano la riproduzione di contenuti protetti.

L’industria tecnologica più ampia deve impegnarsi in discussioni continue con esperti legali, responsabili delle politiche e stakeholder per stabilire un quadro che bilanci l’innovazione con il rispetto delle leggi esistenti. Man mano che l’AI continua a evolversi, è cruciale affrontare queste sfide in modo proattivo per garantire uno sviluppo dell’AI responsabile e etico.

Considerato il tasso allarmante con cui i LLM di ultima generazione riproducono contenuti protetti da copyright, come evidenziato dal tuo studio, quali passi pensi che gli sviluppatori di AI e l’industria nel suo complesso debbano intraprendere per affrontare queste preoccupazioni? Inoltre, come Patronus AI intende contribuire a creare modelli di AI più responsabili e conformi alle leggi a seguito di questi risultati?

Affrontare la questione dei modelli di AI che riproducono contenuti protetti da copyright richiede un approccio multifacético. Gli sviluppatori di AI e l’industria nel suo complesso devono dare priorità alla trasparenza e alla responsabilità nello sviluppo dei modelli di AI. Ciò include:

• Miglioramento della selezione dei dati: Assicurarsi che i set di dati di training siano curati con attenzione per evitare il materiale protetto da copyright, a meno che non siano ottenute le licenze adeguate.
• Sviluppo di meccanismi di rilevamento: Implementare sistemi che possano identificare quando un modello di AI sta generando potenzialmente contenuti protetti da copyright e fornire agli utenti opzioni per modificare o rimuovere tali contenuti.
• Stabilimento di standard di settore: Collaborare con esperti legali e stakeholder dell’industria per creare linee guida e standard per lo sviluppo di AI che rispettino i diritti di proprietà intellettuale.

In Patronus AI, ci impegniamo a contribuire allo sviluppo responsabile dell’AI, concentrandoci sulla valutazione e sulla conformità. La nostra piattaforma include prodotti come EnterprisePII, che aiutano le imprese a rilevare e gestire potenziali problemi di privacy nei risultati dell’AI. Fornendo queste soluzioni, ci proponiamo di dotare le imprese di strumenti per utilizzare l’AI in modo responsabile ed etico, minimizzando al contempo i rischi legali.

Con strumenti come EnterprisePII e FinanceBench, quali cambiamenti ti aspetti nell’implementazione dell’AI da parte delle imprese, in particolare in settori sensibili come la finanza e i dati personali?

Questi strumenti forniscono alle imprese la capacità di valutare e gestire i risultati dell’AI in modo più efficace, in particolare in settori sensibili come la finanza e i dati personali.

Nel settore finanziario, FinanceBench consente alle imprese di valutare le prestazioni dei LLM con un alto livello di precisione, garantendo che i modelli soddisfino i requisiti stringenti delle applicazioni finanziarie. Ciò consente alle imprese di sfruttare l’AI per compiti come l’analisi dei dati e la presa di decisioni con maggiore fiducia e affidabilità.

Allo stesso modo, strumenti come EnterprisePII aiutano le imprese a navigare le complessità della protezione dei dati. Fornendo informazioni sui potenziali rischi e offrendo soluzioni per mitigarli, questi strumenti consentono alle imprese di implementare l’AI in modo più sicuro e responsabile.

Nel complesso, questi strumenti stanno aprendo la strada a un approccio più informato e strategico all’adozione dell’AI, aiutando le imprese a sfruttare i benefici dell’AI mentre minimizzano i rischi associati.

Come Patronus AI lavora con le aziende per integrare questi strumenti nelle loro implementazioni di LLM esistenti e nei flussi di lavoro?

In Patronus AI, comprendiamo l’importanza di un’integrazione senza soluzione di continuità quando si tratta dell’adozione dell’AI. Lavoriamo a stretto contatto con i nostri clienti per assicurarci che i nostri strumenti siano facilmente incorporati nelle loro implementazioni di LLM esistenti e nei flussi di lavoro. Ciò include fornire ai clienti:

• Piani di integrazione personalizzati: Collaboriamo con ogni cliente per sviluppare piani di integrazione personalizzati che si allineino con le loro esigenze e obiettivi specifici.
• Supporto completo: Il nostro team fornisce supporto continuo durante il processo di integrazione, offrendo orientamento e assistenza per garantire una transizione senza problemi.
• Formazione e istruzione: Offriamo sessioni di formazione e risorse educative per aiutare i clienti a comprendere e utilizzare al meglio i nostri strumenti, dotandoli di strumenti per ottenere il massimo dal loro investimento in AI.

Considerate le complessità di garantire che i risultati dell’AI siano sicuri, accurati e conformi a varie leggi, quali consigli offriresti sia agli sviluppatori di LLM che alle aziende che intendono utilizzarli?

Prioritizzando la collaborazione e il supporto, ci proponiamo di rendere il processo di integrazione il più possibile semplice ed efficiente, consentendo alle imprese di sbloccare appieno il potenziale delle nostre soluzioni AI.

Le complessità di garantire che i risultati dell’AI siano sicuri, accurati e conformi a varie leggi presentano sfide significative. Per gli sviluppatori di LLM, la chiave è dare priorità alla trasparenza e alla responsabilità durante il processo di sviluppo.

Uno degli aspetti fondamentali è la qualità dei dati. Gli sviluppatori devono assicurarsi che i set di dati di training siano ben curati e liberi da materiale protetto da copyright, a meno che non siano ottenute le licenze adeguate. Ciò non solo aiuta a prevenire potenziali problemi legali, ma garantisce anche che l’AI generi risultati affidabili. Inoltre, affrontare la questione dei pregiudizi e della equità è cruciale. Lavorando attivamente per identificare e mitigare i pregiudizi e sviluppare set di dati di training diversi e rappresentativi, gli sviluppatori possono ridurre i pregiudizi e garantire risultati equi per tutti gli utenti.

Procedure di valutazione robuste sono essenziali. Implementare test rigorosi e utilizzare benchmark come FinanceBench può aiutare a valutare le prestazioni e l’affidabilità dei modelli di AI, garantendo che soddisfino i requisiti di specifici casi d’uso. Inoltre, le considerazioni etiche dovrebbero essere al centro dell’attenzione. Partecipare a quadri etici e framework garantisce che i sistemi di AI siano sviluppati in modo responsabile e allineato con i valori della società.

Per le aziende che intendono sfruttare i LLM, comprendere le capacità dell’AI è cruciale. È importante avere aspettative realistiche e assicurarsi che l’AI sia utilizzato in modo efficace all’interno dell’organizzazione. Un’integrazione senza soluzione di continuità e il supporto sono vitali. Lavorando con partner affidabili, le aziende possono integrare le soluzioni di AI nei flussi di lavoro esistenti e assicurarsi che i loro team siano formati e supportati per sfruttare al meglio l’AI.

La conformità e la sicurezza dovrebbero essere prioritarie, con un focus sull’aderenza alle leggi e alle norme di protezione dei dati pertinenti. Strumenti come EnterprisePII possono aiutare a monitorare e gestire i rischi potenziali. La valutazione continua e la valutazione regolare delle prestazioni dell’AI sono anche necessarie per mantenere l’accuratezza e l’affidabilità, consentendo gli aggiustamenti necessari.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Patronus AI.