Alex Ratner, CEO e co-fondatore di Snorkel AI – Serie di interviste

Alex Ratner è il CEO e co-fondatore di Snorkeling AI, un'azienda nata dal laboratorio di intelligenza artificiale di Stanford.

Snorkeling AI rende lo sviluppo dell'intelligenza artificiale veloce e pratico trasformando i processi manuali di sviluppo dell'intelligenza artificiale in soluzioni programmatiche. Snorkel AI consente alle aziende di sviluppare un'intelligenza artificiale che funzioni per i loro carichi di lavoro specifici utilizzando dati e conoscenze proprietari 10-100 volte più velocemente.

Cosa ti ha attratto inizialmente verso l'informatica?

Ci sono due aspetti molto interessanti dell'informatica quando sei giovane. Primo, puoi imparare il più velocemente possibile armeggiando e costruendo, dato il feedback immediato, invece di dover aspettare un insegnante. Due: inizi a costruire Un sacco senza dover chiedere il permesso a nessuno!

Ho iniziato a programmare quando ero ragazzino per questi motivi. Ho apprezzato anche la precisione richiesta. Mi è piaciuto il processo di astrazione di processi e routine complessi e quindi di codificarli in modo modulare.

Successivamente, da adulto, sono tornato professionalmente nel campo dell'informatica attraverso un lavoro di consulenza in cui mi è stato assegnato il compito di scrivere script per eseguire alcune analisi di base del corpus dei brevetti. Ero affascinato da quanta conoscenza umana – tutto ciò che chiunque avesse mai ritenuto brevettabile – fosse prontamente disponibile, eppure così inaccessibile perché era così difficile fare anche l’analisi più semplice su testi tecnici complessi e dati multimodali.

Questo è ciò che mi ha portato di nuovo nella tana del coniglio e alla fine alla scuola di specializzazione a Stanford, concentrandomi sulla PNL, che è l'area di utilizzo del ML/AI sul linguaggio naturale.

Hai avviato e guidato il progetto open source Snorkel mentre eri a Stanford, potresti guidarci attraverso il viaggio di questi primi giorni?

Allora eravamo, come molti nel settore, concentrati sullo sviluppo di nuovi algoritmi e, vale a dire, su tutte le cose "fantasiose" di apprendimento automatico su cui le persone nella comunità facevano ricerche e pubblicavano articoli.

Tuttavia, siamo sempre stati molto impegnati a radicare tutto questo nei problemi del mondo reale, soprattutto con medici e scienziati di Stanford. Ma ogni volta che lanciavamo un nuovo modello o algoritmo, la risposta diventava "certo, ci proveremmo, ma avremmo bisogno di tutti questi dati di addestramento etichettati che non abbiamo tempo di creare!" 

Stavamo vedendo che il grande problema inespresso riguardava il processo di etichettatura e cura dei dati di addestramento, quindi abbiamo spostato tutta la nostra attenzione su quello, ed è così che è iniziato il progetto Snorkel e l'idea di "AI incentrata sui dati".

Snorkel ha un approccio AI incentrato sui dati, potresti definire cosa significa e in cosa differisce dallo sviluppo dell'IA incentrato sul modello?

L’intelligenza artificiale incentrata sui dati significa concentrarsi sulla creazione di dati migliori per costruire modelli migliori.

Ciò è in contrasto con l’intelligenza artificiale incentrata sul modello, ma funziona di pari passo con essa. Nell’intelligenza artificiale incentrata sul modello, i data scientist o i ricercatori presumono che i dati siano statici e riversano le proprie energie nella regolazione delle architetture e dei parametri del modello per ottenere risultati migliori.

I ricercatori svolgono ancora un ottimo lavoro nell'intelligenza artificiale incentrata sui modelli, ma i modelli standard e le tecniche di machine learning sono migliorati così tanto che la scelta del modello è diventata una mercificazione al momento della produzione. In tal caso, il modo migliore per migliorare questi modelli è fornire loro dati più numerosi e migliori.

Quali sono i principi fondamentali di un approccio AI incentrato sui dati?

Il principio fondamentale dell’AI incentrata sui dati è semplice: dati migliori creano modelli migliori. 

Nel nostro lavoro accademico, abbiamo chiamato questa “programmazione dei dati”. L'idea è che se si alimenta un modello sufficientemente robusto con sufficienti esempi di input e output attesi, il modello impara a duplicare tali modelli.

Ciò rappresenta una sfida più grande di quanto potresti aspettarti. La stragrande maggioranza dei dati non ha etichette o, almeno, non ha etichette utili per la tua applicazione. Etichettare manualmente i dati richiede noia, tempo e impegno umano.

Inoltre, avere un set di dati etichettato non garantisce la qualità. L’errore umano si insinua ovunque. Ogni esempio errato nella tua verità di base degraderà le prestazioni del modello finale. Nessuna quantità di regolazione dei parametri può nascondere questa realtà. I ricercatori hanno persino trovato record etichettati in modo errato nei set di dati open source di base.

Potresti spiegare cosa significa che l'intelligenza artificiale incentrata sui dati è programmatica?

L’etichettatura manuale dei dati presenta gravi sfide. Ciò richiede molte ore umane e talvolta tali ore umane possono essere costose. I documenti medici, ad esempio, possono essere etichettati solo dai medici.

Inoltre, gli sprint di etichettatura manuale spesso equivalgono a progetti monouso. Gli etichettatori annotano i dati secondo uno schema rigido. Se le esigenze di un'azienda cambiano e richiedono un diverso set di etichette, gli etichettatori devono ricominciare da capo.

Gli approcci programmatici all’intelligenza artificiale incentrata sui dati riducono al minimo entrambi questi problemi. Il sistema di etichettatura programmatica di Snorkel AI incorpora diversi segnali, dai modelli legacy alle etichette esistenti alle basi di conoscenza esterne, per sviluppare etichette probabilistiche su larga scala. La nostra principale fonte di segnali proviene da esperti in materia che collaborano con data scientist per creare funzioni di etichettatura. Questi codificano il loro giudizio esperto in regole scalabili, consentendo allo sforzo investito in una decisione di influenzare dozzine o centinaia di punti dati.

Questo quadro è anche flessibile. Invece di iniziare da zero quando le esigenze aziendali cambiano, gli utenti aggiungono, rimuovono e modificano le funzioni di etichettatura per applicare nuove etichette in poche ore anziché in giorni.

In che modo questo approccio incentrato sui dati consente una rapida scalabilità dei dati senza etichetta?

Il nostro approccio programmatico all'intelligenza artificiale incentrata sui dati consente un rapido ridimensionamento dei dati senza etichetta amplificando l'impatto di ogni scelta. Una volta che gli esperti in materia stabiliscono un primo, piccolo insieme di verità fondamentali, iniziano a collaborare con i data scientist per una rapida iterazione. Definiscono alcune funzioni di etichettatura, addestrano un modello rapido, analizzano l'impatto delle loro funzioni di etichettatura e quindi aggiungono, rimuovono o modificano le funzioni di etichettatura secondo necessità.

Ogni ciclo migliora le prestazioni del modello finché non soddisfa o supera gli obiettivi del progetto. Ciò può ridurre i mesi di lavoro di etichettatura dei dati a poche ore. In un progetto di ricerca Snorkel, due dei nostri ricercatori hanno etichettato 20,000 documenti in un solo giorno, un volume che avrebbe potuto richiedere alle etichettatrici manuali dieci settimane o più.

Snorkel offre molteplici soluzioni AI tra cui Snorkel Flow, Snorkel GenGlow e Snorkel Foundry. Quali sono le differenze tra queste offerte?

La suite Snorkel AI consente agli utenti di creare funzioni di etichettatura (ad esempio, cercare parole chiave o modelli nei documenti) per etichettare in modo programmatico milioni di punti dati in pochi minuti, anziché taggare manualmente un punto dati alla volta.

Comprime il tempo necessario alle aziende per tradurre i dati proprietari in modelli pronti per la produzione e iniziare a estrarne valore. Snorkel AI consente alle aziende di ampliare gli approcci human-in-the-loop incorporando in modo efficiente il giudizio umano e la conoscenza degli esperti in materia.

Ciò porta a un’intelligenza artificiale più trasparente e spiegabile, consentendo alle imprese di gestire i pregiudizi e fornire risultati responsabili.

Andando al nocciolo della questione, Snorkels AI consente alle aziende Fortune 500 di:

• Sviluppare dati etichettati di alta qualità per addestrare modelli o migliorare RAG;
• Personalizzare gli LLM con la messa a punto;
• Distillare gli LLM in modelli specializzati che sono molto più piccoli ed economici da gestire;
• Costruisci LLM specifici per dominio e attività con la formazione preliminare.

Hai scritto alcuni articoli innovativi, secondo te qual è il tuo articolo più importante?

Uno dei documenti chiave era quello originale programmazione dei dati (etichettatura programmatica dei dati di addestramento) e su quello per Snorkel.

Qual è la tua visione per il futuro di Snorkel?

Vedo che Snorkel diventerà un partner di fiducia per tutte le grandi imprese che prendono sul serio l'intelligenza artificiale.

Snorkel Flow dovrebbe diventare uno strumento onnipresente per i team di data science delle grandi aziende, sia che stiano mettendo a punto modelli linguistici personalizzati di grandi dimensioni per le loro organizzazioni, costruendo modelli di classificazione delle immagini o costruendo modelli di regressione logistica semplici e implementabili.

Indipendentemente dal tipo di modelli di cui un’azienda ha bisogno, avrà bisogno di dati etichettati di alta qualità per addestrarla.

Grazie per l'ottima intervista, i lettori che desiderano saperne di più dovrebbero visitare Snorkeling AI,