Alex Ratner, CEO e Co-Fondatore di Snorkel AI – Serie di Interviste

Alex Ratner è il CEO e Co-Fondatore di Snorkel AI, un’azienda nata dal laboratorio di intelligenza artificiale di Stanford.

Snorkel AI rende lo sviluppo dell’intelligenza artificiale veloce e pratico trasformando i processi di sviluppo dell’intelligenza artificiale manuale in soluzioni programmatiche. Snorkel AI consente alle aziende di sviluppare intelligenza artificiale che funziona per i loro carichi di lavoro unici utilizzando i loro dati e conoscenze proprietarie 10-100 volte più velocemente.

Cosa ti ha inizialmente attirato verso l’informatica?

Ci sono due aspetti molto emozionanti dell’informatica quando sei giovane. Uno, puoi imparare velocemente come vuoi sperimentando e costruendo, grazie al feedback immediato, piuttosto che dover aspettare un insegnante. Due, puoi costruire molto senza dover chiedere il permesso a nessuno!

Sono entrato nella programmazione quando ero un bambino per questi motivi. Ho anche amato la precisione che richiedeva. Mi piaceva il processo di astrazione di processi e routine complessi e poi codificarli in modo modulare.

In seguito, da adulto, sono tornato nel settore dell’informatica professionalmente attraverso un lavoro di consulenza in cui mi è stato chiesto di scrivere script per eseguire alcune analisi basiche del corpus dei brevetti. Ero affascinato da quanto conoscenza umana – qualsiasi cosa che qualcuno avesse mai ritenuto brevettabile – fosse facilmente disponibile, eppure così inaccessibile perché era così difficile eseguire anche le analisi più semplici su testi tecnici complessi e dati multi-modali.

Questo è ciò che mi ha portato a tornare giù nel coniglio, e infine di nuovo alla scuola di specializzazione a Stanford, concentrandomi sull’NLP, che è l’area dell’utilizzo di ML/IA sul linguaggio naturale.

Hai iniziato e guidato il progetto open-source Snorkel mentre eri a Stanford, puoi raccontarci il viaggio di quei primi giorni?

All’epoca eravamo, come molti nel settore, concentrati sullo sviluppo di nuovi algoritmi e – cioè tutte le “cose eleganti” dell’apprendimento automatico che le persone nel settore facevano ricerca e pubblicavano.

Tuttavia, eravamo sempre molto impegnati a radicare questo in problemi del mondo reale – soprattutto con medici e scienziati a Stanford. Ma ogni volta che presentavamo un nuovo modello o algoritmo, la risposta diventava “sì, proveremmo quello, ma avremmo bisogno di tutti questi dati di addestramento etichettati che non abbiamo il tempo di creare!”

Stavamo vedendo che il grande problema non detto era intorno al processo di etichettatura e cura di quei dati di addestramento – quindi abbiamo spostato tutta la nostra attenzione su questo, ed è così che il progetto Snorkel e l’idea di “intelligenza artificiale centrata sui dati” sono iniziati.

Snorkel ha un approccio di intelligenza artificiale centrata sui dati, puoi definire cosa significa e come differisce dall’intelligenza artificiale centrata sul modello?

L’intelligenza artificiale centrata sui dati significa concentrarsi sulla costruzione di dati migliori per costruire modelli migliori.

Questo si contrappone a – ma lavora a stretto contatto con – l’intelligenza artificiale centrata sul modello. Nell’intelligenza artificiale centrata sul modello, gli scienziati dei dati o i ricercatori suppongono che i dati siano statici e riversano la loro energia nell’aggiustare le architetture dei modelli e i parametri per ottenere risultati migliori.

I ricercatori fanno ancora un ottimo lavoro nell’intelligenza artificiale centrata sul modello, ma i modelli pronti all’uso e le tecniche di auto ML sono migliorati così tanto che la scelta del modello è diventata una commodity nel tempo di produzione. Quando è così, il modo migliore per migliorare questi modelli è fornire loro più e migliori dati.

Quali sono i principi fondamentali di un approccio di intelligenza artificiale centrata sui dati?

Il principio fondamentale dell’intelligenza artificiale centrata sui dati è semplice: i dati migliori costruiscono modelli migliori.

Nel nostro lavoro accademico, abbiamo chiamato questo “programmazione dei dati”. L’idea è che se si alimenta un modello robusto con abbastanza esempi di input e output attesi, il modello impara a duplicare quei modelli.

Questo presenta una sfida più grande di quanto potresti aspettarti. La stragrande maggioranza dei dati non ha etichette – o, almeno, non ha etichette utili per la tua applicazione. Etichettare quei dati manualmente richiede tediosità, tempo e sforzo umano.

Avere un set di dati etichettati non garantisce nemmeno la qualità. Gli errori umani si insinuano ovunque. Ogni esempio errato nel tuo set di dati di base degraderà le prestazioni del modello finale. Nessun aggiustamento dei parametri può coprire quella realtà. I ricercatori hanno anche trovato record etichettati in modo errato in set di dati open source fondamentali.

Puoi spiegare cosa significa per l’intelligenza artificiale centrata sui dati essere programmatica?

Etichettare manualmente i dati presenta serie sfide. Ciò richiede molte ore di lavoro umano, e a volte quelle ore di lavoro umano possono essere costose. I documenti medici, ad esempio, possono essere etichettati solo da medici.

Inoltre, le sessioni di etichettatura manuale spesso equivalgono a progetti a uso singolo. Gli etichettatori annotano i dati secondo uno schema rigido. Se le esigenze di un’azienda cambiano e richiedono un diverso set di etichette, gli etichettatori devono ricominciare da capo.

Gli approcci programmatici all’intelligenza artificiale centrata sui dati minimizzano entrambi questi problemi. Il sistema di etichettatura programmatico di Snorkel AI incorpora segnali diversi – da modelli legacy a etichette esistenti a basi di conoscenza esterne – per sviluppare etichette probabilistiche su larga scala. La nostra principale fonte di segnale proviene da esperti del settore che collaborano con scienziati dei dati per costruire funzioni di etichettatura. Queste funzioni codificano il loro giudizio esperto in regole scalabili, consentendo lo sforzo investito in una decisione di impattare decine o centinaia di punti di dati.

Questo framework è anche flessibile. Invece di ricominciare da capo quando le esigenze aziendali cambiano, gli utenti aggiungono, rimuovono e regolano le funzioni di etichettatura per applicare nuove etichette in ore invece di giorni.

Come questo approccio di intelligenza artificiale centrata sui dati consente una rapida scalabilità dei dati non etichettati?

Il nostro approccio programmatico all’intelligenza artificiale centrata sui dati consente una rapida scalabilità dei dati non etichettati ampliando l’impatto di ogni scelta. Una volta che gli esperti del settore stabiliscono un insieme iniziale piccolo di dati di base, iniziano a collaborare con gli scienziati dei dati per un’iterazione rapida. Definiscono alcune funzioni di etichettatura, addestrano un modello veloce, analizzano l’impatto delle loro funzioni di etichettatura e poi aggiungono, rimuovono o regolano le funzioni di etichettatura come necessario.

Ogni ciclo migliora le prestazioni del modello fino a quando non soddisfa o supera gli obiettivi del progetto. Ciò può ridurre mesi di lavoro di etichettatura dei dati a solo ore. In uno dei progetti di ricerca di Snorkel, due dei nostri ricercatori hanno etichettato 20.000 documenti in un solo giorno – un volume che avrebbe potuto richiedere ai tagger manuali dieci settimane o più.

Snorkel offre diverse soluzioni di intelligenza artificiale, tra cui Snorkel Flow, Snorkel GenGlow e Snorkel Foundry. Quali sono le differenze tra queste offerte?

La suite di Snorkel AI consente agli utenti di creare funzioni di etichettatura (ad esempio, cercare parole chiave o modelli in documenti) per etichettare in modo programmatico milioni di punti di dati in pochi minuti, invece di etichettare manualmente un punto di dati alla volta.

Comprime il tempo necessario alle aziende per tradurre i dati proprietari in modelli pronti per la produzione e iniziare a estrarre valore da essi. Snorkel AI consente alle aziende di scalare gli approcci con l’uomo nel ciclo incorporando efficientemente il giudizio umano e la conoscenza degli esperti del settore.

Questo porta a un’intelligenza artificiale più trasparente e spiegabile, dotando le aziende di strumenti per gestire i pregiudizi e fornire risultati responsabili.

Scendendo nel dettaglio, Snorkel AI consente alle aziende Fortune 500 di:

• Sviluppare dati etichettati di alta qualità per addestrare modelli o migliorare RAG;
• Personalizzare LLM con il fine-tuning;
• Distillare LLM in modelli specializzati che sono molto più piccoli e meno costosi da operare;
• Costruire LLM specifici di dominio e attività con pre-addestramento.

Hai scritto alcuni articoli fondamentali, secondo te quale è il tuo articolo più importante?

Uno dei principali articoli è stato quello originale su programmazione dei dati (etichettatura dei dati di addestramento in modo programmatico) e su quello per Snorkel.

Qual è la tua visione per il futuro di Snorkel?

Vedo Snorkel diventare un partner affidabile per tutte le grandi aziende che sono serie sull’intelligenza artificiale.

Snorkel Flow dovrebbe diventare uno strumento ubiquo per i team di scienziati dei dati delle grandi aziende – che si tratti di fine-tuning di modelli linguistici personalizzati per le loro aziende, di costruzione di modelli di classificazione di immagini o di costruzione di modelli di regressione logistica semplici e distribuibili.

A prescindere da quale tipo di modelli un’azienda abbia bisogno, avranno bisogno di dati etichettati di alta qualità per addestrarli.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Snorkel AI,