Steven Hillion, SVP di Dati e Intelligenza Artificiale di Astronomer – Serie di Interviste

Steven Hillion è il Senior Vice President di Dati e Intelligenza Artificiale di Astronomer, dove sfrutta la sua vasta esperienza accademica nella ricerca matematica e oltre 15 anni di esperienza nello sviluppo di piattaforme di apprendimento automatico nella Silicon Valley. In Astronomer, guida la creazione di funzionalità di Apache Airflow specificamente progettate per team di ML e AI e sovraintende al team di data science interno. Sotto la sua leadership, Astronomer ha avanzato la sua piattaforma di orchestrazione dei dati moderna, migliorando notevolmente le sue capacità di pipeline dei dati per supportare una vasta gamma di fonti di dati e attività attraverso l’apprendimento automatico.

Posso condividere alcune informazioni sul suo percorso nella scienza dei dati e nell’intelligenza artificiale, e su come questo ha plasmato il suo approccio alla guida di team di ingegneria e analisi?

Avevo una formazione in matematica pura a Berkeley prima di trasferirmi nella Silicon Valley e lavorare come ingegnere in una serie di start-up di successo. Ero felice di lasciarmi alle spalle la politica e la burocrazia dell’ambiente accademico, ma mi resi conto che dopo pochi anni mi mancava la matematica. Quindi mi sono spostato verso lo sviluppo di piattaforme per l’apprendimento automatico e l’analisi, e questo è più o meno ciò che ho fatto da allora.

La mia formazione in matematica pura mi ha portato a preferire ciò che i data scientist chiamano “parsimonia” – lo strumento giusto per il lavoro, e nulla di più. Poiché i matematici tendono a favorire soluzioni eleganti rispetto a macchinari complessi, ho sempre cercato di enfatizzare la semplicità nell’applicazione dell’apprendimento automatico ai problemi aziendali. L’apprendimento profondo è ottimo per alcune applicazioni – i modelli linguistici grandi sono brillanti per riassumere documenti, ad esempio – ma a volte un semplice modello di regressione è più adatto ed è più facile da spiegare.

È stato affascinante vedere il ruolo mutevole del data scientist e dell’ingegnere software negli ultimi vent’anni, da quando l’apprendimento automatico è diventato diffuso. Avendo indossato entrambi i cappelli, sono molto consapevole dell’importanza del ciclo di vita dello sviluppo software (in particolare l’automazione e il testing) come applicato ai progetti di apprendimento automatico.

Quali sono le sfide più grandi nel muovere, elaborare e analizzare dati non strutturati per l’intelligenza artificiale e i grandi modelli linguistici (LLM)?

Nel mondo dell’Intelligenza Artificiale Generativa, i dati sono il vostro asset più prezioso. I modelli sono sempre più commodity, quindi la vostra differenziazione è tutta quella conoscenza istituzionale difficile da ottenere catturata nei vostri dataset proprietari e curati.

Fornire i dati giusti al momento giusto pone elevate richieste alle vostre pipeline dei dati – e questo si applica ai dati non strutturati tanto quanto ai dati strutturati, o forse di più. Spesso state ingerendo dati da molte fonti diverse, in molti formati diversi. Avete bisogno di accedere a una varietà di metodi per sbloccare i dati e prepararli per l’uso nell’inferenza del modello o nell’addestramento del modello. Avete anche bisogno di capire la provenienza dei dati e dove finiscono per “mostrare il vostro lavoro”.

Se state facendo questo solo occasionalmente per addestrare un modello, va bene. Non avete necessariamente bisogno di operationalizzarlo. Se state utilizzando il modello quotidianamente per comprendere il sentimento dei clienti dai forum online o per riassumere e instradare le fatture, allora inizia ad assomigliare a qualsiasi altra pipeline di dati operativa, il che significa che avete bisogno di pensare all’affidabilità e alla riproducibilità. O se state regolarmente ritoccando il modello, allora avete bisogno di preoccuparvi del monitoraggio dell’accuratezza e del costo.

La buona notizia è che gli ingegneri dei dati hanno sviluppato una piattaforma fantastica, Airflow, per la gestione delle pipeline dei dati, che è già stata applicata con successo alla gestione della distribuzione dei modelli e al monitoraggio da parte di alcuni dei team di ML più sofisticati del mondo. Quindi i modelli possono essere nuovi, ma l’orchestrazione non lo è.

Posso chiederle di elaborare sull’uso dei dati sintetici per ritoccare modelli più piccoli per l’accuratezza? Come si confronta con l’addestramento di modelli più grandi?

È una tecnica potente. Potete pensare ai migliori modelli linguistici grandi come se in qualche modo incorporassero ciò che hanno imparato sul mondo e potrebbero trasmetterlo a modelli più piccoli generando dati sintetici. I LLM incorporano immense quantità di conoscenza apprese da estesi dataset di addestramento. Questi modelli possono generare dati sintetici che catturano i modelli, le strutture e le informazioni che hanno appreso. Questi dati sintetici possono quindi essere utilizzati per addestrare modelli più piccoli, trasferendo efficacemente alcune delle conoscenze dai modelli più grandi a quelli più piccoli. Questo processo è spesso chiamato “distillazione della conoscenza” e aiuta a creare modelli efficienti e più piccoli che si eseguono ancora bene su compiti specifici. E con i dati sintetici, potete anche evitare problemi di privacy e colmare le lacune nei dati di addestramento che sono piccoli o incompleti.

Questo può essere utile per l’addestramento di un modello di intelligenza artificiale generativa più specifico del dominio e può essere anche più efficace dell’addestramento di un “modello più grande”, con un livello di controllo maggiore.

I data scientist generano dati sintetici da un po’ di tempo e l’imputazione esiste da quando esistono dataset disordinati. Ma avete sempre dovuto essere molto cauti per non introdurre pregiudizi o fare ipotesi errate sulla distribuzione dei dati. Ora che la sintesi dei dati è così facile e potente, dovete essere ancora più cauti. Gli errori possono essere amplificati.

Una mancanza di diversità nei dati generati può portare a “collasso del modello”. Il modello pensa di stare facendo bene, ma è perché non ha visto l’intero quadro. E, più in generale, una mancanza di diversità nei dati di addestramento è qualcosa che i team di dati dovrebbero sempre cercare di evitare.

A un livello di base, sia che si utilizzino dati sintetici o organici, la discendenza e la qualità sono fondamentali per l’addestramento o il ritocco di qualsiasi modello. Come sappiamo, i modelli sono solo buoni quanto i dati su cui sono addestrati. Mentre i dati sintetici possono essere uno strumento utile per aiutare a rappresentare un set di dati sensibili senza esporlo o per colmare lacune che potrebbero essere lasciate fuori da un set di dati rappresentativo, dovete avere una carta di provenienza che mostri da dove provengono i dati e essere in grado di dimostrare il loro livello di qualità.

Quali sono alcune tecniche innovative che il suo team in Astronomer sta implementando per migliorare l’efficienza e l’affidabilità delle pipeline dei dati?

Ne abbiamo così tante! L’infrastruttura di Airflow completamente gestita da Astro e l’Astro Hypervisor supportano il scaling dinamico e il monitoraggio proattivo attraverso metriche di salute avanzate. Ciò assicura che le risorse vengano utilizzate in modo efficiente e che i sistemi siano affidabili in qualsiasi scala. Astro fornisce un sistema di allarme robusto basato sui dati con notifiche personalizzabili che possono essere inviate attraverso vari canali come Slack e PagerDuty. Ciò garantisce un intervento tempestivo prima che i problemi si aggravino.

I test di convalida dei dati, i test unitari e i controlli di qualità dei dati svolgono ruoli vitali nel garantire l’affidabilità, l’accuratezza e l’efficienza delle pipeline dei dati e, in ultima analisi, dei dati che alimentano il vostro business. Questi controlli assicurano che mentre costruite rapidamente pipeline dei dati per soddisfare le vostre scadenze, esse catturino attivamente gli errori, migliorino i tempi di sviluppo e riducano gli errori imprevisti in background. In Astronomer, abbiamo costruito strumenti come Astro CLI per aiutare a verificare la funzionalità del codice o a identificare problemi di integrazione all’interno della vostra pipeline dei dati.

Come vede l’evoluzione della governance dell’intelligenza artificiale generativa e quali misure dovrebbero essere adottate per sostenere la creazione di più strumenti?

La governance è imperativa se le applicazioni dell’Intelligenza Artificiale Generativa devono avere successo. Si tratta di trasparenza e riproducibilità. Sapete come avete ottenuto questo risultato, e da dove, e da chi? Airflow da solo già fornisce un modo per vedere cosa stanno facendo le singole pipeline dei dati. La sua interfaccia utente è stata una delle ragioni del suo rapido adozione all’inizio, e in Astronomer abbiamo aumentato questo con la visibilità attraverso i team e le distribuzioni. Forniamo anche ai nostri clienti dashboard di reporting che offrono informazioni complete sull’utilizzo della piattaforma, le prestazioni e l’attribuzione dei costi per la presa di decisioni informate. Inoltre, l’API di Astro consente ai team di distribuire, automatizzare e gestire le loro pipeline di Airflow in modo programmatico, mitigando i rischi associati ai processi manuali e assicurando operazioni senza problemi in scala quando si gestiscono più ambienti di Airflow. Le capacità di discendenza sono integrate nella piattaforma.

Questi sono tutti passi verso l’aiuto nella gestione della governance dei dati e credo che le aziende di tutte le dimensioni stiano riconoscendo l’importanza della governance dei dati per garantire la fiducia nelle applicazioni di intelligenza artificiale. Questo riconoscimento e consapevolezza guideranno in gran parte la domanda di strumenti di governance dei dati e mi aspetto che la creazione di questi strumenti accelererà man mano che l’intelligenza artificiale generativa si diffonde. Ma devono far parte dello stack di orchestrazione più ampio, ed è per questo che li consideriamo fondamentali per il modo in cui costruiamo la nostra piattaforma.

Posso chiederle di fornire esempi di come le soluzioni di Astronomer hanno migliorato l’efficienza operativa e la produttività per i clienti?

I processi di intelligenza artificiale generativa coinvolgono attività complesse e risorse-intensive che devono essere ottimizzate e ripetutamente eseguite con cura. Astro, la piattaforma di Airflow gestita da Astronomer, fornisce un framework al centro dello stack di app di intelligenza artificiale emergente per aiutare a semplificare queste attività e migliorare la capacità di innovare rapidamente.

Orchestrando attività di intelligenza artificiale generativa, le aziende possono assicurarsi che le risorse computazionali vengano utilizzate in modo efficiente e che i flussi di lavoro vengano ottimizzati e regolati in tempo reale. Ciò è particolarmente importante in ambienti in cui i modelli generativi devono essere aggiornati o riaddestrati frequentemente in base a nuovi dati.

Sfruttando la gestione dei flussi di lavoro di Airflow e le capacità di distribuzione e scaling di Astronomer, i team possono spendere meno tempo nella gestione dell’infrastruttura e concentrarsi invece sulla trasformazione dei dati e sullo sviluppo del modello, il che accelera il deploy di applicazioni di intelligenza artificiale generativa e migliora le prestazioni.

In questo modo, la piattaforma Astro di Astronomer ha aiutato i clienti a migliorare l’efficienza operativa dell’intelligenza artificiale generativa in una vasta gamma di casi d’uso. Per citarne alcuni, i casi d’uso includono la scoperta dei prodotti e-commerce, l’analisi del rischio di churn dei clienti, l’automazione del supporto, la classificazione e la sintesi di documenti legali, l’acquisizione di informazioni sui prodotti dalle recensioni dei clienti e la provisioning dinamica del cluster per la generazione di immagini di prodotto.

Qual è il ruolo di Astronomer nel migliorare le prestazioni e la scalabilità delle applicazioni di intelligenza artificiale e apprendimento automatico?

La scalabilità è una sfida importante per le aziende che attingono all’intelligenza artificiale generativa nel 2024. Quando si passa dal prototipo alla produzione, gli utenti si aspettano che le loro app di intelligenza artificiale generativa siano affidabili e performanti e che i risultati che producono siano attendibili. Ciò deve essere fatto in modo efficiente in termini di costo e le aziende di tutte le dimensioni devono essere in grado di sfruttarne il potenziale. Utilizzando Astronomer, i compiti possono essere scalati orizzontalmente per elaborare dinamicamente un gran numero di fonti di dati. Astro può scalare elasticamente le distribuzioni e i cluster su cui sono ospitati, e l’esecuzione dei compiti basata sulla coda con tipi di macchina dedicati fornisce maggiore affidabilità e un uso efficiente delle risorse di calcolo. Per aiutare con il pezzo del puzzle dell’efficienza dei costi, Astro offre funzionalità di scaling a zero e di ibernazione, che aiutano a controllare i costi di cloud in aumento e ridurre la spesa cloud. Forniamo anche completa trasparenza sui costi della piattaforma. Il mio stesso team di dati genera report sui consumi che rendiamo disponibili quotidianamente ai nostri clienti.

Quali sono alcune tendenze future nell’intelligenza artificiale e nella scienza dei dati che la entusiasmano e come Astronomer si sta preparando per esse?

L’intelligenza artificiale spiegabile è un’area di sviluppo enormemente importante e affascinante. Essere in grado di guardare all’interno del funzionamento di modelli molto grandi è quasi inquietante. E sono anche interessato a vedere come la comunità lotta con l’impatto ambientale dell’addestramento e della regolazione dei modelli. In Astronomer, continuiamo ad aggiornare il nostro Registro con tutte le ultime integrazioni, in modo che i team di dati e apprendimento automatico possano connettersi ai migliori servizi di modelli e alle piattaforme di calcolo più efficienti senza alcun lifting pesante.

Come immagina l’integrazione di strumenti di intelligenza artificiale avanzati come i LLM con i sistemi di gestione dei dati tradizionali nel prossimo futuro?

Abbiamo visto sia Databricks che Snowflake fare annunci recentemente su come incorporino sia l’uso che lo sviluppo dei LLM all’interno delle loro piattaforme. Altri DBMS e piattaforme di ML faranno lo stesso. È fantastico vedere gli ingegneri dei dati avere un accesso così facile a metodi così potenti, direttamente dalla riga di comando o dal prompt SQL.

Sono particolarmente interessato a come i database relazionali incorporano l’apprendimento automatico. Sto aspettando che i metodi di apprendimento automatico vengano incorporati nello standard SQL, ma per qualche ragione le due discipline non hanno mai realmente funzionato insieme. Forse questa volta sarà diverso.

Sono molto entusiasta del futuro dei grandi modelli linguistici per assistere il lavoro dell’ingegnere dei dati. Inizialmente, i LLM sono stati particolarmente di successo nella generazione di codice, anche se i primi sforzi per fornire ai data scientist suggerimenti guidati dall’AI sono stati misti: Hex è grande, ad esempio, mentre Snowflake è poco ispiratore finora. Ma c’è un enorme potenziale per cambiare la natura del lavoro per i team di dati, molto più che per gli sviluppatori. Perché? Per gli ingegneri software, il prompt è un nome di funzione o la documentazione, ma per gli ingegneri dei dati c’è anche il dato. C’è così tanto contesto con cui i modelli possono lavorare per fornire suggerimenti utili e precisi.

Qual è il consiglio che darebbe agli aspiranti data scientist e ingegneri di intelligenza artificiale che desiderano fare un impatto nell’industria?

Imparate facendo. È incredibilmente facile costruire applicazioni oggi e potenziarle con l’intelligenza artificiale. Quindi costruite qualcosa di cool e inviatelo a un amico di un amico che lavora in un’azienda che ammirate. O inviatelo a me e prometto che darò un’occhiata!

Il trucco è trovare qualcosa che vi appassiona e trovare una buona fonte di dati correlati. Un amico mio ha fatto un’analisi affascinante di stagioni di baseball anomale risalenti al XIX secolo e ha scoperto storie che meritano di avere un film fatto su di loro. E alcuni degli ingegneri di Astronomer si sono riuniti un fine settimana per costruire una piattaforma per pipeline di dati auto-risananti. Non posso immaginare di provare a fare qualcosa del genere solo pochi anni fa, ma con solo pochi giorni di sforzo abbiamo vinto l’hackathon di Cohere e costruito le fondamenta di una nuova funzionalità importante nella nostra piattaforma.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Astronomer.