Yaron Singer, CEO at Robust Intelligence & Professor of Computer Science at Harvard University – Interview Series

Yaron Singer è il CEO di Robust Intelligence e Professor of Computer Science and Applied Math at Harvard. Yaron è noto per i risultati innovativi nel machine learning, negli algoritmi e nell’ottimizzazione. In precedenza, Yaron ha lavorato alla Google Research e ha ottenuto il dottorato alla UC Berkeley.

Cosa ti ha inizialmente attirato verso il campo della scienza informatica e del machine learning?

Il mio percorso è iniziato con la matematica, che mi ha portato alla scienza informatica, che a sua volta mi ha condotto al machine learning. La matematica mi ha inizialmente attirato perché il suo sistema assiomatico mi ha dato la capacità di creare nuovi mondi. Con la scienza informatica, ho imparato a conoscere le prove esistenziali, ma anche gli algoritmi dietro di esse. Da una prospettiva creativa, la scienza informatica è il disegno dei confini tra ciò che possiamo e non possiamo fare.

Il mio interesse per il machine learning è sempre stato radicato in un interesse per i dati reali, quasi l’aspetto fisico di esso. Prendere cose dal mondo reale e modellarle per creare qualcosa di significativo. Possiamo letteralmente progettare un mondo migliore attraverso la modellazione significativa. Quindi, la matematica mi ha dato una base per provare le cose, la scienza informatica mi aiuta a vedere cosa possiamo e non possiamo fare, e il machine learning mi consente di modellare questi concetti nel mondo.

Fino a poco tempo fa eri un Professor of Computer Science and Applied Mathematics alla Harvard University, quali sono stati alcuni dei tuoi principali risultati in questa esperienza?

Il mio risultato più grande come membro della facoltà di Harvard è che sviluppa la propria capacità di fare grandi cose. Harvard tradizionalmente ha una facoltà piccola, e l’aspettativa per i membri della facoltà è quella di affrontare grandi problemi e creare nuovi campi. Devi essere audace. Ciò si rivela essere una grande preparazione per lanciare una startup che crea una categoria e definisce uno spazio nuovo. Non consiglio necessariamente di passare per la facoltà di Harvard per primo, ma se sopravvivi a ciò, costruire una startup è più facile.

Puoi descrivere il tuo momento “aha” quando hai realizzato che i sistemi di intelligenza artificiale sofisticati sono vulnerabili ai cattivi dati, con alcune implicazioni potenzialmente di vasta portata?

Quando ero uno studente di dottorato alla UC Berkeley, ho preso un po’ di tempo per fare una startup che costruiva modelli di machine learning per il marketing nei social network. Questo era nel 2010. Avevamo enormi quantità di dati dai social media e abbiamo codificato tutti i modelli da zero. Le implicazioni finanziarie per i dettaglianti erano piuttosto significative, quindi abbiamo seguito da vicino le prestazioni dei modelli. Poiché abbiamo utilizzato dati dai social media, c’erano molti errori nell’input, nonché drift. Abbiamo visto che piccoli errori hanno portato a grandi cambiamenti nella produzione del modello e potevano portare a cattivi risultati finanziari per i dettaglianti che utilizzavano il prodotto.

Quando mi sono trasferito a lavorare su Google+ (per quelli di noi che se lo ricordano), ho visto gli stessi effetti. Più drammaticamente, in sistemi come AdWords che facevano previsioni sulla probabilità che le persone facessero clic su un annuncio per parole chiave, abbiamo notato che piccoli errori nell’input del modello portavano a previsioni molto scadenti. Quando si assiste a questo problema su scala Google, si realizza che il problema è universale.

Queste esperienze hanno fortemente influenzato il mio focus di ricerca e ho trascorso il mio tempo a Harvard indagando sul perché i modelli di intelligenza artificiale fanno errori e, cosa importante, su come progettare algoritmi che possano prevenire che i modelli facciano errori. Ciò, naturalmente, ha portato a molti altri momenti “aha” e, alla fine, alla creazione di Robust Intelligence.

Puoi condividere la storia di genesi di Robust Intelligence?

Robust Intelligence è iniziata con la ricerca su cosa fosse inizialmente un problema teorico: quali garanzie possiamo avere per le decisioni prese utilizzando modelli di intelligenza artificiale. Kojin era uno studente a Harvard e abbiamo lavorato insieme, inizialmente scrivendo articoli di ricerca. Quindi, inizia con la scrittura di articoli che delineano cosa è fondamentalmente possibile e impossibile, teoricamente. Questi risultati sono poi proseguiti con un programma per progettare algoritmi e modelli che siano robusti ai fallimenti dell’intelligenza artificiale. Quindi, costruiamo sistemi che possano eseguire questi algoritmi nella pratica. Dopo di ciò, iniziare una società in cui le organizzazioni potessero utilizzare un sistema del genere è stato un passo logico.

Molte delle questioni che Robust Intelligence affronta sono errori silenziosi, cosa sono e cosa li rende così pericolosi?

Prima di dare una definizione tecnica degli errori silenziosi, vale la pena fare un passo indietro e capire perché dovremmo preoccuparci degli errori dell’intelligenza artificiale nel primo posto. Il motivo per cui ci preoccupiamo degli errori dei modelli di intelligenza artificiale è a causa delle conseguenze di questi errori. Il nostro mondo utilizza l’intelligenza artificiale per automatizzare decisioni critiche: chi ottiene un prestito aziendale e a quale tasso di interesse, chi ottiene la copertura assicurativa sanitaria e a quale tariffa, quali quartieri dovrebbero essere pattugliati dalla polizia, chi è il candidato più adatto per un lavoro, come dovremmo organizzare la sicurezza aeroportuale, e così via. Il fatto che i modelli di intelligenza artificiale siano estremamente propensi agli errori significa che nell’automatizzare queste decisioni critiche ereditiamo un grande rischio. A Robust Intelligence li chiamiamo “Rischi di intelligenza artificiale” e la nostra missione nella società è quella di eliminare i Rischi di intelligenza artificiale.

Gli errori silenziosi sono errori dei modelli di intelligenza artificiale in cui il modello di intelligenza artificiale riceve un input e produce una previsione o una decisione che è errata o distorta come output. Quindi, in superficie, tutto sembra ok per il sistema, nel senso che il modello di intelligenza artificiale fa ciò che dovrebbe fare da una prospettiva funzionale. Ma la previsione o la decisione è errata. Questi errori sono silenziosi perché il sistema non sa che c’è un errore. Ciò può essere molto peggio del caso in cui un modello di intelligenza artificiale non produce un output, perché può richiedere molto tempo alle organizzazioni per rendersi conto che il loro sistema di intelligenza artificiale è difettoso. Quindi, il rischio di intelligenza artificiale diventa un fallimento di intelligenza artificiale che può avere conseguenze disastrose.

Robust Intelligence ha essenzialmente progettato un firewall per l’intelligenza artificiale, un’idea che in precedenza era considerata impossibile. Perché è una sfida tecnica così grande?

Una delle ragioni per cui il firewall per l’intelligenza artificiale è una sfida così grande è perché va contro il paradigma che la comunità di machine learning aveva. Il paradigma precedente della comunità di machine learning era che per eradicare gli errori, era necessario alimentare più dati, compresi dati cattivi, ai modelli. Facendo ciò, i modelli si sarebbero addestrati da soli e avrebbero imparato a correggere gli errori. Il problema con questo approccio è che provoca una caduta drammatica dell’accuratezza del modello. I risultati più noti per le immagini, ad esempio, fanno cadere l’accuratezza del modello di intelligenza artificiale dal 98,5% a circa il 37%.

Il firewall per l’intelligenza artificiale offre una soluzione diversa. Noi dissociamo il problema di identificare un errore dal ruolo di creare una previsione, ciò significa che il firewall può concentrarsi su un compito specifico: determinare se un punto di dati produrrà una previsione errata.

Ciò è stato un compito difficile in sé a causa della difficoltà di fornire una previsione su un singolo punto di dati. Ci sono molte ragioni per cui i modelli fanno errori, quindi costruire una tecnologia che possa prevedere questi errori non è stato un compito facile. Siamo molto fortunati ad avere gli ingegneri che abbiamo.

Come può il sistema aiutare a prevenire i pregiudizi dell’intelligenza artificiale?

I pregiudizi del modello derivano da una discrepanza tra i dati sui quali il modello è stato addestrato e i dati che utilizza per fare previsioni. Tornando al rischio di intelligenza artificiale, i pregiudizi sono un problema importante attribuito agli errori silenziosi. Ad esempio, questo è spesso un problema con le popolazioni sottorappresentate. Un modello può avere pregiudizi perché ha visto meno dati da quella popolazione, il che influenzerà notevolmente le prestazioni del modello e l’accuratezza delle sue previsioni. Il firewall per l’intelligenza artificiale può avvertire le organizzazioni di queste discrepanze di dati e aiutare il modello a prendere decisioni corrette.

Quali sono alcuni degli altri rischi per le organizzazioni che un firewall per l’intelligenza artificiale aiuta a prevenire?

Qualsiasi azienda che utilizza l’intelligenza artificiale per automatizzare le decisioni, specialmente le decisioni critiche, introduce automaticamente un rischio. I cattivi dati potrebbero essere così insignificanti come l’inserimento di uno zero al posto di un uno e comunque portare a conseguenze significative. Sia che il rischio sia una previsione medica errata o una previsione falsa sui prestiti, il firewall per l’intelligenza artificiale aiuta le organizzazioni a prevenire il rischio nel suo complesso.

C’è qualcos’altro che vorresti condividere su Robust Intelligence?

Robust Intelligence sta crescendo rapidamente e stiamo ricevendo molte candidature eccellenti. Ma una cosa che voglio sottolineare per le persone che stanno considerando di candidarsi è che la qualità più importante che cerchiamo nei candidati è la loro passione per la missione. Incontriamo molti candidati che sono forti tecnicamente, quindi si tratta davvero di capire se sono veramente appassionati all’eliminazione del rischio di intelligenza artificiale per rendere il mondo un posto più sicuro e migliore.

Nel mondo verso cui stiamo andando, molte decisioni che attualmente vengono prese dagli esseri umani saranno automatizzate. Che ci piaccia o no, è un fatto. Date queste circostanze, tutti noi a Robust Intelligence vogliamo che le decisioni automatizzate siano prese in modo responsabile. Quindi, chiunque sia entusiasta di fare un impatto, chi capisce il modo in cui ciò può influenzare la vita delle persone, è un candidato che stiamo cercando per unirsi a Robust Intelligence. Stiamo cercando quella passione. Stiamo cercando le persone che creeranno questa tecnologia che il mondo intero userà.

Grazie per la grande intervista, ho apprezzato imparare le tue opinioni sulla prevenzione dei pregiudizi dell’intelligenza artificiale e sulla necessità di un firewall per l’intelligenza artificiale, i lettori che desiderano saperne di più possono visitare Robust Intelligence.