Yaron Singer, CEO di Robust Intelligence e Professore di Informatica all’Università di Harvard – Serie di Interviste

Yaron Singer è il CEO di Robust Intelligence e Professore di Informatica e Matematica Applicata all’Università di Harvard. Yaron è noto per i risultati innovativi nel campo dell’apprendimento automatico, degli algoritmi e dell’ottimizzazione. In precedenza, Yaron ha lavorato alla Google (GOOGL ) Research e ha ottenuto il dottorato all’Università della California, Berkeley.

Cosa ti ha inizialmente attirato verso il campo dell’informatica e dell’apprendimento automatico?

Il mio percorso è iniziato con la matematica, che mi ha portato all’informatica, che a sua volta mi ha condotto all’apprendimento automatico. La matematica mi ha inizialmente interessato perché il suo sistema assiomatico mi ha dato la possibilità di creare nuovi mondi. Con l’informatica, ho imparato a conoscere le prove esistenziali, ma anche gli algoritmi che le sostengono. Dal punto di vista creativo, l’informatica è il disegno dei confini tra ciò che possiamo e non possiamo fare.

Il mio interesse per l’apprendimento automatico è sempre stato radicato in un interesse per i dati reali, quasi l’aspetto fisico di essi. Prendere cose dal mondo reale e modellarle per creare qualcosa di significativo. Potremmo letteralmente progettare un mondo migliore attraverso la modellazione significativa. Quindi, la matematica mi ha dato una base per provare le cose, l’informatica mi aiuta a vedere cosa possiamo e non possiamo fare, e l’apprendimento automatico mi consente di modellare questi concetti nel mondo.

Fino a poco tempo fa eri un Professore di Informatica e Matematica Applicata all’Università di Harvard, quali sono stati alcuni dei tuoi principali risultati in questa esperienza?

Il mio risultato più importante come membro del corpo docente di Harvard è che sviluppa una fame per fare grandi cose. Harvard tradizionalmente ha un corpo docente piccolo, e l’aspettativa per i docenti con tenure è quella di affrontare grandi problemi e creare nuovi campi. Devi essere audace. Ciò si rivela essere una grande preparazione per lanciare una startup che crea una nuova categoria e definisce uno spazio nuovo. Non consiglio necessariamente di passare per la tenure di Harvard per prima – ma se sopravvivi a ciò, costruire una startup è più facile.

Puoi descrivere il tuo momento “aha” quando hai realizzato che i sistemi di intelligenza artificiale sofisticati sono vulnerabili ai cattivi dati, con alcune implicazioni potenzialmente ampie?

Quando ero uno studente di dottorato all’Università della California, Berkeley, ho preso una pausa per fondare una startup che costruiva modelli di apprendimento automatico per il marketing nei social network. Era il 2010. Avevamo enormi quantità di dati dai social media, e abbiamo codificato tutti i modelli da zero. Le implicazioni finanziarie per i rivenditori erano piuttosto significative, quindi abbiamo seguito da vicino le prestazioni dei modelli. Dal momento che utilizzavamo dati dai social media, c’erano molti errori nell’input, nonché drift. Abbiamo visto che piccoli errori producevano grandi cambiamenti nell’output del modello e potevano portare a cattivi risultati finanziari per i rivenditori che utilizzavano il prodotto.

Quando mi sono trasferito a lavorare su Google+ (per quelli di noi che se lo ricordano), ho visto gli stessi effetti. In modo più drammatico, in sistemi come AdWords che facevano previsioni sulla probabilità che le persone facessero clic su un annuncio per parole chiave, abbiamo notato che piccoli errori nell’input del modello portavano a previsioni molto scadenti. Quando si assiste a questo problema su scala Google, si realizza che il problema è universale.

Queste esperienze hanno fortemente influenzato il mio focus di ricerca, e ho trascorso il mio tempo a Harvard indagando sul perché i modelli di intelligenza artificiale commettono errori e, in modo importante, su come progettare algoritmi che possano prevenire che i modelli commettano errori. Ciò, naturalmente, ha portato ad altri momenti “aha” e, alla fine, alla creazione di Robust Intelligence.

Puoi condividere la storia di come è nata Robust Intelligence?

Robust Intelligence è iniziata con la ricerca su cosa fosse inizialmente un problema teorico: quali garanzie possiamo avere per le decisioni prese utilizzando modelli di intelligenza artificiale. Kojin era uno studente a Harvard, e abbiamo lavorato insieme, inizialmente scrivendo articoli di ricerca. Quindi, inizia con la scrittura di articoli che delineano cosa è fondamentalmente possibile e impossibile, teoricamente. Questi risultati sono poi continuati con un programma per progettare algoritmi e modelli che sono robusti ai fallimenti dell’intelligenza artificiale. Abbiamo poi costruito sistemi che possono eseguire questi algoritmi nella pratica. Dopo di ciò, fondare una società in cui le organizzazioni potessero utilizzare un sistema del genere è stato un passo naturale.

Molti dei problemi che Robust Intelligence affronta sono errori silenziosi, cosa sono e cosa li rende così pericolosi?

Prima di dare una definizione tecnica degli errori silenziosi, vale la pena fare un passo indietro e capire perché dovremmo preoccuparci degli errori dell’intelligenza artificiale in primo luogo. Il motivo per cui ci preoccupiamo degli errori dei modelli di intelligenza artificiale è a causa delle conseguenze di questi errori. Il nostro mondo utilizza l’intelligenza artificiale per automatizzare decisioni critiche: chi ottiene un prestito commerciale e a quale tasso di interesse, chi ottiene la copertura assicurativa sanitaria e a quale tariffa, quali quartieri dovrebbero essere pattugliati dalla polizia, chi è il candidato più adatto per un lavoro, come dovremmo organizzare la sicurezza aeroportuale, e così via. Il fatto che i modelli di intelligenza artificiale siano estremamente propensi agli errori significa che nell’automatizzare queste decisioni critiche ereditiamo un grande rischio. A Robust Intelligence, chiamiamo questo “Rischio di Intelligenza Artificiale” e la nostra missione in azienda è eliminare il Rischio di Intelligenza Artificiale.

Gli errori silenziosi sono errori dei modelli di intelligenza artificiale in cui il modello di intelligenza artificiale riceve un input e produce una previsione o una decisione che è errata o distorta come output. Quindi, in superficie, tutto sembra ok per il sistema, nel senso che il modello di intelligenza artificiale sta facendo ciò che dovrebbe fare da un punto di vista funzionale. Ma la previsione o la decisione è errata. Questi errori sono silenziosi perché il sistema non sa che c’è un errore. Ciò può essere molto peggio del caso in cui un modello di intelligenza artificiale non produce un output, perché può richiedere molto tempo alle organizzazioni per rendersi conto che il loro sistema di intelligenza artificiale è difettoso. Quindi, il Rischio di Intelligenza Artificiale diventa un fallimento dell’Intelligenza Artificiale, che può avere conseguenze disastrose.

Robust Intelligence ha essenzialmente progettato un Firewall per l’Intelligenza Artificiale, un’idea che precedentemente era considerata impossibile. Perché è una sfida tecnica così grande?

Una delle ragioni per cui il Firewall per l’Intelligenza Artificiale è una sfida è perché va contro il paradigma che la comunità di apprendimento automatico aveva. Il paradigma precedente della comunità di apprendimento automatico era che per eradicare gli errori, era necessario alimentare più dati, inclusi dati cattivi, ai modelli. Facendo ciò, i modelli si sarebbero addestrati da soli e avrebbero imparato a correggere gli errori. Il problema con questo approccio è che causa un calo drammatico dell’accuratezza del modello. I risultati più noti per le immagini, ad esempio, causano un calo dell’accuratezza del modello di intelligenza artificiale dal 98,5% al 37%.

Il Firewall per l’Intelligenza Artificiale offre una soluzione diversa. Decolliamo il problema di identificare un errore dal ruolo di creare una previsione, il che significa che il firewall può concentrarsi su un compito specifico: determinare se un punto di dati produrrà una previsione errata.

Questo è stato un compito difficile in sé a causa della difficoltà di fornire una previsione su un singolo punto di dati. Ci sono molte ragioni per cui i modelli commettono errori, quindi costruire una tecnologia che possa prevedere questi errori non è stato un compito facile. Siamo molto fortunati ad avere gli ingegneri che abbiamo.

Come può il sistema aiutare a prevenire i pregiudizi dell’Intelligenza Artificiale?

I pregiudizi del modello derivano da una discordanza tra i dati sui quali il modello è stato addestrato e i dati che utilizza per fare previsioni. Tornando al Rischio di Intelligenza Artificiale, il pregiudizio è un problema importante attribuito agli errori silenziosi. Ad esempio, questo è spesso un problema con le popolazioni sottorappresentate. Un modello può avere pregiudizi perché ha visto meno dati da quella popolazione, il che influenzerà notevolmente le prestazioni del modello e l’accuratezza delle sue previsioni. Il Firewall per l’Intelligenza Artificiale può allertare le organizzazioni a queste discordanze dei dati e aiutare il modello a prendere decisioni corrette.

Quali sono alcuni degli altri rischi per le organizzazioni che un firewall per l’Intelligenza Artificiale aiuta a prevenire?

Qualsiasi azienda che utilizza l’Intelligenza Artificiale per automatizzare le decisioni, soprattutto le decisioni critiche, introduce automaticamente un rischio. I cattivi dati potrebbero essere così minori come l’inserimento di uno zero al posto di uno e comunque produrre conseguenze significative. Sia che il rischio sia una previsione medica errata o una previsione errata sui prestiti, il Firewall per l’Intelligenza Artificiale aiuta le organizzazioni a prevenire il rischio nel suo complesso.

C’è qualcos’altro che vorresti condividere su Robust Intelligence?

Robust Intelligence sta crescendo rapidamente e stiamo ricevendo molte candidature eccellenti per le posizioni. Ma qualcosa che voglio sottolineare per le persone che stanno considerando di candidarsi è che la qualità più importante che cerchiamo nei candidati è la loro passione per la missione. Incontriamo molte persone che sono forti tecnicamente, quindi si tratta veramente di capire se sono veramente appassionati di eliminare il Rischio di Intelligenza Artificiale per rendere il mondo un posto più sicuro e migliore.

Nel mondo verso cui stiamo andando, molte decisioni che attualmente vengono prese dagli esseri umani saranno automatizzate. Che ci piaccia o no, è un fatto. Date queste circostanze, tutti noi a Robust Intelligence vogliamo che le decisioni automatizzate siano prese in modo responsabile. Quindi, chiunque sia entusiasta di fare un impatto, chi capisce il modo in cui ciò può influenzare la vita delle persone, è un candidato che cerchiamo per unirci a Robust Intelligence. Stiamo cercando quella passione. Stiamo cercando le persone che creeranno questa tecnologia che il mondo intero userà.

Grazie per la grande intervista, ho apprezzato molto imparare dalle tue opinioni sulla prevenzione dei pregiudizi dell’Intelligenza Artificiale e sulla necessità di un firewall per l’Intelligenza Artificiale, i lettori che desiderano saperne di più possono visitare Robust Intelligence.