Furto di modelli di apprendimento automatico attraverso l’output dell’API

Una nuova ricerca condotta in Canada offre un possibile metodo per rubare i frutti di costosi framework di apprendimento automatico, anche quando l’unico accesso a un sistema proprietario è tramite un’API (un’interfaccia o protocollo che elabora le richieste degli utenti sul lato server e restituisce solo la risposta di output) altamente sanificata e apparentemente ben difesa.

Man mano che il settore della ricerca si concentra sempre più sulla monetizzazione dell’addestramento dei modelli di apprendimento automatico attraverso implementazioni di Machine Learning as a Service (MLaaS), il nuovo studio suggerisce che i modelli di apprendimento autosufficiente (SSL) sono più vulnerabili a questo tipo di estrazione del modello, poiché sono addestrati senza etichette, semplificando l’estrazione e fornendo in genere risultati che contengono una grande quantità di informazioni utili per chi desidera replicare il modello di origine (nascosto).

In simulazioni di test “black box” (in cui i ricercatori si sono concessi solo l’accesso a un modello “vittima” locale che un utente tipico avrebbe tramite un’API web), i ricercatori sono stati in grado di replicare i sistemi di destinazione con risorse relativamente basse:

‘[I nostri] attacchi possono rubare una copia del modello vittima che raggiunge prestazioni considerevoli nel downstream in meno di 1/5 delle query utilizzate per addestrare il modello vittima. Contro un modello vittima addestrato su 1,2 milioni di campioni non etichettati da ImageNet, con un’accuratezza del 91,9% nel compito di classificazione downstream Fashion-MNIST, il nostro attacco di estrazione diretta con la perdita InfoNCE ha rubato una copia dell’encoders che raggiunge un’accuratezza del 90,5% in 200.000 query.

‘Allo stesso modo, contro un modello vittima addestrato su 50.000 campioni non etichettati da CIFAR10, con un’accuratezza del 79,0% nel compito di classificazione downstream CIFAR10, il nostro attacco di estrazione diretta con la perdita SoftNN ha rubato una copia che raggiunge un’accuratezza del 76,9% in 9.000 query.’

I ricercatori hanno utilizzato tre metodi di attacco, scoprendo che l’estrazione diretta era il metodo più efficace. Questi modelli sono stati rubati da un encoder CIFAR10 vittima ricreato localmente utilizzando 9.000 query dal set di test CIFAR10. Fonte: https://arxiv.org/pdf/2205.07890.pdf

I ricercatori notano anche che i metodi adatti a proteggere i modelli di apprendimento supervisionato dagli attacchi non si adattano bene ai modelli addestrati su base non supervisionata – anche se tali modelli rappresentano alcuni dei frutti più attesi e celebrati del settore della sintesi di immagini.

Il nuovo documento si intitola Sulla difficoltà di difendere l’apprendimento autosufficiente contro l’estrazione del modello, e proviene dall’Università di Toronto e dall’Istituto Vector per l’intelligenza artificiale.

Consapevolezza di sé

Nell’apprendimento autosufficiente, un modello viene addestrato su dati non etichettati. Senza etichette, un modello di apprendimento autosufficiente deve imparare associazioni e gruppi dalla struttura implicita dei dati, cercando faccette simili dei dati e gradualmente raggruppandole in nodi o rappresentazioni.

Quando un approccio di apprendimento autosufficiente è fattibile, è incredibilmente produttivo, poiché bypassa la necessità di costosa (spesso esternalizzata e controversa) categorizzazione da parte di lavoratori esterni, e razionalizza essenzialmente i dati in modo autonomo.

I tre approcci di apprendimento autosufficiente considerati dagli autori del nuovo documento sono SimCLR, una rete siamese; SimSiam, un’altra rete siamese centrata sull’apprendimento di rappresentazioni; e Barlow Twins, un approccio di apprendimento autosufficiente che ha raggiunto le prestazioni di classificazione ImageNet di stato dell’arte nel 2021.

L’estrazione del modello per dati etichettati (ovvero un modello addestrato attraverso l’apprendimento supervisionato) è un’area di ricerca relativamente ben documentata. È anche più facile da difendere, poiché l’attaccante deve ottenere le etichette dal modello vittima per ricreare il modello.

Da un documento precedente, un modello di attacco ‘knockoff classifier’ contro un’architettura di apprendimento supervisionato. Fonte: https://arxiv.org/pdf/1812.02766.pdf

Senza accesso white-box, questo non è un compito banale, poiché la tipica output da una richiesta API a tale modello contiene meno informazioni rispetto a una tipica API di apprendimento autosufficiente.

Dal documento*:

‘I lavori precedenti sull’estrazione del modello si sono concentrati sull’impostazione di apprendimento supervisionato, in cui il modello vittima restituisce generalmente un’etichetta o altre uscite a bassa dimensionalità come punteggi di confidenza o logits.

‘In contrasto, gli encoder di apprendimento autosufficiente restituiscono rappresentazioni ad alta dimensionalità; il de facto output per un modello ResNet-50 Sim-CLR, un’architettura popolare nella visione, è un vettore a 2048 dimensioni.

‘Ipotizziamo che questa perdita di informazioni significativamente più alta dagli encoder li renda più vulnerabili agli attacchi di estrazione rispetto ai modelli di apprendimento supervisionato.’

Architettura e dati

I ricercatori hanno testato tre approcci per l’inferenza/estrazione del modello di apprendimento autosufficiente: estrazione diretta, in cui l’output dell’API viene confrontato con l’output di un encoder ricreato tramite una funzione di perdita appropriata come l’errore quadratico medio (MSE); ricreazione della testa di proiezione, dove una funzionalità analitica cruciale del modello, normalmente scartata prima della distribuzione, viene riassambrata e utilizzata in un modello replica; e accesso alla testa di proiezione, che è possibile solo nei casi in cui gli sviluppatori originali hanno reso disponibile l’architettura.

Nel metodo #1, estrazione diretta, l’output del modello vittima viene confrontato con l’output di un modello locale; il metodo #2 comporta la ricreazione della testa di proiezione utilizzata nell’architettura di addestramento originale (e generalmente non inclusa in un modello distribuito).

I ricercatori hanno scoperto che l’estrazione diretta era il metodo più efficace per ottenere una replica funzionale del modello di destinazione e ha il vantaggio aggiuntivo di essere il più difficile da caratterizzare come un ‘attacco’ (poiché si comporta essenzialmente poco diversamente da un utente finale tipico).

Gli autori hanno addestrato modelli vittime su tre set di dati di immagini: CIFAR10, ImageNet e Stanford’s Street View House Numbers (SVHN). ImageNet è stato addestrato su ResNet50, mentre CIFAR10 e SVHN sono stati addestrati su ResNet18 e ResNet24 su un’implementazione PyTorch disponibile gratuitamente di SimCLR.

Le prestazioni downstream (ovvero distribuite) dei modelli sono state testate contro CIFAR100, STL10, SVHN e Fashion-MNIST. I ricercatori hanno anche sperimentato con metodi più ‘white box’ di appropriazione del modello, sebbene sia emerso che l’estrazione diretta, l’approccio meno privilegiato, ha prodotto i migliori risultati.

Per valutare le rappresentazioni inferite e replicate negli attacchi, gli autori hanno aggiunto uno strato di previsione lineare al modello, che è stato ottimizzato sul set di addestramento completo etichettato del compito successivo (downstream), con il resto della rete congelato. In questo modo, l’accuratezza del test sullo strato di previsione può funzionare come metrica per le prestazioni. Poiché non contribuisce al processo di inferenza, questo non rappresenta una funzionalità ‘white box’.

Risultati delle esecuzioni di test, resi possibili dallo strato di valutazione lineare (non contributivo). Punteggi di accuratezza in grassetto.

Commentando i risultati, i ricercatori affermano:

‘Abbiamo scoperto che l’obiettivo diretto di imitare le rappresentazioni della vittima fornisce prestazioni elevate nei compiti downstream nonostante l’attacco richieda solo una frazione (meno del 15% in alcuni casi) del numero di query necessarie per addestrare l’encoder rubato inizialmente.’

E continuano:

‘[È] difficile difendere gli encoder addestrati con apprendimento autosufficiente poiché le rappresentazioni di output perdono una quantità sostanziale di informazioni. I metodi di difesa più promettenti sono quelli reattivi, come il watermarking, che possono incorporare specifiche modifiche in encoder ad alta capacità.’

* La mia conversione delle citazioni in linea del documento in collegamenti ipertestuali.

Prima pubblicazione il 18 maggio 2022.