DRM per set di dati di visione computerizzata

La storia suggerisce che alla fine l’era “aperta” della ricerca sulla visione computerizzata, in cui la riproducibilità e la revisione favorevole dei pari sono centrali per lo sviluppo di una nuova iniziativa, deve cedere il passo a una nuova era di protezione della proprietà intellettuale – in cui meccanismi chiusi e piattaforme recintate impediscono ai concorrenti di minare i costi di sviluppo di un set di dati elevati, o di utilizzare un progetto costoso come semplice trampolino di lancio per sviluppare la propria versione (forse superiore).

Attualmente, la tendenza crescente verso il protezionismo è principalmente supportata dalla recinzione di framework centrali proprietari dietro l’accesso API, dove gli utenti inviano token o richieste sparsi, e dove i processi di trasformazione che rendono le risposte del framework preziose sono interamente nascosti.

In altri casi, il modello finale stesso potrebbe essere rilasciato, ma senza le informazioni centrali che lo rendono prezioso, come i pesi pre-addestrati che potrebbero essere costati diversi milioni per generare; o senza un set di dati proprietario, o senza dettagli esatti su come un subset sia stato prodotto da una serie di set di dati aperti. Nel caso del modello di linguaggio naturale trasformativo di OpenAI GPT-3, entrambe le misure di protezione sono attualmente in uso, lasciando gli imitatori del modello, come GPT Neo, a cercare di ricreare un’approssimazione del prodotto come meglio possono.

Protezione dei set di dati di immagini

Tuttavia, cresce l’interesse per i metodi con cui un framework di apprendimento automatico “protetto” potrebbe riacquistare un certo livello di portabilità, assicurando che solo gli utenti autorizzati (ad esempio, gli utenti paganti) potrebbero utilizzare proficuamente il sistema in questione. Ciò di solito coinvolge la crittografia del set di dati in qualche modo programmatico, in modo che venga letto “pulito” dal framework di intelligenza artificiale durante l’addestramento, ma è compromesso o inutilizzabile in qualsiasi altro contesto.

Un tale sistema è stato appena proposto da ricercatori dell’Università di Scienza e Tecnologia della Cina ad Anhui e dell’Università di Fudan a Shanghai. Intitolato Protezione del set di dati di immagini invertibile, il documento offre una pipeline che aggiunge automaticamente perturbazione di esempi avversi a un set di dati di immagini, in modo che non possa essere utilizzato in modo utile per l’addestramento in caso di pirateria, ma la protezione è interamente filtrata da un sistema autorizzato che contiene un token segreto.

Dal documento: un’immagine ‘preziosa’ di origine è resa efficacemente non addestrabile con tecniche di esempi avversi, con le perturbazioni rimosse sistematicamente e interamente automaticamente per un ‘utente autorizzato’. Fonte: https://arxiv.org/pdf/2112.14420.pdf

Il meccanismo che consente la protezione è chiamato generatore di esempi avversi reversibili (RAEG) e si traduce essenzialmente in una crittografia dell’effettiva usabilità delle immagini per scopi di classificazione, utilizzando nascondimento di dati reversibile (RDH). Gli autori affermano:

‘Il metodo genera prima l’immagine avversa utilizzando metodi AE esistenti, poi incorpora la perturbazione avversa nell’immagine avversa e genera l’immagine stegana utilizzando RDH. A causa della caratteristica di reversibilità, la perturbazione avversa e l’immagine originale possono essere recuperate.’

Le immagini originali del set di dati vengono inserite in una rete neurale invertibile a forma di U (INN) al fine di produrre immagini avversamente colpite che sono state progettate per ingannare i sistemi di classificazione. Ciò significa che l’estrazione tipica delle caratteristiche sarà compromessa, rendendo difficile classificare tratti come il genere e altre caratteristiche basate sul viso (sebbene l’architettura supporti una gamma di domini, piuttosto che solo materiali basati sul viso).

Un test di inversione di RAEG, in cui vengono eseguiti diversi tipi di attacco alle immagini prima della ricostruzione. I metodi di attacco includono sfocatura gaussiana e artefatti JPEG.

Così, se si tenta di utilizzare il set di dati “corrotto” o “crittografato” in un framework progettato per la generazione di immagini basate su GAN o per la riconoscimento facciale, il modello risultante sarà meno efficace di quanto non sarebbe stato se fosse stato addestrato su immagini non compromesse.

Bloccare le immagini

Tuttavia, questo è solo un effetto collaterale dell’applicabilità generale dei metodi di perturbazione popolari. In realtà, nel caso d’uso previsto, i dati saranno resi inutilizzabili tranne che nel caso di accesso autorizzato al framework di destinazione, poiché la chiave centrale per i dati puliti è un token segreto all’interno dell’architettura di destinazione.

Questa crittografia ha un prezzo; i ricercatori caratterizzano la perdita di qualità dell’immagine originale come ‘lieve distorsione’, e affermano ‘[Il] metodo proposto può quasi perfettamente ripristinare l’immagine originale, mentre i metodi precedenti possono solo ripristinare una versione sfocata.’

I metodi precedenti in questione sono del novembre 2018 documento Il AI non autorizzato non può riconoscermi: esempio avverso reversibile, una collaborazione tra due università cinesi e il RIKEN Center for Advanced Intelligence Project (AIP); e Attacco avverso reversibile basato sulla trasformazione di immagini reversibile, un documento del 2019 anch’esso del settore accademico cinese.

I ricercatori del nuovo documento affermano di aver apportato miglioramenti significativi nell’utilizzabilità delle immagini ripristinate, rispetto a questi approcci precedenti, osservando che il primo approccio è troppo sensibile alle interferenze intermedie e troppo facile da aggirare, mentre il secondo causa un degrado eccessivo delle immagini originali al momento dell’addestramento (autorizzato), compromettendo l’applicabilità del sistema.

Architettura, dati e test

Il nuovo sistema consiste in un generatore, uno strato di attacco che applica la perturbazione, classificatori di destinazione pre-addestrati e un elemento discriminatore.

L’architettura di RAEG. A sinistra, vediamo il token segreto ‘I_prt‘, che consentirà la de-perturbazione dell’immagine al momento dell’addestramento, identificando le caratteristiche perturbate incorporate nelle immagini di origine e scontandole.

Di seguito sono riportati i risultati di un test di confronto con i due approcci precedenti, utilizzando tre set di dati: CelebA-100; Caltech-101; e Mini-ImageNet.

I tre set di dati sono stati addestrati come reti di classificazione di destinazione, con una dimensione del batch di 32, su una NVIDIA RTX 3090 nel corso di una settimana, per 50 epoche.

Gli autori affermano che RAEG è il primo lavoro a offrire una rete neurale invertibile che possa attivamente generare esempi avversi.

Pubblicato per la prima volta il 4 gennaio 2022.