Voler les modèles d’apprentissage automatique via les sorties d’API

De nouvelles recherches menées au Canada offrent une méthode possible pour que les attaquants puissent voler les fruits de coûteux cadres d’apprentissage automatique, même lorsque l’accès unique à un système propriétaire se fait via une API (une interface ou un protocole qui traite les requêtes utilisateur côté serveur et ne retourne que la réponse de sortie) hautement sanarisée et apparemment bien défendue.

Alors que le secteur de la recherche se tourne de plus en plus vers la monétisation de la formation de modèles coûteux via des implémentations d’apprentissage automatique en tant que service (MLaaS), les nouvelles recherches suggèrent que les modèles d’apprentissage auto-supervisé (SSL) sont plus vulnérables à ce type d’exfiltration de modèles, car ils sont formés sans étiquettes, ce qui simplifie l’extraction, et fournissent généralement des résultats qui contiennent une grande quantité d’informations utiles pour quelqu’un qui souhaite reproduire le modèle source (caché).

Dans des simulations de tests « boîte noire » (où les chercheurs se sont accordé aucun accès à un modèle « victime » local qu’un utilisateur typique aurait via une API Web), les chercheurs ont pu reproduire les systèmes cibles avec des ressources relativement faibles:

‘[Notre] attaque peut voler une copie du modèle victime qui atteint des performances considérables en aval en moins d’un cinquième des requêtes utilisées pour former le modèle victime. Contre un modèle victime formé sur 1,2 million d’échantillons non étiquetés d’ImageNet, avec une précision de 91,9 % sur la tâche de classification Fashion-MNIST en aval, notre attaque d’extraction directe avec la perte InfoNCE a volé une copie de l’encodeur qui atteint une précision de 90,5 % en 200 000 requêtes.

‘De même, contre un modèle victime formé sur 50 000 échantillons non étiquetés de CIFAR10, avec une précision de 79,0 % sur la tâche de classification CIFAR10 en aval, notre attaque d’extraction directe avec la perte SoftNN a volé une copie qui atteint une précision de 76,9 % en 9 000 requêtes.’

Les chercheurs ont utilisé trois méthodes d’attaque, constatant que « l’extraction directe » était la plus efficace. Ces modèles ont été volés à partir d’un encodeur CIFAR10 victime recréé localement à l’aide de 9 000 requêtes du jeu de test CIFAR10. Source: https://arxiv.org/pdf/2205.07890.pdf

Les chercheurs notent également que les méthodes qui sont adaptées pour protéger les modèles supervisés contre les attaques ne s’adaptent pas bien aux modèles formés sur une base non supervisée – même si de tels modèles représentent certains des fruits les plus attendus et célébrés du secteur de la synthèse d’images.

Le nouveau document est intitulé Sur la difficulté de défendre l’apprentissage auto-supervisé contre l’extraction de modèles, et provient de l’Université de Toronto et de l’Institut Vector pour l’intelligence artificielle.

Conscience de soi

Dans l’apprentissage auto-supervisé, un modèle est formé sur des données non étiquetées. Sans étiquettes, un modèle d’apprentissage auto-supervisé doit apprendre les associations et les groupes à partir de la structure implicite des données, en recherchant des facettes similaires de données et en les regroupant progressivement en nœuds, ou représentations.

Lorsqu’une approche d’apprentissage auto-supervisé est viable, elle est incroyablement productive, car elle contourne le besoin de catégorisation coûteuse (souvent externalisée et controverse) par des travailleurs de la foule, et rationalise essentiellement les données de manière autonome.

Les trois approches d’apprentissage auto-supervisé considérées par les auteurs de la nouvelle étude sont SimCLR, un réseau siamois; SimSiam, un autre réseau siamois centré sur l’apprentissage de représentations; et Barlow Twins, une approche d’apprentissage auto-supervisé qui a atteint les performances de classement d’ImageNet de l’état de l’art lors de sa sortie en 2021.

L’extraction de modèles pour les données étiquetées (c’est-à-dire un modèle formé par apprentissage supervisé) est un domaine de recherche relativement bien documenté. Il est également plus facile à défendre, car l’attaquant doit obtenir les étiquettes du modèle victime afin de le recréer.

À partir d’un document précédent, un modèle d’attaque de « classificateur contrefait » contre une architecture d’apprentissage supervisé. Source: https://arxiv.org/pdf/1812.02766.pdf

Sans accès « boîte blanche », cela n’est pas une tâche triviale, car la sortie typique d’une requête API à un tel modèle contient moins d’informations qu’avec une API SSL typique.

Du document*:

‘Les travaux précédents sur l’extraction de modèles se sont concentrés sur le cadre de l’apprentissage supervisé (SL), où le modèle victime retourne généralement une étiquette ou d’autres sorties de faible dimension comme des scores de confiance ou des logits.

‘En revanche, les encodeurs SSL retournent des représentations de haute dimension; la sortie de facto pour un modèle ResNet-50 Sim-CLR, une architecture populaire dans la vision, est un vecteur de dimension 2048.

‘Nous hypothésons que cette fuite d’informations significativement plus élevée des encodeurs les rend plus vulnérables aux attaques d’extraction que les modèles SL.’

Architecture et données

Les chercheurs ont testé trois approches pour l’inférence/extraction de modèles SSL: l’extraction directe, dans laquelle la sortie de l’API est comparée à la sortie d’un encodeur recréé via une fonction de perte appropriée telle que l’erreur quadratique moyenne (MSE); la recréation de la tête de projection, où une fonctionnalité analytique cruciale du modèle, normalement supprimée avant le déploiement, est réassemblée et utilisée dans un modèle répliqué; et l’accès à la tête de projection, qui n’est possible que dans les cas où les développeurs d’origine ont rendu l’architecture disponible.

Dans la méthode n° 1, l’extraction directe, la sortie du modèle victime est comparée à la sortie d’un modèle local; la méthode n° 2 implique la recréation de la tête de projection utilisée dans l’architecture de formation d’origine (et généralement non incluse dans un modèle déployé).

Les chercheurs ont constaté que l’extraction directe était la méthode la plus efficace pour obtenir une réplique fonctionnelle du modèle cible, et a l’avantage supplémentaire d’être la plus difficile à caractériser comme une « attaque » (car elle se comporte essentiellement de la même manière qu’un utilisateur final typique et valide).

Les auteurs ont formé des modèles victimes sur trois jeux de données d’images: CIFAR10, ImageNet, et les numéros de maison de Stanford Street View (SVHN). ImageNet a été formé sur ResNet50, tandis que CIFAR10 et SVHN ont été formés sur ResNet18 et ResNet24 sur une mise en œuvre PyTorch librement disponible de SimCLR.

Les performances en aval (c’est-à-dire déployées) des modèles ont été testées contre CIFAR100, STL10, SVHN et Fashion-MNIST. Les chercheurs ont également expérimenté avec des méthodes plus « boîte blanche » d’appropriation de modèles, bien qu’il se soit avéré que l’extraction directe, l’approche la moins privilégiée, a donné les meilleurs résultats.

Pour évaluer les représentations qui sont inférées et répliquées dans les attaques, les auteurs ont ajouté une couche de prédiction linéaire au modèle, qui a été affinée sur l’ensemble d’entraînement complet étiqueté de la tâche (en aval) suivante, avec le reste des couches du réseau gelées. De cette façon, la précision du test sur la couche de prédiction peut fonctionner comme une métrique de performance. Puisqu’elle ne contribue rien au processus d’inférence, cela ne représente pas de fonctionnalité « boîte blanche ».

Résultats des exécutions de test, rendus possibles par la couche d’évaluation linéaire (non contributive). Scores de précision en gras.

En commentant les résultats, les chercheurs déclarent:

‘Nous constatons que l’objectif direct d’imiter les représentations de la victime donne de hautes performances sur les tâches en aval, malgré le fait que l’attaque nécessite seulement une fraction (moins de 15 % dans certains cas) du nombre de requêtes nécessaires pour former l’encodeur volé à l’origine.’

Et poursuivent:

‘[Il] est difficile de défendre les encodeurs formés avec SSL, car les représentations de sortie fuient une quantité substantielle d’informations. Les défenses les plus prometteuses sont des méthodes réactives, telles que le marquage d’eau, qui peuvent intégrer des augmentations spécifiques dans des encodeurs à haute capacité.’

* Ma conversion des citations en ligne du document en hyperliens.

Publié pour la première fois le 18 mai 2022.