Lorsqu'une organisation expose des prédictions par API, des requêtes répétées peuvent révéler suffisamment le comportement du modèle pour entraîner un modèle de substitution. C'est l'extraction de modèle. Ce substitut peut imiter certaines sorties du modèle initial, sans pour autant récupérer ses poids exacts ni ses données d'entraînement.
Qu'est-ce que le vol de modèle ?
Un modèle est exposé lorsqu'un utilisateur externe peut lui envoyer des entrées et recevoir des prédictions. Dans une attaque par extraction, l'attaquant collecte de nombreux exemples entrée-sortie et les utilise pour entraîner un modèle distinct. Le but est généralement de reproduire le comportement de la cible sur des entrées pertinentes, et non d'obtenir le fichier du modèle original.
Comment fonctionne le vol de modèle
À haut niveau, l'attaquant identifie une interface de prédiction, soumet des entrées choisies et enregistre les étiquettes, scores ou autres sorties retournés. Ces exemples peuvent ensuite servir à entraîner un modèle de substitution. La faisabilité et la fidélité dépendent du modèle, des informations retournées, des limites de requêtes et des ressources de l'attaquant.
Impact métier
Un modèle de substitution peut réduire l'avantage commercial d'un service de prédiction propriétaire, permettre de proposer des fonctionnalités concurrentes ou faciliter l'étude hors ligne du comportement du modèle. L'impact métier réel dépend de la fonction du modèle, de la valeur de ses sorties et de la proximité du substitut. L'extraction ne contourne pas à elle seule l'authentification ou les contrôles d'accès du service cible.
Contrôles de sécurité
Réduisez l'exposition inutile : authentifiez les utilisateurs lorsque c'est pertinent, appliquez des quotas par compte, surveillez les requêtes inhabituelles et ne retournez que le niveau de détail nécessaire au produit. Ces mesures peuvent augmenter le coût d'une extraction ou aider à la détecter, sans garantir qu'elle soit impossible. Le choix dépend du modèle, de l'interface et de l'usage métier.
Conclusion
L'extraction de modèle est un risque concret pour certains systèmes qui exposent une interface de prédiction. Les équipes peuvent évaluer les informations retournées par l'interface, les personnes autorisées à l'interroger et l'adéquation des contrôles d'usage à la valeur du modèle. Les mesures appropriées dépendent du système ; les travaux de recherche ci-dessous donnent des détails et des exemples techniques.