Quando un'organizzazione offre previsioni tramite API, query ripetute possono rivelare abbastanza del comportamento del modello da consentire l'addestramento di un sostituto. Si chiama estrazione di modelli. Il sostituto può imitare alcune uscite del modello originale, ma ciò non significa che l'attaccante ne abbia recuperato i pesi esatti o i dati di addestramento.
Che cos'è il furto di modelli?
Un modello è esposto quando un utente esterno può inviare input e ricevere previsioni. In un attacco di estrazione, l'attaccante raccoglie molti esempi input-output e li usa per addestrare un modello distinto. L'obiettivo è di norma riprodurre il comportamento del bersaglio su input pertinenti, non ottenere il file del modello originale.
Come funziona l'estrazione
In generale, l'attaccante individua un'interfaccia di previsione, invia input selezionati e registra etichette, punteggi o altre uscite. Questi esempi possono poi servire ad addestrare un modello sostitutivo. Fattibilità e fedeltà dipendono dal modello, dalle informazioni restituite, dai limiti di query e dalle risorse dell'attaccante.
Impatto aziendale
Un modello sostitutivo può ridurre il vantaggio commerciale di un servizio di predizione proprietario, consentire funzionalità concorrenti o facilitare lo studio offline del comportamento del modello. L'impatto effettivo dipende dalla funzione del modello, dal valore delle sue uscite e dalla somiglianza del sostituto. L'estrazione non aggira di per sé autenticazione o controlli di accesso del servizio bersaglio.
Controlli di sicurezza
Riducete l'esposizione non necessaria: autenticate i chiamanti quando opportuno, applicate quote per account, monitorate schemi di query insoliti e restituite solo i dettagli necessari al prodotto. Queste misure possono aumentare i costi o aiutare a rilevare i tentativi, ma nessun singolo controllo garantisce che l'estrazione sia impossibile. Scegliete i controlli in base al modello, all'interfaccia e all'uso aziendale.
Conclusione
L'estrazione di modelli è un rischio concreto per alcuni sistemi che espongono interfacce di previsione. I team possono valutare quante informazioni restituisce l'interfaccia, chi può interrogarla e se i controlli d'uso sono adeguati al valore del modello. Le mitigazioni dipendono dal sistema; le ricerche qui sotto offrono dettagli tecnici ed esempi.