عندما تتيح مؤسسة التنبؤات عبر واجهة API، قد تكشف الاستعلامات المتكررة ما يكفي عن سلوك النموذج لتدريب نموذج بديل. يُسمى ذلك استخراج النماذج. قد يحاكي البديل بعض مخرجات النموذج الأصلي، لكن هذا لا يعني أن المهاجم استعاد أوزانه الدقيقة أو بيانات تدريبه.
ما استخراج النماذج؟
يكون النموذج مكشوفاً عندما يستطيع مستخدم خارجي إرسال مدخلات وتلقي تنبؤات. في هجوم الاستخراج، يجمع المهاجم أمثلة كثيرة للمدخلات والمخرجات ويستخدمها لتدريب نموذج منفصل. والهدف غالباً محاكاة سلوك النموذج المستهدف على مدخلات مناسبة، لا الحصول على ملف النموذج الأصلي.
كيف يعمل الاستخراج
بصورة عامة، يحدد المهاجم واجهة تنبؤ، ويرسل مدخلات مختارة، ويسجل التصنيفات أو الدرجات أو المخرجات الأخرى. ويمكن استخدام هذه الأمثلة لتدريب نموذج بديل. وتعتمد إمكانية الاستخراج ودقته على النموذج والمعلومات المعادة وحدود الاستعلامات وموارد المهاجم.
الأثر على الأعمال
قد يقلل النموذج البديل الميزة التجارية لخدمة تنبؤ مملوكة، أو يتيح وظائف منافسة، أو يسهل دراسة سلوك النموذج دون اتصال. ويتوقف الأثر الفعلي على وظيفة النموذج وقيمة مخرجاته ومدى تشابه البديل. ولا يتجاوز الاستخراج بحد ذاته المصادقة أو ضوابط الوصول إلى الخدمة المستهدفة.
ضوابط الأمن
قللوا التعرض غير الضروري: تحققوا من هوية المستدعين عند الحاجة، وطبقوا حصصاً لكل حساب، وراقبوا أنماط الاستعلام غير المعتادة، ولا تعيدوا إلا التفاصيل التي يحتاجها المنتج. قد ترفع هذه الإجراءات التكلفة أو تساعد على الكشف، لكن لا يضمن أي ضابط منفرد استحالة الاستخراج. اختاروا الضوابط وفق النموذج والواجهة والاستخدام التجاري.
الخلاصة
يمثل استخراج النماذج خطراً عملياً لبعض الأنظمة التي تعرض واجهات للتنبؤ. يمكن للفرق تقييم مقدار المعلومات التي تعيدها الواجهة، ومن يستطيع الاستعلام منها، ومدى تناسب ضوابط الاستخدام مع قيمة النموذج. وتعتمد المعالجة على النظام؛ وتعرض الأبحاث أدناه تفاصيل وأمثلة تقنية.