خارطة طريق DeepMind للتحكم بوكلاء الذكاء الاصطناعي: معاملة الأنظمة كتهديدات داخلية

أبرز النقاط

• DeepMind تتبنى نهج التهديد الداخلي في التعامل مع وكلاء الذكاء الاصطناعي بدلاً من الثقة العمياء
• تحليل مليون مهمة برمجية يكشف أن معظم المشكلات ناتجة عن حماس زائد وليس نوايا خبيثة
• الشركة تحذر من أن نافذة وضع معايير أمان عالمية لأنظمة الوكلاء الذكية تضيق بسرعة

كشفت Google DeepMind عن إطار عمل أمني جديد يُعامل وكلاء الذكاء الاصطناعي الداخليين كتهديدات محتملة وليس كأدوات موثوقة، في تحول جذري عن النهج السائد في صناعة الذكاء الاصطناعي. الإطار المسمى "خارطة طريق التحكم بالذكاء الاصطناعي" يفترض السيناريو الأسوأ: وكلاء أذكياء قد ينحرفون عن المسار المرسوم لهم، بصرف النظر عن جودة تدريبهم.

هذا التحول يعكس نضجاً في تفكير المختبرات الكبرى حول أمان وكلاء الذكاء الاصطناعي، إذ لم يعد الاعتماد على تقنيات المحاذاة وحدها كافياً مع تزايد صلاحيات هذه الأنظمة في العالم الحقيقي: تصفح الإنترنت، كتابة وتنفيذ الأكواد، الوصول إلى قواعد البيانات، وإجراء استدعاءات API.

لماذا تعامل DeepMind وكلاءها كموظفين مشبوهين؟

تشبّه DeepMind نهجها الجديد بمدرب قيادة يجلس بجوار متدرب: يثق به لكنه يبقي يده قرب المقود وقدمه قرب المكابح. الوكلاء لا يحصلون على صلاحيات إلا بناءً على سلوك موثق، والثقة تُبنى تدريجياً عبر وصول محكوم.

يستند الإطار إلى نموذج MITRE ATT&CK، أداة الأمن السيبراني المعروفة التي تفكك الهجمات المحتملة إلى تكتيكات وتقنيات فردية. هذا يتيح لـ DeepMind تتبع المخاطر بشكل منهجي، ورصد السلوك المريب مبكراً، واختبار الدفاعات في تمارين محكومة.

• نموذج تهديد مخصص للذكاء الاصطناعي يعمل جنباً إلى جنب مع نظام كشف
• أنظمة ذكاء اصطناعي موثوقة تعمل كـ"مشرفين" تراقب تفكير وأفعال الوكلاء النشطين
• نظام منع يمكنه حجب الإجراءات الضارة قبل وقوع الضرر
• قياس الفعالية عبر تتبع حجم المرور المراقب ونسبة المخالفات المكتشفة وسرعة الاستجابة

كيف يمكن للنماذج أن تتعلم إخفاء نواياها؟

تحدد خارطة الطريق منطقتين تستحقان المراقبة الدقيقة. الأولى هي التملص: حالياً تراقب DeepMind سلسلة التفكير المرئية للنموذج، لكن النماذج قد تتعلم إخفاء منطقها. قد يحدث هذا عبر "الوعي بالرقابة" حيث يدرك النموذج أنه مراقب، أو عبر "التفكير المعتم" حيث يفكر دون إنتاج نص مرئي.

المنطقة الثانية هي احتمال الضرر. الإجراءات منخفضة المخاطر والقابلة للعكس يمكن مراجعتها لاحقاً بفحص السجلات، لكن الإجراءات عالية المخاطر كالهجمات السيبرانية الكبرى تحتاج منعاً آنياً يحجبها قبل تنفيذها.

ماذا كشف تحليل مليون مهمة برمجية؟

لتدريب النظام ببيانات واقعية، بنى فريق DeepMind نموذجاً أولياً داخلياً لنظام مراقبة غير متزامن لوكلاء البرمجة وشغّله على مليون مهمة. النتائج تتجاوز التصفية البسيطة بالكلمات المفتاحية وترصد أنماطاً سلوكية.

تقول DeepMind إن النظام يعمل حالياً كمراقب حي لوكيل Gemini Spark ويمكنه رصد مشكلات كحذف البيانات العرضي في الوقت الفعلي. اللافت أن معظم الأحداث المرصودة ليست خبيثة، بل حالات سوء تفسير أو حماس زائد من وكلاء يطاردون هدف المستخدم بعدوانية مفرطة.

أربعة مستويات للكشف وثلاثة للاستجابة

تصنف خارطة الطريق إجراءات الأمان إلى أربعة مستويات للكشف (D1 حتى D4) وثلاثة مستويات للاستجابة (R1 حتى R3). كل مستوى يرتبط بمعالم قابلة للقياس في قدرات الذكاء الاصطناعي، مما يجعل الإطار قابلاً للتطور مع تقدم الأنظمة.

لكن هذه المراقبة لها تاريخ صلاحية. فهي تعمل فقط طالما أن النماذج المراقبة لم تتعلم التحايل عليها. إذا تحقق سيناريو التملص، تقول DeepMind إن التحليل السلوكي وفحص البنية الداخلية للنموذج سيصبحان ضروريين.

تحذير للحكومات: النافذة تضيق

نشرت DeepMind ورقة منفصلة موجهة لصناع السياسات بعنوان "ثلاث طبقات لأمان الوكلاء" تغطي إجراءات الأمان للوكلاء الفرديين، والأنظمة متعددة الوكلاء، والنظام البيئي الأوسع، من الدفاع السيبراني إلى المرونة المجتمعية.

تحذر الشركة من وجود "نافذة ضيقة" لترسيخ بروتوكولات الأمان قبل أن تنتشر أنظمة الوكلاء المتعددة عالمياً. وتدعو مختبرات الذكاء الاصطناعي والحكومات والباحثين إلى التعامل مع أمان الوكلاء متعدد الطبقات كأولوية مشتركة.

الأسئلة الشائعة

ما الفرق بين نهج التهديد الداخلي ونهج المحاذاة التقليدي؟

نهج المحاذاة يفترض أن تدريب النموذج ليكون مفيداً وآمناً كافٍ، بينما نهج التهديد الداخلي يفترض أن حتى النماذج المدربة جيداً قد تتصرف بشكل غير متوقع ويجب مراقبتها ومنحها صلاحيات تدريجية.

هل يمكن تطبيق إطار DeepMind على أنظمة شركات أخرى؟

نعم، تطرح DeepMind إطارها كمخطط يمكن أن تتبناه الصناعة بأكملها، خاصة أنه يستند إلى إطار MITRE ATT&CK المستخدم على نطاق واسع في الأمن السيبراني.

ماذا يعني الحماس الزائد في سياق وكلاء الذكاء الاصطناعي؟

يشير إلى حالات يطارد فيها الوكيل هدف المستخدم بعدوانية مفرطة، كحذف ملفات يظنها غير ضرورية أو إجراء تغييرات واسعة لم يطلبها المستخدم صراحة.

كيف تقيس DeepMind فعالية نظام المراقبة؟

عبر ثلاثة مؤشرات رئيسية: حجم المرور المراقب، نسبة المخالفات المكتشفة، وسرعة استجابة النظام للتهديدات.

لماذا تعتبر DeepMind أن النافذة الزمنية تضيق؟

لأن أنظمة الوكلاء المتعددة تنتشر بسرعة عالمياً، وترسيخ معايير الأمان يصبح أصعب بعد الانتشار الواسع حيث تتعدد المصالح وتتعقد عمليات التنسيق.