أبرز النقاط
- اختبارات AI القياسية تقلل من قدرات الوكلاء بنسبة تصل إلى 25% عند تقييد ميزانية الحوسبة
- النماذج الأحدث تستفيد بشكل أكبر من زيادة موارد الحوسبة مقارنة بالأجيال السابقة
- الوقت الذي يحتاجه خبير بشري لإتمام مهمة يتناسب طردياً مع عدد الرموز التي يستهلكها الوكيل
كشفت دراسة جديدة صادرة عن معهد أمان الذكاء الاصطناعي البريطاني (AISI) أن اختبارات الأداء المعيارية المستخدمة حالياً لتقييم وكلاء الذكاء الاصطناعي تقلل بشكل منهجي من قدراتها الفعلية بنسبة قد تصل إلى 25%. السبب؟ تقييد ميزانية الحوسبة أثناء الاختبار يُظهر الحد الأدنى لأداء هذه الأنظمة، لا أقصى ما يمكنها تحقيقه.
هذه النتائج تُعيد طرح سؤال جوهري: هل نعرف حقاً ما يمكن لهذه الأنظمة فعله؟ وإذا كانت الاختبارات الحالية تُقدم صورة ناقصة، فما الذي يعنيه ذلك لتقييمات السلامة والأمن السيبراني؟
لماذا تفشل الاختبارات المعيارية في قياس القدرات الحقيقية؟
اختبر الباحثون نماذج AI متقدمة عبر سبعة معايير قياسية مختلفة، مع تغيير ميزانية الحوسبة المتاحة لكل نموذج. النتيجة الأساسية: أداء وكيل الذكاء الاصطناعي ليس رقماً ثابتاً، بل منحنى يرتفع كلما زاد وقت المعالجة المسموح به.
عندما تُقطع ميزانية الحوسبة والمنحنى لا يزال في صعود، فإن الدرجة المُسجّلة تعكس الحد الأدنى فقط. هذا بالضبط ما أثبته فريق AISI: الاختبارات الحالية تُنهي التقييم قبل أن يصل النموذج إلى ذروة أدائه.
أين تظهر الفجوة بشكل أوضح؟
- الأمن السيبراني: نحو 8% من المهام لم تُحل إلا عندما تجاوزت الميزانية 10 ملايين رمز (token)، وبعضها احتاج 50 مليون رمز
- هندسة البرمجيات: قفزت معدلات النجاح بنسبة 25% عند رفع الميزانية من مليون إلى 10 ملايين رمز
- الرياضيات والمهام الأكاديمية: تحسّن بنحو 22% حتى ميزانية 5 ملايين رمز
اللافت أن الحوسبة الإضافية لا تُفيد بالتساوي في كل المجالات. في اختبار HealthBench للمهام الطبية، وصلت جميع النماذج إلى سقف أدائها ضمن الميزانية القياسية. السبب وفق الباحثين: الحوسبة الإضافية تُفيد أكثر حيث يستطيع الوكيل التحقق من عمله بنفسه — كتشغيل كود أو اختبار ثغرة — لكنها لا تُحدث فارقاً يُذكر حيث تغيب التغذية الراجعة.
كم يحتاج وكيل AI من موارد لإتمام مهمة بشرية؟
ربط الباحثون بين الوقت الذي يحتاجه خبير بشري لإتمام مهمة ما وعدد الرموز التي يستهلكها الوكيل. العلاقة تتبع قانون الأُس (power law):
- مهمة تستغرق دقيقة واحدة: آلاف الرموز
- مهمة تستغرق ساعة: ملايين الرموز
- مهمة تستغرق أسبوعاً: مليارات الرموز
هذا يعني أن ميزانية تقييم ثابتة تُقصي تلقائياً المهام الأطول والأصعب. فشل النموذج قد يعني ببساطة أن الميزانية كانت ضيقة، لا أن النموذج يفتقر للقدرة.
مثال عملي: مهمة الأمن السيبراني المُسماة "The Last Ones" تستغرق من خبير بشري نحو 20 ساعة. لم يتمكن أي نموذج من حلها بأقل من 30 مليون رمز.
النماذج الأحدث تستفيد أكثر من الحوسبة الإضافية
أظهرت الدراسة أن النماذج الأحدث تستفيد من الحوسبة الإضافية بشكل أكبر بكثير من سابقاتها. منحنى القدرات يتحول نحو الأعلى مع كل جيل جديد، ويتغير شكله عبر ثلاثة محاور:
- المدى: مهام أصعب تصبح قابلة للحل
- الموثوقية: المهمة نفسها تُحل بشكل أكثر اتساقاً
- الكفاءة: المهمة نفسها تحتاج رموزاً أقل
نموذج حدودي حالي نما أفقه الزمني من نحو 40 دقيقة عند ميزانية 2.5 مليون رمز إلى قرابة 4 ساعات عند 50 مليون رمز. وعبر جميع النماذج الحدودية، انتقل الأفق من ساعتين إلى 14 ساعة عند نفس القفزة في الميزانية.
الحدود تتحرك أسرع مما توحي به الاختبارات
كان AISI قد قدّر سابقاً أن الأفق الزمني للنماذج الحدودية في مهام الأمن السيبراني يتضاعف كل 4.7 أشهر تقريباً، وذلك عند ميزانية ثابتة تبلغ 2.5 مليون رمز. لكن عند 50 مليون رمز، يصبح الاتجاه أكثر حدة بنسبة 60%.
النماذج التي خضعت للاختبار تشمل GPT-5 وGPT-5.5 من OpenAI، وOpus 4.5 وOpus 4.8 وSonnet 4.5 من Anthropic. هذه الأرقام تُشير إلى أن التقدم الفعلي في قدرات AI أسرع بكثير مما تُظهره التقييمات المعيارية.
ما الذي تعنيه هذه النتائج لتقييمات السلامة؟
إذا كانت الاختبارات الحالية تُقلل من قدرات AI بشكل منهجي، فإن قرارات النشر المبنية على هذه الاختبارات قد تكون مبنية على معلومات ناقصة. هذا ينطبق بشكل خاص على القدرات التي قد تشكل مخاطر — كالأمن السيبراني الهجومي.
الدراسة تدعو ضمنياً إلى إعادة النظر في منهجيات التقييم: بدلاً من ميزانيات ثابتة، قد نحتاج إلى اختبارات تستكشف "المظروف الكامل للقدرات" — أي ما يمكن للنظام فعله في ظروف مثالية، لا فقط ما يُظهره تحت قيود اعتباطية.
الأسئلة الشائعة
ما هو معهد أمان الذكاء الاصطناعي البريطاني (AISI)؟
هو هيئة حكومية بريطانية تأسست في نوفمبر 2023 ضمن التزامات قمة سلامة الذكاء الاصطناعي في Bletchley Park، وتختص بتقييم أنظمة AI المتقدمة لرصد المخاطر المحتملة.
لماذا تُقلل الاختبارات المعيارية من قدرات وكلاء AI؟
لأنها تفرض ميزانية حوسبة ثابتة تُنهي التقييم قبل أن يصل النموذج إلى ذروة أدائه، فتُسجّل الحد الأدنى لا الحد الأقصى لقدراته.
ما أهمية هذه النتائج للأمن السيبراني؟
تُشير إلى أن قدرات AI الهجومية قد تكون أعلى مما تُظهره التقييمات الحالية، مما يستدعي إعادة النظر في تقييمات المخاطر قبل نشر هذه الأنظمة.
ما النماذج التي خضعت للاختبار في هذه الدراسة؟
شملت GPT-5 وGPT-5.5 من OpenAI، وOpus 4.5 وOpus 4.8 وSonnet 4.5 من Anthropic.
كيف تؤثر هذه النتائج على قرارات نشر أنظمة AI؟
تُشير إلى أن قرارات النشر المبنية على الاختبارات الحالية قد تكون مبنية على تقدير أقل من الواقع لقدرات هذه الأنظمة، سواء الإيجابية أو الخطرة.
رأي Logicity
هذه الدراسة تكشف ثغرة منهجية خطيرة في صناعة تقييم AI بأكملها. الشركات التي تبني منتجاتها بناءً على نتائج اختبارات معيارية — سواء للمقارنة بين نماذج OpenAI وAnthropic وGoogle، أو لتقدير متطلبات البنية التحتية — قد تحتاج إلى مراجعة حساباتها. أدوات تقييم النماذج مثل Weights & Biases وMLflow تُركز على الأداء ضمن قيود محددة، لكن السؤال الآن: هل نحتاج جيلاً جديداً من أدوات التقييم يختبر القدرات القصوى لا المتوسطة؟
هل تحتاج مساعدة في التطبيق؟
إذا كنت تبني منتجات تعتمد على وكلاء AI وتحتاج إلى فهم أعمق لكيفية تقييم قدراتها الفعلية، تواصل مع فريق Logicity للاستشارات التقنية المتخصصة في الذكاء الاصطناعي.
عمر حسن
كاتب تقني وابتكار
أُنتِج هذا المقال بمساعدة الذكاء الاصطناعي وراجعه فريق التحرير في لوجيسيتي. اعرف المزيد في سياسة التحرير.
