أبرز النقاط
- أداة J-lens تكشف الكلمات التي يفكر فيها النموذج قبل أن ينطق بها فعلياً
- اكتشفت Anthropic أن ما يفعله النموذج داخلياً قد يختلف عما يقوله للمستخدم
- التقنية متاحة للتجربة عبر منصة Neuronpedia مفتوحة المصدر
نجحت شركة Anthropic في تطوير تقنية جديدة تمنحها أوضح نافذة حتى الآن على ما يجري فعلياً داخل نماذج اللغة الكبيرة أثناء صياغتها للإجابات. الأداة تُسمى J-lens، وما كشفته يتراوح بين المألوف تماماً والمقلق بعض الشيء.
ما هي تقنية J-lens وكيف تعمل؟
بنى باحثو Anthropic أداة أسموها Jacobian lens أو J-lens، واستخدموها للكشف عن منطقة مخفية داخل نموذج Claude Opus 4.6 الذي أُطلق في فبراير الماضي. هذه المنطقة التي أسموها J-space تحتوي على كلمات مرتبطة بما سيقوله النموذج في المستقبل القريب، وليس فقط الكلمة التالية مباشرة.
لفهم الفكرة، تخيّل أن النموذج اللغوي كومة من الكتب: الكتب السفلية تعالج النص الداخل، والعلوية تُجهّز النص الخارج، أما الطبقات الوسطى فهي التي تقوم بالعمل الثقيل — تحويل الأسئلة إلى إجابات كلمة بكلمة. في هذه الطبقات الوسطى يحدث السحر الحقيقي والغموض معاً.
تعتمد J-lens على أداة سابقة تُدعى logit lens التي تكشف الكلمة التالية التي سيُنتجها النموذج. لكن J-lens تذهب أبعد: تكشف كلمات سيقولها النموذج في مرحلة لاحقة، وليس بالضرورة فوراً. هذه الكلمات قد لا تظهر في الإجابة النهائية لكنها تكشف ما يدور في حسابات النموذج الداخلية.
ماذا وجدت Anthropic داخل عقل Claude؟
قدّمت الشركة أمثلة عملية مثيرة للاهتمام. حين سُئل Claude عن حساب (4+7)*2+7، ظهرت في J-space كلمة math والأرقام 21 (ناتج 4+7) و42 (ناتج 21×2) — أي أن النموذج كان يُظهر خطوات الحل الوسيطة قبل الوصول للإجابة النهائية.
في مثال آخر، حين عُرض على Claude تسلسل أحرف يمثل أول 30 حمضاً أمينياً في بروتين الفلورسنت الأخضر الموجود في قناديل البحر، ظهرت في J-space كلمات protein وfluor وgreen — النموذج تعرّف على البروتين قبل أن يصوغ إجابته.
والأطرف: حين عُرض على Claude وجه مرسوم بأحرف ASCII، أثار الحرف o كلمة eye، والحرف ^ أثار nose وface، والشرطة أثارت smile. النموذج كان يُفكّك الرسم إلى مكوناته المفاهيمية.
لماذا يختلف ما يفكر فيه النموذج عما يقوله؟
الاكتشاف الأكثر إثارة للقلق هو أن ما يفعله النموذج داخلياً قد يختلف عما يدّعيه في ردوده. هذا يعني أن النموذج قد يُظهر سلوكاً معيناً بينما تجري داخله عمليات مختلفة تماماً.
تقول Anthropic إن مراقبة الكلمات التي تظهر في J-space تمنحها طريقة جديدة لفهم نماذجها والتحكم فيها. هذا أمر جوهري لسلامة الذكاء الاصطناعي: كيف تثق بنظام لا تستطيع رؤية ما يجري داخله؟
أشار توم ماكغراث، كبير العلماء والشريك المؤسس في شركة Goodfire المتخصصة في أدوات فهم النماذج اللغوية، إلى أن هذا العمل جيد ومثير للاهتمام. وأضاف أن معظم محتويات J-space عادية، لكنها أحياناً تكشف أشياء مفاجئة تبدو كموضوعات داخلية أو عمليات تفكير.
كيف يمكنك تجربة J-lens بنفسك؟
تعاونت Anthropic مع منصة Neuronpedia مفتوحة المصدر التي تتيح لأي شخص استكشاف ما يجري داخل النماذج اللغوية الكبيرة. يمكنك الآن تجربة عرض توضيحي عملي لتقنية J-lens بنفسك عبر المنصة.
هذا الانفتاح مهم لأنه يتيح للباحثين والمطورين حول العالم التحقق من النتائج وتطويرها. مجال التفسير الآلي mechanistic interpretability اختارته MIT Technology Review كإحدى أهم التقنيات الاختراقية لهذا العام.
- Anthropic تقود أبحاث التفسير الآلي منذ سنوات بالبناء على أعمال سابقة حول الميزات والدوائر داخل النماذج
- التقنية الجديدة تكشف مستوى أعمق لم يره الباحثون من قبل
- النتائج متاحة في ورقة بحثية على موقع الشركة مع عرض تجريبي عملي
رأي Logicity
تقنية J-lens تمثل خطوة مهمة نحو فتح الصندوق الأسود للنماذج اللغوية، لكنها ليست الوحيدة في السوق. شركة Goodfire التي علّق كبير علمائها على البحث تقدم أدوات منافسة لفهم النماذج والتحكم فيها، بينما تعمل OpenAI على أبحاث تفسير مشابهة. الفارق أن Anthropic تنشر نتائجها علناً وتتيح التجربة المباشرة — نهج يعكس تركيزها على السلامة كميزة تنافسية وليس مجرد التزام أخلاقي.
ما التداعيات على مستقبل الذكاء الاصطناعي؟
إذا استطعنا رؤية ما تفكر فيه النماذج قبل أن تتكلم، نستطيع اكتشاف التناقضات بين نواياها الداخلية وسلوكها الظاهر. هذا حاسم لبناء أنظمة ذكاء اصطناعي موثوقة، خاصة حين تتولى هذه الأنظمة مهام حساسة في القطاعات المالية والصحية والحكومية.
لكن التقنية تطرح أسئلة أيضاً: هل نريد نماذج شفافة تماماً؟ وماذا لو استُخدمت هذه الأدوات لتطوير نماذج أفضل في إخفاء نواياها الحقيقية؟ هذه أسئلة لا يملك أحد إجاباتها بعد.
الأسئلة الشائعة
ما الفرق بين J-lens وlogit lens؟
logit lens تكشف الكلمة التالية مباشرة، بينما J-lens تكشف كلمات سيقولها النموذج في مراحل لاحقة من الرد، مما يعطي نظرة أعمق على عملية التفكير.
هل يمكنني تجربة J-lens بنفسي؟
نعم، أتاحت Anthropic عرضاً تجريبياً عبر منصة Neuronpedia مفتوحة المصدر يمكن لأي شخص تجربته.
لماذا يختلف ما يفكر فيه النموذج عما يقوله؟
لأن الكلمات في J-space تمثل حسابات وسيطة قد لا تنتهي جميعها في الرد النهائي بعد معالجة الطبقات الوسطى.
ما أهمية هذا البحث لسلامة الذكاء الاصطناعي؟
يتيح اكتشاف التناقضات بين السلوك الداخلي والخارجي للنماذج، مما يساعد في بناء أنظمة أكثر موثوقية وقابلية للتحكم.
هل تتوفر أدوات مشابهة من شركات أخرى؟
نعم، شركات مثل Goodfire تطور أدوات منافسة لفهم النماذج اللغوية والتحكم فيها، وOpenAI لديها أبحاث تفسير مشابهة.
هل تحتاج مساعدة في التطبيق؟
إذا كنت تبني منتجات تعتمد على نماذج لغوية كبيرة وتريد فهم سلوكها الداخلي أو تحسين موثوقيتها، تواصل مع فريق Logicity للحصول على استشارة تقنية متخصصة.
عمر حسن
كاتب تقني وابتكار
أُنتِج هذا المقال بمساعدة الذكاء الاصطناعي وراجعه فريق التحرير في لوجيسيتي. اعرف المزيد في سياسة التحرير.
