لماذا نماذج الذكاء الاصطناعي لا تعطي نفس المخرجات دائمًا حتى عند استخدام temperature = 0

أظهرت دراسة حديثة من Thinking Machines Lab أن الفرضية الشائعة – أن السبب هو “توازي العمليات على وحدات المعالجة + أخطاء الـ floating points” – ناقصة، فعلى الخوادم المعزولة تكون النماذج متكررة وموثوقة؛ المشكلة تظهر عندما يخدم السيرفر مستخدمين متعددين ويُجمِّع الطلبات في دفعات Batch !!

السبب الحقيقي :: غياب ثبات شكل الدفعات (Batch Invariance)

✴️ عندما تختلف أحجام وتركيبات الدفعات، يغير كود النواة (GPU kernels) خطة تنفيذ reductions مثل الـRMSNorm وعمليات الضرب المصفوفي والانتباه، فيتغير ترتيب الجمع والقطع، وتنشأ فروق رقمية صغيرة تؤدي إلى نتائج غير متطابقة !!!!!

الحل المقترح :: Batch-Invariant Kernels 👌

✴️ إعادة تصميم نوى الحساب بحيث تكون نتائجها ثابتة بغض النظر عن شكل أو حجم الدفعة؛ هذا يضمن : ” نفس الإدخال ◀️ نفس الإخراج ” عبر مئات أو آلاف التكرارات، لكن تحصيل هذا الاتساق يأتي بتكلفة أداء (تراجع في السرعة مقارنةً بالطُرق الحالية) ؛؛

الخلاصة باختصار ◀️ لا نستطيع نحن تغيير ذلك؛ إذا أردنا موثوقية قابلة للتحقق للاستخدامات الحرجة (قانونية – طبية – مالية) فعلينا الضغط على مزودي البنية التحتية (OpenAI وAnthropic وGrok .. الخ) لاعتماد تصاميم batch-invariant !!

رابط الورقة 🔗

https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference