Radar Telegram alerts افتح Radar

عمل جديد مثير للاهتمام بشأن الضبط الدقيق من خلال إعادة ضبط عدد صغير من الأوزان.

תרגם לעברית

gonzo ML papers · · المصدر

عمل جديد مثير للاهتمام بشأن الضبط الدقيق من خلال إعادة ضبط عدد صغير من الأوزان.

الفعالية المدهشة لحذف الوزن في LLM بعد التدريب.

جاك لو، زينبانج يانج، مايك لاسبي، تكساس فوتا، ياني يوان، مينجيا رين.

ورق:.

مراجعة:.

مشروع:.

شفرة: .

نموذج:.

المفتاح: يمكن للنماذج اللغوية المدربة مسبقًا أن تتعلم مهارات جديدة في التفكير والأدوات دون كتابة أوزان جديدة. على نطاق واسع، يكفي إعادة ضبط أقل من 0.05% من المعلمات، ولن تتأثر القدرات السابقة.

ماذا فعلوا: اقترح المؤلفون طريقة ما بعد التدريب تسمى ضبط الحذف، والتي تناسب نموذجًا متجمدًا يستخدم التدريب على القناع الثنائي لإسقاطات بوابة MLP. تبقى الأوزان المختارة كما هي، بينما يتم تخفيض الباقي إلى الصفر.

ما حصلنا عليه: في أكبر النماذج التي تم اختبارها، كان الأمر مساويًا للضبط الدقيق الكامل. مع التعلم المعزز، تنخفض دقة المسائل القديمة بما لا يزيد عن نقطة واحدة من النموذج الأساسي، على الرغم من أن النماذج الصغيرة تحقق في بعض الأحيان 90٪ فقط من دقة التحديث المكثف.

سبب أهمية ذلك: يمكن لأنظمة الاستدلال تبديل المهام باستخدام أقنعة نقطية بحجم ميغا بايت على نموذج واحد شائع دون فقدان المهارات القديمة. ومع ذلك، لم يتم اختبار مزيد من التدريب المتسلسل في العمل؛ غالبًا ما تكون محولات bf16 غير المضغوطة من الفئة 1 أصغر حجمًا، ويتطلب التدريب نفسه ذاكرة أكبر بكثير.

صفر هنا:

المزيد على Radar

هل تريد رؤية كل التقارير لحظة بلحظة؟

مئات المصادر حول العالم، مترجمة إلى لغتك، مع تنبيهات لما يهمك.

سجّل مجانًا
Share on WhatsApp Get alerts on Telegram