نتيجة مثيرة للاهتمام. النماذج في الحلقات والنماذج ذات النمو التدريجي عن طريق نسخ الطبقات أثناء التدريب تتغلب على النماذج الكثيفة في مكان غير متوقع - فهي تتعلم بشكل أفضل في السياق. كيفية تكرار تعلم الأشكال والعمق في السياق في نماذج اللغة فرديناند كابيل، كيتلين مايلي، ستيفان باور، يوهانس فون أوزوالد ورقة: مراجعة: الكود: N/A (مبني على.
דגם: לא זמין מה הם עשו: החוקרים בדקו כיצד שימוש חוזר חישובי מבוסס עומק משפיע על למידה בתוך הקשר (כיל) במודלים עם עד 3B פרמטרים. השווינו שכפול הדרגתי של שכבות אמצעיות במהלך אימון (מפעיל LIDAS) ו-לולאה (ריצות מרובות של שכבות משותפות במעבר אחד קדימה). מה יש לנו: מודלים של בנייה ולולאה מסתמכים יותר על הקשר מאשר קווי בסיס צפופים. בסולם 3B, LIDAS מתעלה על הדגם הצפוף ב-GSM8K עם 8 זריקות (~19% לעומת 12% התאמה מדויקת) ומוציא 26% פחות FLOPs באימון. בשפות הפורמליות החדשות מבית RegBench, הצטברות ולולאה מפחיתים את מרחק מבחן הווריאציה הכולל ל-~0.119 ו~0.125 לעומת ~0.137. ב-3B LIDAS, 10 מתוך 12 ראשי האינדוקציה החזקים ביותר מגיעים משני אבות מרשת 4 השכבות המוקדמת. השבתת 20% העליונים של שערים כאלה מורידה F1 עם מספר יריות ב-19 משימות בכ-0.18 (LIDAS) ו-0.28 (לולאה) לעומת 0.08 בקו הבסיס. למה זה משנה: קנה מידה עומק חוסך חישוב מקדים ומשכפל מעגלים אינדוקטיביים מוקדמים ברחבי הרשת, ומגן על כיל מפני דחיסה על ידי שינון במשקלים. יחד עם זאת, לולאה מפחיתה את מספר הפרמטרים הייחודיים ומחמירה את מיצוי הידע מהסולמות, וכל הריצות מ-360M ל-3B בוצעו עם סיד אחד בלבד לפני אימון. למד כיל כאן.