Un résultat intéressant. Les modèles en boucles et les modèles à croissance progressive en copiant des couches pendant l'entraînement battent les modèles denses dans un endroit inattendu - ils apprennent mieux en contexte. Comment la profondeur et la forme des boucles façonnent l'apprentissage en contexte dans les modèles de langage Ferdinand Capel, Caitlin Maile, Stefan Bauer, Johannes von Oswald Article : Révision : Code : N/A (construit sur.
דגם: לא זמין מה הם עשו: החוקרים בדקו כיצד שימוש חוזר חישובי מבוסס עומק משפיע על למידה בתוך הקשר (כיל) במודלים עם עד 3B פרמטרים. השווינו שכפול הדרגתי של שכבות אמצעיות במהלך אימון (מפעיל LIDAS) ו-לולאה (ריצות מרובות של שכבות משותפות במעבר אחד קדימה). מה יש לנו: מודלים של בנייה ולולאה מסתמכים יותר על הקשר מאשר קווי בסיס צפופים. בסולם 3B, LIDAS מתעלה על הדגם הצפוף ב-GSM8K עם 8 זריקות (~19% לעומת 12% התאמה מדויקת) ומוציא 26% פחות FLOPs באימון. בשפות הפורמליות החדשות מבית RegBench, הצטברות ולולאה מפחיתים את מרחק מבחן הווריאציה הכולל ל-~0.119 ו~0.125 לעומת ~0.137. ב-3B LIDAS, 10 מתוך 12 ראשי האינדוקציה החזקים ביותר מגיעים משני אבות מרשת 4 השכבות המוקדמת. השבתת 20% העליונים של שערים כאלה מורידה F1 עם מספר יריות ב-19 משימות בכ-0.18 (LIDAS) ו-0.28 (לולאה) לעומת 0.08 בקו הבסיס. למה זה משנה: קנה מידה עומק חוסך חישוב מקדים ומשכפל מעגלים אינדוקטיביים מוקדמים ברחבי הרשת, ומגן על כיל מפני דחיסה על ידי שינון במשקלים. יחד עם זאת, לולאה מפחיתה את מספר הפרמטרים הייחודיים ומחמירה את מיצוי הידע מהסולמות, וכל הריצות מ-360M ל-3B בוצעו עם סיד אחד בלבד לפני אימון. למד כיל כאן.