תוצאה מעניינת. מודלים בלולאות ומודלים עם צמיחה הדרגתית באמצעות העתקת שכבות במהלך האימון מנצחים מודלים צפופי…

תוצאה מעניינת. מודלים בלולאות ומודלים עם צמיחה הדרגתית באמצעות העתקת שכבות במהלך האימון מנצחים מודלים צפופים במקום לא צפוי - הם לומדים למידה טובה יותר בתוך ההקשר. כיצד גידול עומק וצורת לולאה מעצבים למידה בהקשר במודלים של שפה פרדיננד קאפל, קייטלין מייל, סטפן באואר, יוהנס פון אוסוולד נייר: סקירה: קוד: לא רלוונטי (בנוי על

דגם: לא זמין מה הם עשו: החוקרים בדקו כיצד שימוש חוזר חישובי מבוסס עומק משפיע על למידה בתוך הקשר (כיל) במודלים עם עד 3B פרמטרים. השווינו שכפול הדרגתי של שכבות אמצעיות במהלך אימון (מפעיל LIDAS) ו-לולאה (ריצות מרובות של שכבות משותפות במעבר אחד קדימה). מה יש לנו: מודלים של בנייה ולולאה מסתמכים יותר על הקשר מאשר קווי בסיס צפופים. בסולם 3B, LIDAS מתעלה על הדגם הצפוף ב-GSM8K עם 8 זריקות (~19% לעומת 12% התאמה מדויקת) ומוציא 26% פחות FLOPs באימון. בשפות הפורמליות החדשות מבית RegBench, הצטברות ולולאה מפחיתים את מרחק מבחן הווריאציה הכולל ל-~0.119 ו~0.125 לעומת ~0.137. ב-3B LIDAS, 10 מתוך 12 ראשי האינדוקציה החזקים ביותר מגיעים משני אבות מרשת 4 השכבות המוקדמת. השבתת 20% העליונים של שערים כאלה מורידה F1 עם מספר יריות ב-19 משימות בכ-0.18 (LIDAS) ו-0.28 (לולאה) לעומת 0.08 בקו הבסיס. למה זה משנה: קנה מידה עומק חוסך חישוב מקדים ומשכפל מעגלים אינדוקטיביים מוקדמים ברחבי הרשת, ומגן על כיל מפני דחיסה על ידי שינון במשקלים. יחד עם זאת, לולאה מפחיתה את מספר הפרמטרים הייחודיים ומחמירה את מיצוי הידע מהסולמות, וכל הריצות מ-360M ל-3B בוצעו עם סיד אחד בלבד לפני אימון. למד כיל כאן.