یک نتیجه جالب مدل‌ها در حلقه‌ها و مدل‌هایی با رشد تدریجی با کپی کردن لایه‌ها در طول آموزش، مدل‌های متراکم را در مکانی غیرمنتظره شکست می‌دهند - آنها یادگیری بهتری را در زمینه یاد می‌گیرند. چگونه حلقه کردن عمق و شکل یادگیری را در زمینه در مدل های زبان شکل می دهد.

یک نتیجه جالب مدل‌ها در حلقه‌ها و مدل‌هایی با رشد تدریجی با کپی کردن لایه‌ها در طول آموزش، مدل‌های متراکم را در مکانی غیرمنتظره شکست می‌دهند - آنها یادگیری بهتری را در زمینه یاد می‌گیرند. چگونه حلقه کردن عمق و شکل یادگیری را در زمینه در مدل های زبان شکل می دهد.

דגם: לא זמין מה הם עשו: החוקרים בדקו כיצד שימוש חוזר חישובי מבוסס עומק משפיע על למידה בתוך הקשר (כיל) במודלים עם עד 3B פרמטרים. השווינו שכפול הדרגתי של שכבות אמצעיות במהלך אימון (מפעיל LIDAS) ו-לולאה (ריצות מרובות של שכבות משותפות במעבר אחד קדימה). מה יש לנו: מודלים של בנייה ולולאה מסתמכים יותר על הקשר מאשר קווי בסיס צפופים. בסולם 3B, LIDAS מתעלה על הדגם הצפוף ב-GSM8K עם 8 זריקות (~19% לעומת 12% התאמה מדויקת) ומוציא 26% פחות FLOPs באימון. בשפות הפורמליות החדשות מבית RegBench, הצטברות ולולאה מפחיתים את מרחק מבחן הווריאציה הכולל ל-~0.119 ו~0.125 לעומת ~0.137. ב-3B LIDAS, 10 מתוך 12 ראשי האינדוקציה החזקים ביותר מגיעים משני אבות מרשת 4 השכבות המוקדמת. השבתת 20% העליונים של שערים כאלה מורידה F1 עם מספר יריות ב-19 משימות בכ-0.18 (LIDAS) ו-0.28 (לולאה) לעומת 0.08 בקו הבסיס. למה זה משנה: קנה מידה עומק חוסך חישוב מקדים ומשכפל מעגלים אינדוקטיביים מוקדמים ברחבי הרשת, ומגן על כיל מפני דחיסה על ידי שינון במשקלים. יחד עם זאת, לולאה מפחיתה את מספר הפרמטרים הייחודיים ומחמירה את מיצוי הידע מהסולמות, וכל הריצות מ-360M ל-3B בוצעו עם סיד אחד בלבד לפני אימון. למד כיל כאן.