השנה, המשתנים הלולאים הפכו למקום נפוץ, כל כך הרבה עבודה הופיעה בהם, במיוחד בששת החודשים האחרונים, שאפשר לכתוב עליו ברציפות כמה פעמים ביום. הנה עוד נייר שניסה אסטרטגיות הלולאה שונות, ומעניין, מצא כי הם חלים אחרת בהתאם למגבלות (טבלאות או פרמטרים). הנושא של LoRA הוא גם כיף. 149 עמודים הוא בהחלט לעג. כאילו LLM באמת כתוב עבור LLM, קריאה ידנית כבר לא אפשרי. How to Loop Your Transformer: Loop Scaling, Specialization, and Parallel Inference Chanakya Ekbote, Artidoro Pagnoni, Devandro Singh Sachan, Shruti Bhosale, Mike Lewis, Maryam Fazel-Zarandi, Shashank Rajput, Sujan Kumar Gonudgonla Paper: Review: What: What: The Authors העדיפו nded Transformers (Backer) כדי להשוואה בין 1Backs) ל-Ldgondgondgondgondgondladladle) ו-L) ו-R (כל השכבת) רק ל-Backdladgondgondladladladladladladgondgondela: What: What: What: What: What: What: What: What: What: What: What: What: What: What: What: What: What: What: What: What: What: What: What: What: What: What: What: What: What: What: The Writers (Backdators מעדיפים מסובייקפוחיות בינוניים צפופים) כדי ל-Backers (Back הם גם הציעו מתאםי לולאה נפוצים (Loop Matrix) ו- Normalized Shifted PLT, גרסה של Loop Transformers מקבילים (במקום שבו מדינות מחזור עוברות אסימונים שכנים עבור קידוד מקביל), שבו את ההטבעה הנוכחית של הסימון ואת המצב של הקודם הם נורמטיביים בנפרד באמצעות RMS Norm לפני ערבוב. מה שיש לך: עם מספר קבוע של פרמטרים, שיפוץ מלא עובד טוב יותר, ועם הגבלה על FLOP - Middle-Stack Looping. ב- DCLM ב 200M פרמטרים (40 אסימונים לכל פרמטר, TPP), ה- 4 ממוחזר רגיל Shifted PLT מקטין סיביות ל-BPB (BPB) ל -1.060 לעומת -1.087 עבור PLT המקורי ו -1.088 עבור בסיס ללא מחזורים. ב 1B פרמטרים, שני המחזורים ממוחזר PLT משפר את BPB (-0.86 לעומת -0.90 ב 80 TPP) ודיוק על 8 משימות (~47.5% לעומת -46.1% ב-160 TPP).