יש גישה כל כך מצחיקה כמו חינוך טרום-חינוך סינתטי, כאשר המודל מאומנים על כמה סינתטים מובנים (אוטומטה סלולרית, שפות עם חזיונות מאוזנים, וכו ') כך שהוא לומד כמה מבנים שימושיים פוטנציאלי מראש. עכשיו, עבודה חדשה מראה שאם אתה לוקח את כל אסימונים ואת הפוסקים בחשבון בכנות, זה לא עובד. ברגע שלימוד בשפה הטבעית מתחיל, הוא הופך את כל המפרץים המוטבעים האלה לנכון. אני זוכר בדיחה על איך אבא שלי בא ושינה את הכל בדרכו שלו. Rethinking Pre-Pretraining אלכסנדר שטרן, טים Rocktäschel, Acyr Locatelli, Laura Ruis Paper: Code: , Review: מה: בדקנו אם pre-pre-חינוך סינתטי (PPT) - השלב המגביל מראש על רצפים שנוצרו באופן פרוקליאלי - עוזר עם תקציב FLOP קבוע. הצעתי מקרה סינטטי למציאת ערכים משתנים DeclRef ו- Hyperparameter אופטימיזציה המבוססת על LLMTuna. באף אחד מהמצבים שנבדקו עם תקציב מחשוב שווה, PPT מנצח למידה אך ורק בשפה הטבעית. עם גירעון נתונים (100M FineWeb אסימונים, 1×1018 FLOPs), טקסט פשוט חוזר נותן 1.064 ביטים ל-BPB (BPB) על אימות, והפצה של 1%–10% FLOPs על PPT מאמת את המדד ל- 1.068-76 BPB. כאשר לשחזר PPT על אוטומטה תא (NCA) עבור LLaMA ב 400M פרמטרים (OpenWebText), שינוי ההתחלתיזציה של הטמעתים מ-N(0, 1) ל-N(0, 0.02) משפר את הבלבול הבסיסי ללא PPT עד 9.0%, חפיפה לחלוטין את הרווח של 5.4% מ- NCA PPT. מדוע זה חשוב: קבלת חישוב פסולת של סינטטיות: במעבר לשפה הטבעית, המודל מכתב את המבנים המלומדים, ואת ההצלחות הקודמות של PPT לפצות במידה רבה על קצבאות עניות של קנה מידה.