הם אומרים שאולי לא תזדקק לכמה שלבים נפרדים באימון (קדם-אימון, אמצע, SFT, RL) ומציעים אימון אחיד. מודלים של קרן הדרכה עם אלגוריתם יחיד שיר יהודה, אלווין ג'אנג, פאחים טאג'וואר, דמן ערורה, ג'ף שניידר, דניאל חשבי, רוסלן סלחוטדינוב, J. אנדרו באגנל, ארטי סינג, אנדריאה זנט נייר: קוד: דגם: סקירה: מה הם עשו: המחברים הציעו מסגרת אימון מאוחדת ומערכת אסינכרונית המשלבת אימון מקדים, אימון ביניים, SFT ו-RL לכדי אובדן סבירות מקסימלית אחת במשקל אסימון. שיפועי מדיניות מבוטאים לאחר מכן על ידי התאמת הסבירות לכוון חלוקות תלויות תגמול. מה קיבלנו: בחידות לוגיות עם פרופורציות שונות של ערבוב נתונים, לעבור@1 הוא כ-4-39% על גדלי בעיות מהתפלגות האימונים (לעומת 12.24-24.54% עבור קווי בסיס בשלבים) וכ-1-13% על בעיות חדשות עם 12 תווים (לעומת 5.58% עבור קו הבסיס המשלב שנבחר). לפני תחילת RL, ערבוב של נתוני אימון ביניים לאימון מקדים שומר על הדיוק באמות מידה כלליות על 41.85-42.42% (לעומת 42.37% עבור אימון קדם טהור ו-35.00-38.49% עבור אימון ביניים נפרד). ב-RL מתמטי עבור מודל עם פרמטרים של 0.76B, RL עוקב בקוד נותן 23.67–24.96% לעבור@1 ב-HumanEval+ עם שבריר ערבוב של 0.5-5% (לעומת 22.94% עם אימון שלב אחר שלב). למה זה חשוב: צינורות נפרדים לאימון מקדים, SFT ו-RL ניתנים להחלפה בזרם נתונים רציף יחיד ואנטרופיה צולבת משוקללת. זה משפר את ההסתגלות שלאחר מכן ומונע שכחה. עם זאת, כל הניסויים בוצעו על מודלים עם פחות מ-1B פרמטרים; עבור דגם ה-0.76B, נעשה שימוש בשילוב רק ב-RL הסופי, ואף לוח זמנים של ערבוב לא התברר כטוב ביותר עבור כל המדדים בבת אחת.