עבודה חדשה ומעניינת על כוונון עדין על ידי איפוס מספר קטן של משקלים.
היעילות המפתיעה של מחיקת משקולות ב-LLM לאחר אימון
ג'ק לו, ז'נבנג יאנג, מייק לאסבי, טחאס פוטה, יאני יואנו, מנגיה רן
ניר:.
סקירה:.
פרויקט:.
קוד:.
דגם:.
מפתח: מודלים של שפה מאומנים מראש יכולים ללמוד חשיבה חדשה וכישורי כלים מבלי לכתוב משקלים חדשים. בקנה מידה גדול, מספיק לאפס פחות מ-0.05% מהפרמטרים, והיכולות הקודמות לא יושפעו.
מה הם עשו: המחברים הציעו שיטה לאחר אימון בשם כוונון מחיקה, אשר מתאימה מודל קפוא באמצעות אימון מסכה בינארית להקרנות שערים של MLP. המשקולות שנבחרו נשארות ללא נגיעה, בעוד השאר מצטמצמים לאפס.
מה קיבלנו: בדגמים הגדולים ביותר שנבדקו היה שווה לכוונון עדין מלא. עם למידת חיזוק, הדיוק בבעיות ישנות יורד ללא יותר מנקודה אחת מהמודל הבסיסי, למרות שדגמים קטנים משיגים לפעמים רק 90% מהדיוק של עדכון צפוף.
למה זה משנה: מערכות הסקה יכולות להחליף משימות עם מסיכות סיביות של מגה-בייט על גבי דגם נפוץ אחד מבלי לאבד מיומנויות ישנות. עם זאת, הכשרה נוספת ברצף לא נבדקה בפעולה; מתאמי bf16 לא דחוסים בדרגה 1 הם לרוב קטנים יותר בגודלם, והאימון עצמו דורש הרבה יותר זיכרון.
אפס כאן:.