Radar התראות בטלגרם פתחו את Radar

עבודה חדשה ומעניינת על כוונון עדין על ידי איפוס מספר קטן של משקלים.

הצג מקור

gonzo ML papers · · מקור

עבודה חדשה ומעניינת על כוונון עדין על ידי איפוס מספר קטן של משקלים.

היעילות המפתיעה של מחיקת משקולות ב-LLM לאחר אימון

ג'ק לו, ז'נבנג יאנג, מייק לאסבי, טחאס פוטה, יאני יואנו, מנגיה רן

ניר:.

סקירה:.

פרויקט:.

קוד:.

דגם:.

מפתח: מודלים של שפה מאומנים מראש יכולים ללמוד חשיבה חדשה וכישורי כלים מבלי לכתוב משקלים חדשים. בקנה מידה גדול, מספיק לאפס פחות מ-0.05% מהפרמטרים, והיכולות הקודמות לא יושפעו.

מה הם עשו: המחברים הציעו שיטה לאחר אימון בשם כוונון מחיקה, אשר מתאימה מודל קפוא באמצעות אימון מסכה בינארית להקרנות שערים של MLP. המשקולות שנבחרו נשארות ללא נגיעה, בעוד השאר מצטמצמים לאפס.

מה קיבלנו: בדגמים הגדולים ביותר שנבדקו היה שווה לכוונון עדין מלא. עם למידת חיזוק, הדיוק בבעיות ישנות יורד ללא יותר מנקודה אחת מהמודל הבסיסי, למרות שדגמים קטנים משיגים לפעמים רק 90% מהדיוק של עדכון צפוף.

למה זה משנה: מערכות הסקה יכולות להחליף משימות עם מסיכות סיביות של מגה-בייט על גבי דגם נפוץ אחד מבלי לאבד מיומנויות ישנות. עם זאת, הכשרה נוספת ברצף לא נבדקה בפעולה; מתאמי bf16 לא דחוסים בדרגה 1 הם לרוב קטנים יותר בגודלם, והאימון עצמו דורש הרבה יותר זיכרון.

אפס כאן:.

עוד דיווחים ב-Radar

רוצים לראות את כל הדיווחים בזמן אמת?

מאות מקורות מכל העולם, מתורגמים לעברית, עם התראות על מה שחשוב לכם.

התחברו בחינם
שתף בוואטסאפ קבלו התראות בטלגרם

📢 עקבו בערוץ הוואטסאפ