חוקרים מצאו דרך להוציא 15% פחות חישובים על אימון LLM מבלי לאבד איכות ב-EMNLP 2026, כנס A* המתקיים בימים אלה…

חוקרים מצאו דרך להוציא 15% פחות חישובים על אימון LLM מבלי לאבד איכות ב-EMNLP 2026, כנס A* המתקיים בימים אלה בהונגריה, הציגו חוקרים מ-טי-טק את שיטת LIMe, המאפשרת להכשיר מודלים של שפה בעלות נמוכה בכ-15% מבחינת חישובים ללא ירידה באיכות. בשנאים, כל שכבה מסתמכת רק על המצב הנסתר של הקודמת, וכל ההקשר חייב לעבור דרכו. המחברים מראים שזה יוצר לחץ לקראת קריסת אמונות. כלומר, אסימונים הופכים דומים מדי זה לזה, ההבדלים ביניהם הולכים לאיבוד, ויחד איתם גם האיכות אובדת. LIMe (זיכרון משולב שכבה) הוא הרחבה קלת משקל של מנגנון הקשב. הוא משתמש במאגרי מפתח-ערך, שכבר מאוחסנים עבור כל שכבה, ומוסיף להם משקלי ניתוב הניתנים לאימון, נפרדים לכל ראש ולכל שכבה. בעזרתם, ראש תשומת הלב יכול לקחת ייצוגים לא רק מהשכבה הקודמת, אלא גם מהשכבה הקודמת, ולערבב אותם. גודל המצב הנסתר אינו גדל, וחישובים שכבר בוצעו נמצאים בשימוש חוזר. בניסויים במודלים עם כמיליארד פרמטרים, LIMe השיגה את אותה שגיאת אימון כמו ה-לאמה הבסיסית בעלות נמוכה יותר ב-15%. במדדים של מודל שפה וחשיבה רב-שלבית, השיטה עלתה על גישות אחרות. הרווחים הבולטים ביותר הושגו בבעיות חשבון סינתטיות ובארכיטקטורות עם מספר רב של שכבות. המחברים גם מציינים של-LIMe יש אנטרופיה גבוהה יותר של וקטורים של ערכים והפרדה טובה יותר של אסימונים, כלומר, הבעיה העיקרית באמת מצטמצמת. ומשקולות הניתוב הנלמדות ברור שהמודל עושה שימוש חוזר בשיטתיות הן בתכונות המקומיות והן בתכונות ארוכות הטווח. מאמר: יישום מלא של המחברים.