גוגל הציגה את טכנולוגיית "שינה" עבור AI, המאפשרת לה ללמוד ולא לשכוח ידע שנרכש קודם לכן חוקרי מחקר של גוגל פיתחו שיטה חדשה לאימון מודלים של שפה הנקראת מסגרת השינה, בהשראת האופן שבו המוח האנושי מעבד ומגבש זיכרונות במהלך השינה. הטכנולוגיה מספקת שני מצבי פעולה של AI: — ערות: המודל מקבל מידע חדש, מעבד אותו ומאחסן אותו באופן זמני בזיכרון לטווח קצר.
- שינה: המודל מפסיק לעבד שאילתות חדשות, מעביר ידע מצטבר לזיכרון לטווח ארוך ומייצר משימות אימון משלו לשיפור יכולת החשיבה. תוצאות הבדיקה הראו שגישה זו מאפשרת למודלים לאחסן מידע מהקשר עד 10 מיליון אסימונים, לשלוט בעובדות חדשות ללא אובדן משמעותי של ידע שנרכש בעבר, ולשפר את התוצאות של בעיות מתמטיות בלומברג.