עוד עבודה מגניבה של סקאנה על רשתות מוגדלות בזיכרון. שוב, זה מוזר שאף אחד לא הציע ארכיטקטורה כזו בעבר (כולל את עצמי)... מכונות זיכרון רציף סיארן רגן, קאי ארולקומרן, לוק דארלו, סטפניה דרוגה, סבסטיאן ריסי, ליון ג'ונס נייר: סקירה: קוד: מה הם עשו: המחברים הציגו רשת עצבית חוזרת, מכונת הזיכרון הרציף (CMM), שמפרידה בין חישוב מהיר ואחסון לטווח ארוך באמצעות שתי מטריצות זיכרון. הארכיטקטורה מרחיבה את עבודתם בעבר, מכונת החשיבה הרציפה (CTM), אשר חישבה באמצעות היסטוריות ההפעלה של נוירונים בודדים והמתאמים הזוגיים שלהם. ה-CMM הוסיף מטריצת זיכרון קבועה לטווח ארוך ושנאי משותף שמעדכן את שני הזכרונות בו זמנית. מה קיבלנו: במשימת מיון עדיפות, האנטרופיה הצולבת הבינארית של ה-CMM בבדיקה הייתה 4.1x10^-3 לעומת 1. 4x10-2 עבור רשת עם זיכרון חיצוני מחשב עצבי ניתן להבדיל (DNC) ו-2.7x10^-2 עבור שנאי סיבתי. במעבר מבוכים של 39x39, CMM פותר לחלוטין 61.6% מהמבוכים (מ-22.8% ל-90.7% עבור זרעים שונים) לעומת 37.4% עבור CTM, וברגרסיה ליניארית של 20 יריות הוא משיג דיוק של 30.63% לעומת 8.78% עבור CTM למה זה חשוב: תשומת לב עם אסימון אפס כיור מיוחד מאפשר לרשת החוזרת להחליט מתי לקרוא מאחסון לטווח ארוך ומתי להסתמך על דינמיקה מקומית מהירה. נכון, הפעלת השנאי בכל שלב חוזר מעלה את שיא צריכת הזיכרון של GPU במשימת העתק-100 ל-22.3 GiB לעומת 634.5 MiB עבור CTM. הגדל את הזיכרון שלך כאן.