Radar התראות בטלגרם פתחו את Radar

קן סטנלי וחברים ממשיכים לחקור ייצוגים מחולקים לגורמים. בעבודה זו ניסו ללמוד אותם דרך ירידה שיפועית רגילה (ב…

הצג מקור

gonzo ML papers · · מקור

קן סטנלי וחברים ממשיכים לחקור ייצוגים מחולקים לגורמים. בעבודה זו ניסו ללמוד אותם דרך ירידה שיפועית רגילה (בעבודות קודמות הראו ש-GD לא לומד אותם). כדי שהלמידה תהיה מוצלחת, הוספנו מקודד אוטומטי חכם (ונועז) בקרבת מקום, שלומד באופן סלקטיבי מהדוגמאות הטהורות ביותר.

האם עב"מים אמיתיים? היכרות עם ארגונים מאוחדים תומאס X. שפרד, אלון אלבלק, ג'ואל להמן, קנת או. סטנלי נייר: סקירה: קוד

העיקר: אובדן המשימות הסטנדרטי מגביל באופן חלש את הייצוגים הפנימיים של הרשת. אימון משותף של מקודד אוטומטי סלקטיבי בעל קיבולת נמוכה על הפעלה מנורמלת מנחה ירידה בשיפוע לדפוסים קבועים ומזרז הכללה מושהית.

מה הם עשו: המחברים הציעו ארגונים מאוחדים (עב"מים), מקודדים אוטומטיים לא ליניאריים נלווים שבמקביל לומדים לשחזר את ההפעלות הסמויות המנורמלות או משקלי הקשב של הרשת הראשית. כדי למנוע מהמקודד האוטומטי להסתגל לתכונות לא סדירות, המשקולות שלו מתעדכנות רק על ייצוגים עם הכי פחות שגיאה, והרשת הראשית נענשת על כל הדוגמאות.

מה יש לנו: ברגרסיה של תמונה, עב"מים מחליפים הפעלות סמויות כאוטיות במפות תכונות סימטריות. בחלוקה מודולרית (כאשר הכללה מושהית נקראת גרוק), עב"מים סלקטיביים מפחיתים את מספר הצעדים החציוני של הרשת הראשית פי 2.04-12.25 ביחס לדעיכה חלשה במשקל. ברוב התצורות, גרקינג מתרחש בלעדיו.

למה זה חשוב: מסדרי ייצוג למידה עוזרים ליצור דפוסים קבועים במהלך למידת הדרגתיות. עם זאת, זמן הריצה בפועל לא נמדד, והבדיקות מוגבלות למשימות סינתטיות קטנות עם עמדות קבועות.

עב"ם הגיע והאיץ את הגלישה כאן

עוד דיווחים ב-Radar

רוצים לראות את כל הדיווחים בזמן אמת?

מאות מקורות מכל העולם, מתורגמים לעברית, עם התראות על מה שחשוב לכם.

התחברו בחינם
שתף בוואטסאפ קבלו התראות בטלגרם

📢 עקבו בערוץ הוואטסאפ