עבר זמן מאז שדיברנו על פרשנות. והנה רק מאמר של 183 עמודים!
הבנת בינה מלאכותית מבפנים: מצב הפירוש המכני לבטיחות בינה מלאכותית
פאזל בארז, טונג-יו וו, הונאר בטרה, גבריאל דומיניצי, פלורנט דריי, ינאי אלעזר, דמיאנו פורנסייר, אנטיה גרסיה, אביר האראס, ריילי האריס, שרה הוקר, מייקל לאן, בלינדה ז' לי, אהרון מיוואלד, נרמין פטימה אוזיר, דיוויד שפראשי, ש. קאוסטוב אופאדיאי, זיו יאו, יו ג'או, שי ב. כוהן, אמא גבע, יהושע בנג'יו, סטלה בידרמן, חסן סג'אד
נייר:
סקירה
העיקר: מציאת הייצוג הפנימי ברשת עצבית או הסטה כיוונית אין פירושה השגת שליטה אמינה על התנהגותה. הרחבות משוערות אינן שלמות, ופתרונות עוקפים מיותרים משמרים את התנהגות המודל גם עם התערבות.
מה הם עשו: המחברים כתבו סקירה על פרשנות מכניסטית (הנדסה הפוכה של חישובי רשת עצבית באמצעות התערבויות סיבתיות) בבעיות אבטחה של AI. הם הציעו מערכת הערכה חמשת מימדית וחילקו את התחום לשישה תחומי מחקר.
מה יש לנו: על פי העבודה המנותחת, בדיקות ליניאריות מזהות דלתות אחוריות משובצות עם AUROC מעל 99%, גם כאשר הדרכת אבטחה סטנדרטית אינה יכולה להסיר אותן. יחד עם זאת, החלפת תפיסות רב-שכבתיות בממירים צולבים-שכבתיים (קירובים רב-שכבתיים עם מילונים דלילים) שומרת על תחזיות האסימון המובילות עבור כ-50% בלבד מההנחיות.
למה זה חשוב: כלים מכניים משלימים בדיקות התנהגותיות בהגנה רב-שכבתית. עם זאת, בשל העלות החישובית הגבוהה והשבריריות של הפצות משתנות, הן אינן יכולות לשמש ערובה עצמאית לאבטחה.
תפרש כאן