مدتی بود که در مورد تفسیر صحبت کردیم. و اینجا فقط یک مقاله 183 صفحه ای است!
درک هوش مصنوعی از درون: وضعیت تفسیر مکانیکی برای ایمنی هوش مصنوعی
فاضل بارز، تونگ یو وو، هونار باترا، گابریل دومینیسی، فلورنت دری، یانای الازار، دامیانو فورنسیر، آنتیا گارسیا، ابیر هراس، رایلی هریس، سارا هاوکر، مایکل لان، بلیندا زی لی، آرون میوالد، نرمین فاطیما اوزیر، دیوید شافرا. کاوستوف اوفادایی، زیو یائو، یو ژائو، شی بی. کوهن، آما گوا، یوشوا بنژیو، استلا بیدرمن، حسن سجاد.
کاغذ:
بررسی کنید.
نکته اصلی: یافتن نمایش داخلی در یک شبکه عصبی یا انحراف جهت به معنای به دست آوردن کنترل قابل اعتماد بر رفتار آن نیست. بسط های تقریبی ناقص هستند و راه حل های اضافی رفتار مدل را حتی با مداخله حفظ می کنند.
چه کردند: نویسندگان مروری بر تفسیر مکانیکی (مهندسی معکوس محاسبات شبکه عصبی با استفاده از مداخلات علی) در مشکلات امنیتی هوش مصنوعی نوشتند. آنها یک سیستم ارزیابی پنج بعدی را پیشنهاد کردند و این حوزه را به شش حوزه تحقیقاتی تقسیم کردند.
آنچه داریم: با توجه به کار تجزیه و تحلیل شده، تست های خطی درب های پشتی تعبیه شده با AUROC بالای 99٪ را شناسایی می کنند، حتی زمانی که آموزش استاندارد امنیتی نمی تواند آنها را حذف کند. در عین حال، جایگزینی مفاهیم چندلایه با مبدل‌های چندلایه (تقریبا چندلایه با واژه‌نامه‌های پراکنده) تنها برای حدود 50 درصد از دستورالعمل‌ها، پیش‌بینی‌های نشانه اصلی را حفظ می‌کند.
چرا مهم است: ابزارهای مکانیکی مکمل تست رفتاری در حفاظت چند لایه هستند. با این حال، به دلیل هزینه محاسباتی بالا و شکنندگی توزیع های متغیر، آنها نمی توانند به عنوان تضمین مستقل امنیت عمل کنند.
اینجا تفسیر کن