Cela faisait un moment que nous ne parlions pas de commentaires. Et voici seulement un article de 183 pages !
Comprendre l'intelligence artificielle de l'intérieur : l'état de l'interprétation mécanique pour la sécurité de l'intelligence artificielle.
Fazel Barez, Tung-Yu Wu, Hunar Batra, Gabriel Dominici, Florent Drey, Yanai Elazar, Damiano Forensier, Antia Garcia, Abir Harras, Riley Harris, Sarah Hawker, Michael Lan, Belinda Z. Lee, Aaron Miewald, Nermin Fatima Ozir, David Shafraschi, S. Kaustov Ufadayi, Ziv Yao, Yu Zhao, Shi B. Cohen, Ama Geva, Yehoshua Bengio, Stella Biederman, Hassan Sejad.
Papier:
revoir.
L'essentiel : trouver la représentation interne dans un réseau neuronal ou une déviation directionnelle ne signifie pas obtenir un contrôle fiable sur son comportement. Les extensions approximatives sont incomplètes et les solutions de contournement redondantes préservent le comportement du modèle même en cas d'intervention.
Ce qu'ils ont fait : Les auteurs ont rédigé une revue sur l'interprétation mécaniste (ingénierie inverse des calculs de réseaux neuronaux utilisant des interventions causales) dans les problèmes de sécurité de l'IA. Ils ont proposé un système d'évaluation en cinq dimensions et divisé le domaine en six domaines de recherche.
Ce que nous avons : Selon les travaux analysés, des tests linéaires identifient les portes dérobées intégrées avec un AUROC supérieur à 99 %, même lorsque la formation standard en sécurité ne peut pas les supprimer. Dans le même temps, le remplacement des concepts multicouches par des convertisseurs multicouches (approximations multicouches avec des dictionnaires clairsemés) préserve les principales prédictions de jetons pour environ 50 % seulement des lignes directrices.
Pourquoi c'est important : Les outils mécaniques complètent les tests comportementaux dans le cadre d'une protection multicouche. Cependant, en raison du coût de calcul élevé et de la fragilité des distributions variables, elles ne peuvent pas servir de garantie indépendante de sécurité.
Interprétez ici.