Ken Stanley et ses collègues continuent d'explorer les représentations factorisées. Dans ce travail, ils ont essayé de les apprendre par descente de gradient normale (dans des travaux précédents, ils ont montré que GD ne les apprend pas). Pour réussir l'apprentissage, nous avons ajouté un auto-encodeur intelligent (et audacieux) à proximité qui apprend de manière sélective à partir des exemples les plus purs.
Les ovnis sont-ils réels ? Introduction aux organisations unies Thomas X. Shepard, Alon Alblak, Joel Lehmann, Kenneth O. Papier Stanley : Révision : Code.
En résumé : la perte de tâches standard contraint faiblement les représentations internes du réseau. La co-formation d'un auto-encodeur sélectif de faible capacité sur une activation normalisée guide la pente descendante vers des modèles fixes et accélère la généralisation retardée.
Ce qu'ils ont fait : Les auteurs ont proposé des organisations unifiées (OVNI), des auto-encodeurs non linéaires adjoints qui apprennent simultanément à reproduire les activations latentes normalisées ou les poids attentionnels du réseau principal. Pour empêcher l'auto-encodeur de s'adapter à des caractéristiques irrégulières, ses poids ne sont mis à jour que sur les représentations présentant le moins d'erreur, et le réseau principal est pénalisé sur tous les échantillons.
Ce que nous avons : Dans la régression d’images, les ovnis remplacent les activations latentes chaotiques par des cartes de caractéristiques symétriques. Dans le partitionnement modulaire (où la généralisation retardée est appelée grok), les ovnis sélectifs réduisent le nombre médian d'étapes du réseau principal d'un facteur de 2,04 à 12,25 par rapport à une faible désintégration de poids. Dans la plupart des configurations, le gargouillis se produit sans lui.
Pourquoi c'est important : les schémas de représentation de l'apprentissage aident à créer des modèles réguliers au cours de l'apprentissage incrémentiel. Cependant, le temps d'exécution réel n'est pas mesuré et les tests se limitent à de petites tâches synthétiques avec des positions fixes.
Un OVNI est arrivé et a accéléré le surf ici.