Google a introduit la technologie « sommeil » pour l'IA, qui lui permet d'apprendre et de ne pas oublier les connaissances précédemment acquises. Les chercheurs de Google ont développé une nouvelle méthode d'entraînement de modèles linguistiques appelée framework du sommeil, inspirée de la façon dont le cerveau humain traite et consolide les souvenirs pendant le sommeil. La technologie propose deux modes de fonctionnement de l'IA : Éveillé : le modèle reçoit de nouvelles informations, les traite et les stocke temporairement dans la mémoire à court terme.
- Sommeil : le modèle arrête de traiter les nouvelles requêtes, transfère les connaissances accumulées vers la mémoire à long terme et génère ses propres tâches d'entraînement pour améliorer la capacité de réflexion. Les résultats des tests ont montré que cette approche permet aux modèles de stocker des informations contextuelles jusqu'à 10 millions de jetons, de maîtriser de nouveaux faits sans perte significative des connaissances précédemment acquises et d'améliorer les résultats des problèmes mathématiques de Bloomberg.