Nouveau travail intéressant sur le réglage fin en réinitialisant un petit nombre de poids.
L'efficacité surprenante de la suppression de poids en LLM après l'entraînement.
Jack Lu, Zhenbang Yang, Mike Lasby, Texas Futa, Yanni Yuan, Mengia Ren.
papier:.
revoir:.
projet:.
Code : .
modèle:.
Clé : les modèles de langage pré-entraînés peuvent acquérir de nouvelles compétences de réflexion et d'outils sans écrire de nouvelles pondérations. À grande échelle, il suffit de réinitialiser moins de 0,05 % des paramètres et les capacités précédentes ne seront pas affectées.
Ce qu'ils ont fait : Les auteurs ont proposé une méthode de post-formation appelée réglage par suppression, qui s'adapte à un modèle gelé utilisant la formation de masques binaires pour les projections de portes MLP. Les poids sélectionnés restent intacts, tandis que les autres sont réduits à zéro.
Ce que nous avons obtenu : Sur les plus grands modèles testés, cela équivalait à un réglage fin complet. Avec l'apprentissage par renforcement, la précision sur les anciens problèmes ne diminue pas de plus de 1 point par rapport au modèle de base, bien que les petits modèles n'atteignent parfois que 90 % de la précision d'une mise à jour dense.
Pourquoi c'est important : les systèmes d'inférence peuvent basculer les tâches avec des masques de bits de mégaoctets sur un modèle commun sans perdre les anciennes compétences. Cependant, la formation continue séquentielle n’a pas été testée en pratique ; Les adaptateurs bf16 non compressés de classe 1 sont souvent de plus petite taille et la formation elle-même nécessite beaucoup plus de mémoire.
Zéro ici :