Il existe une approche aussi amusante que la pré-éducation synthétique, lorsque le modèle est entraîné sur des synthétiques structurés (automates cellulaires, langages aux visions équilibrées, etc.) afin qu'il apprenne à l'avance certaines structures potentiellement utiles. Maintenant, de nouveaux travaux montrent que si vous prenez honnêtement en compte tous les jetons et arbitres, cela ne fonctionne pas. Une fois que l’apprentissage du langage naturel entre en jeu, tous ces fossés enracinés se réalisent. Je me souviens d'une blague sur la façon dont mon père est venu et a tout changé à sa manière. Repenser le pré-entraînement Alexander Stern, Tim Rocktäschel, Acyr Locatelli, Laura Ruis Article : Code : , Révision : Quoi : Nous avons testé si le pré-entraînement synthétique (PPT) - l'étape de pré-limitation sur les séquences générées de manière proche - aide avec un budget FLOP fixe. J'ai proposé un cas synthétique pour trouver des valeurs de variables DeclRef et une optimisation des hyperparamètres basée sur LLMTuna. Dans aucune des situations testées, à budget informatique égal, le PPT ne surpasse l’apprentissage du langage naturel à lui seul. Avec un déficit de données (100 millions de jetons FineWeb, 1 × 1 018 FLOP), la répétition du texte en clair donne 1,064 bits par BPB (BPB) lors de la vérification, et la répartition de 1 à 10 % de FLOP sur PPT vérifie la référence à 1,068 à 76 BPB. Lors de la reconstruction de PPT sur un automate cellulaire (NCA) pour LLaMA avec 400 M de paramètres (OpenWebText), la modification de l'initialisation des intégrations de N (0, 1) à N (0, 0,02) améliore la confusion de base sans PPT à 9,0 %, chevauchant complètement le gain de 5,4 % obtenu avec NCA PPT. Pourquoi c'est important : Accepter le calcul des déchets synthétiques : En passant au langage naturel, le modèle écrit les structures savantes, et les succès précédents du PPT compensent largement les faibles tolérances d'échelle.

Il existe une approche aussi amusante que la pré-éducation synthétique, lorsque le modèle est entraîné sur des synthétiques structurés (automates cellulaires, langages aux visions équilibrées, etc.) afin qu'il apprenne à l'avance certaines structures potentiellement utiles. Maintenant, de nouveaux travaux montrent que si vous prenez honnêtement en compte tous les jetons et arbitres, cela ne fonctionne pas. Une fois que l’apprentissage du langage naturel entre en jeu, tous ces fossés enracinés se réalisent. Je me souviens d'une blague sur la façon dont mon père est venu et a tout changé à sa manière. Repenser le pré-entraînement Alexander Stern, Tim Rocktäschel, Acyr Locatelli, Laura Ruis Article : Code : , Révision : Quoi : Nous avons testé si le pré-entraînement synthétique (PPT) - l'étape de pré-limitation sur les séquences générées de manière proche - aide avec un budget FLOP fixe. J'ai proposé un cas synthétique pour trouver des valeurs de variables DeclRef et une optimisation des hyperparamètres basée sur LLMTuna. Dans aucune des situations testées, à budget informatique égal, le PPT ne surpasse l’apprentissage du langage naturel à lui seul. Avec un déficit de données (100 millions de jetons FineWeb, 1 × 1 018 FLOP), la répétition du texte en clair donne 1,064 bits par BPB (BPB) lors de la vérification, et la répartition de 1 à 10 % de FLOP sur PPT vérifie la référence à 1,068 à 76 BPB. Lors de la reconstruction de PPT sur un automate cellulaire (NCA) pour LLaMA avec 400 M de paramètres (OpenWebText), la modification de l'initialisation des intégrations de N (0, 1) à N (0, 0,02) améliore la confusion de base sans PPT à 9,0 %, chevauchant complètement le gain de 5,4 % obtenu avec NCA PPT. Pourquoi c'est important : Accepter le calcul des déchets synthétiques : En passant au langage naturel, le modèle écrit les structures savantes, et les succès précédents du PPT compensent largement les faibles tolérances d'échelle.