Un nouveau graphique avec des lignes droites de notre METR préféré.
Le précédent s'est avéré saturé (il ne contenait pas de tâches d'évaluation plus complexes et plus longues), il n'a pas été mis à jour depuis longtemps.
Ceci a été dessiné à la suite du travail de l'équipe METR chez Anthropic (mais ce n'est pas exactement la même chose que ce que Dario a appelé), beaucoup plus de détails ici :.
"Nous avons fourni à Anthropic un rapport détaillé de notre évaluation, d'environ 100 pages. Dans la version publique, Anthropic a conçu la plupart des preuves que nous avons trouvées les plus informatives. En conséquence, le public doit se fier à notre jugement plus que nous ne le pensons optimal. »
Perspective importante : à partir d’octobre 2025, les performances du modèle interne augmentent environ deux fois plus vite que la période précédente. Les auditeurs ont également veillé à ce que cela ne soit pas dû à une perte de capacité supplémentaire.