Une équipe du MIT a réalisé d’importants progrès dans la résolution de tâches abstraites à l’aide d’un modèle linguistique (LLM) de 8 milliards de dollars et d’une technique innovante appelée Test-Time Training (TTT). Avec une performance de 61,9 % sur la référence ARC-AGI-PUB, ils ont nettement dépassé le record précédent de 42 %. Ces résultats sont remarquables, car l’ARC-AGI-PUB est un ensemble de tâches exigeant une reconnaissance visuelle et un raisonnement complexe.
Qu’est-ce que la formation en temps d’essai (TTT)? TTT est une technique qui permet au modèle de faire de petits ajustements pendant le temps d’essai afin de réagir à de nouvelles tâches. TTT utilise le contexte des données d’entrée pour optimiser temporairement le modèle pour la tâche actuelle. Cette approche diffère des méthodes traditionnelles dans lesquelles le modèle est formé à l’avance pour une tâche. En particulier dans les tâches complexes et nouvelles, TTT montre de fortes améliorations de performance.
Comment la percée au MIT a-t-elle fonctionné? L’équipe a constaté qu’une combinaison d’ajustement initial et d’application de transformations spéciales pour tester les données était essentielle au succès. Ces ajustements ont amélioré la capacité du modèle à reconnaître les modèles. De plus, un ensemble d’approches de programmation modernes a été créé pour augmenter la valeur de la performance à 61,9 %, soit une performance équivalente à celle d’un humain moyen.
L’importance de cette évolution Les résultats montrent que les modèles de langage peuvent résoudre des tâches abstraites même sans méthodes symboliques explicites.
Lire plus dans le Document officiel.
