Ein Team vom MIT hat mithilfe eines Sprachmodells (Large Language Model, LLM) mit 8 Milliarden Parametern und einer Technik namens Test-Time Training (TTT) einen bemerkenswerten Fortschritt in der abstrakten Aufgabenlösung erzielt. Mit einer Leistung von 61,9 % auf dem ARC-AGI-PUB Benchmark übertraf das Team den bisherigen Rekord von 42 % deutlich. Das Ergebnis wiegt schwer, weil ARC-AGI-PUB eine anspruchsvolle Sammlung von Aufgaben ist, die visuelle Mustererkennung und komplexes logisches Denken verlangt.
Was ist Test-Time Training (TTT)?
Test-Time Training erlaubt es dem Modell, während der Testphase kleine Anpassungen vorzunehmen, um auf neue Aufgaben zu reagieren. Dabei nutzt TTT den Kontext der Eingabedaten, um das Modell temporär für die jeweils aktuelle Aufgabe zu optimieren. Das unterscheidet sich von klassischen Ansätzen, bei denen ein Modell ausschließlich vorab trainiert wird. Gerade bei komplexen und neuartigen Aufgaben zeigt TTT deutliche Leistungsverbesserungen.
Wie gelang der Durchbruch am MIT?
Entscheidend war laut dem Team die Kombination aus einem initialen Feintuning und speziellen Transformationen für die Testdaten. Durch diese Anpassungen verbesserte das Modell seine Fähigkeit zur Mustererkennung. Zusätzlich kombinierten die Forschenden das Verfahren in einem Ensemble mit modernen Programmieransatz-Methoden und steigerten den Leistungswert so auf 61,9 % – ein Niveau, das der Leistung eines durchschnittlichen Menschen entspricht.
Warum die Entwicklung wichtig ist
Die Ergebnisse zeigen, dass Sprachmodelle abstrakte Aufgaben auch ohne explizite symbolische Methoden lösen können. Damit rückt die Frage in den Fokus, wie weit sich reine LLM-Ansätze an menschliche Fähigkeiten in der abstrakten Problemlösung annähern können. Weitere Details finden sich im offiziellen Paper.
