1,7B-Modell übertrifft 744B GLM-5 im Schema Guided Dialogue – 437-facher Größenunterschied
Neue Erkenntnisse von @j_golebiowski zeigen, dass ein Modell mit 1,7 Milliarden Parametern GLM-5 mit 744 Milliarden Parametern im Schema Guided Dialogue-Benchmark überflügelt – ein 437-facher Parametergrößennachteil, der umgekehrt wird. Bemerkenswert: Das kleinere Modell behält seinen Vorteil selbst dann, wenn es auf korrumpierten Daten trainiert wurde, was auf ein robustes aufgabenspezifisches Trainingssignal hindeutet.
Bedeutung
Dieser Befund bestärkt das aufkommende Muster, dass aufgabenfokussierte kleine Modelle allgemeine Frontier-Modelle auf strukturierten Aufgaben entscheidend übertreffen können. Für Praktiker, die Dialogsysteme entwickeln, weist dies in Richtung kleinerer, günstigerer und schnellerer Modelle als pragmatische Bereitstellungswahl gegenüber frontier-skaligen Generalisten.