Sakana AI SSoT behebt LLM-Sampling-Verzerrung durch Prompt-Only-Entropie-Injektion
Die String Seed of Thought (SSoT)-Technik von Sakana AI, angenommen bei ICLR 2026, adressiert ein grundlegendes LLM-Versagensmuster: Modelle, die nach vielfältigen Ausgaben gefragt werden, erzeugen Variationen derselben Antwort, anstatt die Verteilung wirklich zu erkunden. SSoT funktioniert, indem das Modell aufgefordert wird, vor der eigentlichen Aufgabe einen intern zufällig wirkenden String zu generieren und ihn als Diversitäts-Seed zu verwenden — ohne Fine-Tuning oder externe Zufälligkeit. Es reduziert Sampling-Bias bei offenen und geschlossenen Modellen; bei manchen Reasoning-Modellen nähern sich die Ausgabeverteilungen echtem Zufallsverhalten an. Die Technik steigert die kreative Textvielfalt messbar ohne Qualitätsverlust und kann Retry-Logik oder externe Sampler in Produktionspipelines ersetzen.
Warum das relevant ist
Ein Prompt-Only-Ansatz zur Behebung von LLM-Sampling-Bias beseitigt einen wesentlichen Reibungspunkt für agentische Systeme, die auf diverse Kandidatengenerierung angewiesen sind — Brainstorming, A/B-Content, Mehrpfad-Planung — ohne Modellanpassung oder zusätzliche Infrastruktur.