Token-Theater: Warum Unternehmen KI-Adoption falsch messen

Ein Thread von Matt Shumer (@mattshumer_) erzeugt erhebliche Aufmerksamkeit, da er ein aufkommendes und schädliches Unternehmens-KI-Fehlermuster dokumentiert: Organisationen bewerten KI-Produktivität nach verbrauchten Tokens und verbundenen Tools — nicht nach Geschäftsergebnis — und schaffen perverse Anreize, die KI wie gescheitert aussehen lassen werden, obwohl sie tatsächlich funktioniert hat.

Was die Quellen tatsächlich sagen

Shumer berichtet aus erster Hand aus großen Unternehmen, in denen Beförderungen, Leistungsbeurteilungen und Entlassungsentscheidungen auf Basis einer einzigen Kennzahl getroffen werden: verbrauchte Tokens plus verbundene Skills/MCPs. Die praktische Konsequenz ist vorhersehbar. Mitarbeiter haben begonnen, Schleifen zu betreiben, um Token-Zahlen künstlich aufzublähen, während sie nichts produzieren. Der Mitarbeiter, der tatsächlich mit effizienter Nutzung Ergebnisse liefert — „2 Skills und 50 Millionen Tokens" — wird als Nachzügler geführt, während jemand, der mit leeren Operationen eine Milliarde Tokens verbraucht, vorne liegt.

Die Vorhersage des Threads ist konkret: Innerhalb von 18 Monaten werden dieselben Führungskräfte, die diese Kennzahlen festlegen, ankündigen, dass „KI keinen ROI gebracht hat" und das KI-Budget kürzen. Shumers Diagnose ist ebenso präzise: „KI wird einwandfrei funktioniert haben. Sie haben nur das Falsche gemessen und Millionen damit verbrannt, Theater statt Output zu belohnen."

Die von Shumer hervorgehobene Ironie ist treffend: Die Messung tatsächlicher Outputs ist heute leichter denn je, genau weil KI zur Verfügung steht, um Arbeitsprotokolle zu analysieren, Liefermetriken abzurufen und Signal aus Rauschen herauszufiltern. Die Werkzeuge zur korrekten Messung existieren. Der organisatorische Wille, sie einzusetzen, oft nicht.

Dies ist kein Nischenanliegen. Das Muster entspricht einem gut dokumentierten Fehlermodus aus der frühen Cloud-Ära, als IT-Organisationen nach bereitgestellter Infrastruktur statt nach ausgelieferten Anwendungen bewertet wurden. Die Kennzahl formte das Verhalten; das Verhalten sabotierte das Ziel.

Strategische Einordnung

Für Organisationen, die KI einsetzen: Ergebniskennzahlen vor Ausgabenkennzahlen festlegen. Auf ausgelieferte Arbeit, aufgelöste Queues und Entscheidungsgeschwindigkeit instrumentieren — nicht auf Modell-Aufrufe. Teams, die jetzt die Messinfrastruktur korrekt aufbauen, werden die Evidenzbasis haben, um ihre KI-Budgets zu schützen, wenn der ROI-Prüfungszyklus eintrifft.

#metrics

Token-Theater: Warum Unternehmen KI-Adoption falsch messen

AI Intelligence Newsletter