llama.cpp integriert MTP-Unterstützung und steigert den Qwen3.6-27B-Durchsatz um 78 % auf A10G ohne Qualitätsverlust – nur zwei CLI-Flags werden benötigt, kein zweites Modell.
Nous Hermes Agent v0.14.0 macht Claude Pro, ChatGPT Pro und SuperGrok per OAuth-Proxy als lokale OpenAI-kompatible Endpunkte nutzbar – das doppelte Bezahlen für Abo und API entfällt.
Qwen3 35B MoE aus Claude Opus destilliert — kostenlos als quantisiertes GGUF für lokale Inferenz mit nahezu Frontier-Qualität.
Shimmy v1.9.0 ist ein 4,8 MB großer, OpenAI-kompatibler lokaler Inferenzserver, der alle GPU-Backends bündelt und einen 142-fachen Größenvorteil gegenüber Ollama beansprucht.
Entwickler berichten: DeepSeek V4 Flash mit 2-Bit-GGUF über llama.cpp liefert erstmals ein echtes Frontier-Modell-Erlebnis auf dem eigenen Rechner – ein Meilenstein für lokale KI.
Intel veröffentlicht W4A16-INT4-Quantisierungen von DeepSeek-V4-Pro und Flash via AutoRound – ohne MXFP4-Hardware lauffähig, was die Deployment-Basis für Self-Hosting erheblich erweitert.
Qwen3.6-27B erscheint leise unter Apache 2.0: AAII-Score 46, für M-Series-Lokalausführung optimiert – das stärkste verfügbare kompakte lokale Modell.
Kuratierte AI-Einblicke — wir senden, wenn es sich lohnt.