#shimmy

Shimmy v1.9.0: Einzelne 4,8 MB Binärdatei unterstützt alle GPU-Backends für lokale LLM-Inferenz

Shimmy v1.9.0 ist ein 4,8 MB großer, OpenAI-kompatibler lokaler Inferenzserver, der alle GPU-Backends bündelt und einen 142-fachen Größenvorteil gegenüber Ollama beansprucht.