Archiv 18. März 2026

rfc1437/MLXServer: a simple MLX based server for small models to run locally ist ein Tool, das ich mir (KI-gestützt) gebaut habe, um kleine Modelle direkt lokal auszuführen, ohne großen Ballast. Das frisst nicht viel Speicher, hat gleich einen lokalen Chat eingebaut für eigene Experimente und fühlt sich für mich deutlich praktischer an als die großen Alternativen - weniger Knöpfe zum Einstellen, aber dadurch auch weniger Verwirrung. Ich will ja einfach nur ein kleines Modell lokal betreiben für mein Blog on-the-road.

mlx-community/Qwen3.5-9B-MLX-4bit · Hugging Face ist noch ein weiteres nettes kleines Modell - größer als die anderen, dadurch aber auch etwas konsistenter in der Ausführung, aber immer noch echt fix. Und ist so die Obergrenze, was man auf einem MacBook Air M4 mit 16G Ram betreiben kann, ohne den Rechner zu crashen.