Archiv 2. März 2026

waybarrios/vllm-mlx: OpenAI and Anthropic compatible server for Apple Silicon. Den benutze ich, um mlx-community/gemma-3-12b-it-4bit auf meinem MacBook Air zu betreiben. Klappt sehr gut, kleines Shell-Script zum Starten des Servers und dann bin ich autonom. Nicht so komfortabel wie Ollama, aber dafür unterstützt es perfekt Apple's MLX und nutzt damit Silicon gut aus.

mlx-community/gemma-3-12b-it-4bit · Hugging Face ist das bisher beste Modell für lokalen Betrieb, mit dem ich die Bildbetitelung und sogar lokalen Chat realisieren kann. Nicht das schnellste, da es schon recht groß ist, aber für Offline-Betrieb absolut geeignet, wenn ich mir da ein paar Mechanismen für Batchverarbeitung von Bildern etc. einfallen lasse. Das könnte gerade für Urlaubszeiten super spannend sein. Eine Bildbeschreibung liegt dann zwar bei einer Minute, aber hey, dafür keine Abhängigkeiten.