Archiv Mai 2026

oMLX — LLM inference, optimized for your Mac ist so ein bisschen wie mein MLX Server, aber hat mehr Fokus auf effiziente Ausführung und als Gimmick einen persistierten KV Cache, so dass alte Prefixe wiederbelebt werde. Könnte ich mit meinem kommenden MacBook Pro mal testen, ob das interessant für mich ist, insbesondere das Beispiel mit dem Qwen 3.5 122B A10B sieht gut aus, das ist auch im Moment auf meine DGX mein favorisiertes Modell.

MTPLX — Twice as fast on MLX gemerkt für später, wenn mein neues MacBook Pro kommt. Dann habe ich die nötige Hardware, um das Modell laufen zu lassen und MTPLX wird dann extrem wichtig für die Geschwindigkeit.

Livebook.dev ist sowas wie Jupyter Notebooks, aber für Elixir. Sieht sehr spannend aus und hat viele eingebaute Elixir Features und Erweiterungen mit im Bauch (z.B. Bumblebee für AI Anwendungen).