Archiv 14. Juli 2026

JustVugg/colibri: Run GLM-5.2 (744B MoE) on a 25GB-RAM consumer machine — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦 - eines der wildesten Projekte in der letzten Zeit, weil darüber ein frontier Modell auf völlig ungeeigneter Hardware betrieben werden kann. Mit grausigen Token/Sekunde, aber laufen. Und es gibt schon Metal und Cuda Backends, also ein bisschen Beschleunigung ist schon da.