Archiv 15. März 2026

Inferencer | Run and Deeply Control Local AI Models ist ein interessantes Tool, mit dem man LLMs lokal betreiben kann. Das kann natürlich LM Studio oder Ollama oder vllm-mlx auch. Aber Inferencer hat ein Feature namens "Model streaming", das ziemlich cool ist: es kann Modelle betreiben, die eigentlich zu groß für den Speicher sind. Natürlich tauscht man da Zeit gegen Speicher, aber für ein lokales Modell zur Bildbetitelung oder ähnliche kleinere Sachen kann man das durchaus mal benutzen. Ich habe aber das Gefühl, dass das Modell dadurch irgendwie fragiler wird - z.B. nutzt es Tools plötzlich nicht mehr richtig (ich habs mit gemma3 12b probiert, das so gerade an der Speichergrenze meines Laptops kratzt).

Pagefind | Pagefind — Static low-bandwidth search at scale ist eine statische Suchmaschine für statisch generiertes HTML, so wie mein Blog. Und wird demnächst die Suche auf diesem Blog betreiben. Keine externen abhängigkeiten, kein Server, keine Komplexität der Infrastruktur - einfach nur ein paar zusätzliche Files, die mit hochgeladen werden. Und natürlich aktives JavaScript im Browser.