hugo/RuDS: Rust rewrite of bDS - RuDS - Hugo's house of code horror ist die neue Version meiner Blogging-Software. Die erste Version war Typescript, die zweite war Elixir und die dritte (und hoffentlich finale) ist in Rust geschrieben. Warum die Reise? Die erste Version in Typescript ist einfach ein Stack den ich nicht mag - Typescript+Electron ist flexibel und hat eine breite Palette an Libraries, aber ich mag die Sprache nicht und die Runtime nicht. Elixir war als Sprache deutlich besser, aber ich musste dann für verschiedene Sachen doch aus Elixir ausbrechen und Javascript (für den syntax-highlighting Editor) oder Rust (für eine TUI Library für Elixir) wechseln. Irgendwie fühlte sich das für mich nicht optimal an, zumal die App immer noch recht dickt und beim Start langsam war. Die Rust-Version hingegen ist jetzt nahezu perfekt das, was ich will - schnell, agil und kompakt. Und native Code.
Archiv Juli 2026
mlx-community/ThinkingCap-Qwen3.6-27B-OptiQ-4bit · Hugging Face - mit dem Modell muss ich mal rumspielen, das verspricht besseres Reasoning mit weniger Token und liefert gute Performance auf meinem MacBook Pro - wenn das sich bewährt, könnte das für lokale Agents durchaus interessant sein.
hunk — review-first terminal diff viewer ist ein Diff-Viewer, der speziell mit Herdr: one terminal for the whole herd zusammenarbeitet. Ein Agent kann Diff erzeugen und über einen Skill Kommentare in den Diff einarbeiten und dann lässt sich das in Hunk anzeigen und der Benutzer kann ebenfalls im Diff kommentieren - also klassischer Review-Prozess, nur eben rein lokal und im Terminal.
Herdr: one terminal for the whole herd - ich bin ja alter screen User, aber ich glaube es wird wirklich Zeit, dass ich mich mal mental modernisiere. Herdr ist screen auf steroiden. Es hat eine Client-Server Architektur, remote-Installation und Nutzung, und eine sehr gute Agent-Integration. Agent Sessions tauchen in der Übersicht auf, genauso wie Projektstatus (Branch etc.), alles schön in einem Sidebar. Tabs können geöffnet werden, Screens gesplittet werden und obwohl es eine Terminal-Anwendung ist, unterstützt es die Maus. Fühlt sich wirklich gut in der Benutzung an.
JustVugg/colibri: Run GLM-5.2 (744B MoE) on a 25GB-RAM consumer machine — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦 - eines der wildesten Projekte in der letzten Zeit, weil darüber ein frontier Modell auf völlig ungeeigneter Hardware betrieben werden kann. Mit grausigen Token/Sekunde, aber laufen. Und es gibt schon Metal und Cuda Backends, also ein bisschen Beschleunigung ist schon da.
567-labs/instructor: structured outputs for llms - und hier die Alternative zu dottxt-ai/outlines: Structured Outputs, aber hinter dem LLM und nicht in der Generierung. Im Prinzip ist das die klassische Korrekturschleife für LLM Antworten, die man ständig baut. Also parsen, prüfen, validieren, konkrete Fehler zurückmelden und Prompt anpassen und wiederholen, bis es passt.
dottxt-ai/outlines: Structured Outputs - ein sehr spannendes Tooling das sich direkt in vLLM einhängt und Replies von LLMs gegen definierte Schemas für Antworten prüft und direkt in der Generierung illegale Token rejected und damit garantiert, dass der Output den erwarteten Formaten entspricht. Gerade für kleinere Modelle interessant die oft Schwächen bei Toolformaten haben. Gerade für stringente Workflows in denen man genau weiss, was das LLM antworten soll, kann das hilfreich sein.
datalab-to/marker: Convert PDF to markdown + JSON quickly with high accuracy - eine interessante Lösung für ein PDF Preprocessing, dass aus PDF Markdown macht, aber die Struktur und die Lesefolge berücksichtigt. Gerade für Dokumentenverständnis ist das essentiell, da Tabellen in ihrerer Anordnung eine Menge an Information transportieren und das tool dabei helfen kann.
jakobdylanc/llmcord: Make Discord your LLM frontend - Supports any OpenAI compatible API (OpenRouter, Ollama and more) ist ein discord bot in Python geschrieben, der ein LLM integriert und als Chatbot in Discord verfügbar macht. Das ganze als simpler Docker Container. Leicht einzurichten und simpel.
Forest Shuffle ist ein netter Tableau-Builder mit ziemlich coolen Kartencombos. Das ganze ist relativ leicht zu lernen und zu spielen, einzig der etwas geringe Kartenpool könnte den Wiederspiel-Reiz etwas dämpfen, aber die Erweiterungen helfen dabei.
LMCache – Building the foundation of AI memory tensor with KV Cache Infrastructure ist ein kv cache manager, der den cache über GPU Speicher und SSD verteilen kann und auch hilft, wenn ein Modell über mehrere Maschinen verteilt läuft. Ich selbst benutze ihn primär als offloader für kvcache auf die Platte beim Qwen3.6 27B, weil das einen etwas heftigeren Bedarf an Speicher für kvcache hat als das 35B Modell.