Archiv März 2026

Fission-AI/OpenSpec: Spec-driven development (SDD) for AI coding assistants. ist eine leichtgewichtigere Variante zu juxt/allium: A language for sharpening intent alongside implementation.. Könnte auch ganz interessant sein, das Tooling ist weiter ausgebaut, dafür die Sprache schwächer. Allium ist wesentlich formaler und in Richtung Pseudocode.

juxt/allium: A language for sharpening intent alongside implementation. ist ein sehr spannendes Projekt. Und zwar eine Spezifikationssprache für Verhalten von Softwaresystemen. Eine Sprache, für die es keine Laufzeitumgebung oder Compiler gibt, außer der LLM. Implementiert als Agent Skills. Super spannend, weil es unter anderem auch ein Distill gibt, mit dem man bestehende Software analysieren und retroaktiv Spezifikationen aufbauen kann, oder im Interviewverfahren mit der KI eine Spezifikation ausarbeiten kann, die für ein LLM deutlich präziser verständlich ist als allgemeines Englisch. Witziges Detail am Rande: ich habe Allium mit Qwen3-Coder-Next ausprobiert, meinem derzeitigen Lieblingsmodell für lokales Hosting, in pi.dev. Ich konnte das binary für Allium (ein Syntaxchecker und Linter) nicht mit homebrew installieren, pi.dev hat einfach kurzerhand das Binary runtergeladen und selber installiert.

scitrera/cuda-containers: Scitrera builds of various CUDA containers for version consistency, starting primarily with NVIDIA DGX Spark Containers bin ja im Moment ein großer Fan von eugr/vllm-node als Basispaket, weil es immer aktuelle Versionen für vLLM bietet, aber wenn ich mal mit sglang spielen will, ist das hier vermutlich das ähnlichste Projekt. Mich interessiert da speziell EAGLE-3 spekulatives Dekodieren - im Prinzip werden dabei über ein sehr kleines Modell parallel Token generiert und das Hauptmodell guckt was passt und nimmt das, oder generiert selber wenn nötig. Dadurch kann man oft ein drittel der Token über ein viel schnelleres banales Modell im <3B Bereich generieren lassen und nur jedes dritte wirklich über das große Modell.

thushan/olla: High-performance lightweight proxy and load balancer for LLM infrastructure. Intelligent routing, automatic failover and unified model discovery across local and remote inference backend ist nach dem Debakel von LiteLLM (gehackte supply-chain mit Datenextraktor im Paket) vielleicht die bessere Wahl. Für mich auf jeden Fall interessant, weil ich einfach nur zwei Modelle betreiben will und diese unter einem Endpunkt verfügbar machen will, und da sind alle anderen Pakete deutlicher Overkill.

Running Mistral Small 4 119B NVFP4 on NVIDIA DGX Spark (GB10) - DGX Spark / GB10 User Forum / DGX Spark / GB10 - NVIDIA Developer Forums - live-saver Diskussion in den NVIDIA Foren. Mit dem was da steht habe ich Mistral Small 4 zum Fliegen bekommen. Und es läuft sauber mit 150K Context und 100 Token/Sekunde in der Generierung. Wow. Das ist das erste Mal, dass ich die Power der Kiste wirklich bemerke.

Zed: The Fastest AI Code Editor — Zed's Blog ist ein ziemlich cooler Editor, der endlich auch mit einer guten VIM Implementation daher kommt. Unterstützt Coding Agents und ist offen für Open Weight und home-hosted Modelle. Gefällt mir ehrlich gesagt sehr gut und ist wirklich schnell. Und ist in Rust geschrieben, was mich nochmal mehr begeistert.

Introducing Mistral Small 4 | Mistral AI ist ein weiterer interessanter Kandidat für die ASUS Ascent GX10｜｜ASUS Deutschland, vor allem brauche ich dort keine Side-car Modelle für Vision, weil das Modell selber auch schon gleich Vision mitbring. Und als MoE Modell dürfte es auch gut Speed hinlegen.

nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4 · Hugging Face wird wahrscheinlich das erste große Modell auf der ASUS Ascent GX10｜｜ASUS Deutschland werden, weil es optimiert auf NVFP4 trainiert wurde - und damit nicht eine "verdummung" erfährt, wegen der Quantisierung, sondern ganz normal wie erwartet funktioniert. Und es ist auf agentische Workflows optimiert, was OpenClaw begünstigen sollte, genauso wie der 1M Context, der in dem Modell vermutlich sogar genutzt werden kann (andere Architektur als klassische Transformer basierte Modelle).

WireGuard® for Enterprise klingt komisch auf einem rein privaten Blog mit dem Namen, aber die haben recht günstige Tarife für VPN-ähnliche Konstrukte, mit denen man sehr leicht seine lokalen Geräte zu Hause auch von Unterwegs erreichbar machen kann. Gibt sicherlich auch andere Alternativen, aber ich glaube wenn ich meinen Agent lokal laufen lasse, stecke ich das Geld für Subscriptions lieber in einen ordentlichen VPN Dienst, da habe ich generell mehr von. Update: ist kostenlos für Privatbenutzer bis 3 User. Nett.

ASUS Ascent GX10｜｜ASUS Deutschland kommt in den nächsten Tagen. KI Bolide, der es mir erlauben wird, auch größere Modelle lokal zu betreiben und z.B. einen OpenClaw Agent autonom zu Hause zu betreiben, ohne dafür dann auch noch Subscriptions zu brauchen. Bin schon echt gespannt, was damit geht. Kommt mit angepasstem Ubuntu, auch ein nettes Detail.

topoteretes/cognee: Knowledge Engine for AI Agent Memory in 6 lines of code ist auch etwas, das ich mir für später merke. Im Prinzip ein Wissens-Graph der über eine LLM gesteuert aufgebaut wird, um Memory für eine andere LLM verfügbar zu machen. Sicherlich spannend damit zu spielen, wenn ich mal eine gute lokale Hardware habe, auf der ich größere Modelle betreiben kann. Aber für jetzt nur ein Merker.

Docker Model Runner Adds vLLM Support on macOS | Docker - erstmal nur gemerkt, das könnte später interessant werden, weil ich darüber Modelle über Docker mit vllm betreiben kann, bei gleichzeitiger Nutzung von Apple Silicon. Interessant daran ist hier, dass es als Docker Image fertig konfiguriert kommt und ich mich nicht mit Setup rumschlagen muss. Im Moment arbeite ich ja eher mit meinem eigenen rfc1437/MLXServer: a simple MLX based server for small models to run locally, einfach weil ich es eh nur für den Offline-Betrieb brauche, aber für später könnte vllm-metal sehr spannend sein.

rfc1437/MLXServer: a simple MLX based server for small models to run locally ist ein Tool, das ich mir (KI-gestützt) gebaut habe, um kleine Modelle direkt lokal auszuführen, ohne großen Ballast. Das frisst nicht viel Speicher, hat gleich einen lokalen Chat eingebaut für eigene Experimente und fühlt sich für mich deutlich praktischer an als die großen Alternativen - weniger Knöpfe zum Einstellen, aber dadurch auch weniger Verwirrung. Ich will ja einfach nur ein kleines Modell lokal betreiben für mein Blog on-the-road.

mlx-community/Qwen3.5-9B-MLX-4bit · Hugging Face ist noch ein weiteres nettes kleines Modell - größer als die anderen, dadurch aber auch etwas konsistenter in der Ausführung, aber immer noch echt fix. Und ist so die Obergrenze, was man auf einem MacBook Air M4 mit 16G Ram betreiben kann, ohne den Rechner zu crashen.

google/gemma-3-4b-it · Hugging Face ist ein ziemlich nettes Modell, dass für viele europäische Sprachen trainiert ist und daher gut für Übersetzungen lokal benutzt werden kann - es lädt unter 4G in den Speicher und belegt im Betrieb in der Interferenz ca. 6.5G. Und es hat Vision Capability, kann also auch benutzt werden um Bildbeschreibungen zu bekommen. Ideal, um z.B. mit bDS als lokales Modell benutzt zu werden wenn man offline unterwegs sein will. Und deutlich kleiner als mlx-community/gemma-3-12b-it-4bit · Hugging Face - das war bei meinem Macbook Air grenzwertig.

Inferencer | Run and Deeply Control Local AI Models ist ein interessantes Tool, mit dem man LLMs lokal betreiben kann. Das kann natürlich LM Studio oder Ollama oder vllm-mlx auch. Aber Inferencer hat ein Feature namens "Model streaming", das ziemlich cool ist: es kann Modelle betreiben, die eigentlich zu groß für den Speicher sind. Natürlich tauscht man da Zeit gegen Speicher, aber für ein lokales Modell zur Bildbetitelung oder ähnliche kleinere Sachen kann man das durchaus mal benutzen. Ich habe aber das Gefühl, dass das Modell dadurch irgendwie fragiler wird - z.B. nutzt es Tools plötzlich nicht mehr richtig (ich habs mit gemma3 12b probiert, das so gerade an der Speichergrenze meines Laptops kratzt).

Pagefind | Pagefind — Static low-bandwidth search at scale ist eine statische Suchmaschine für statisch generiertes HTML, so wie mein Blog. Und wird demnächst die Suche auf diesem Blog betreiben. Keine externen abhängigkeiten, kein Server, keine Komplexität der Infrastruktur - einfach nur ein paar zusätzliche Files, die mit hochgeladen werden. Und natürlich aktives JavaScript im Browser.

pi.dev ist ein minimalistischer Harness für agentic coding, dessen Fokus nicht auf Features, sondern auf Erweiterbarkeit liegt. Die Grundidee ist solide:. eine sehr einfache Harness die durch Typescript-Plugins erweitert werden kann, so dass sich die Harness an den eigenen Workflow anpassen und an die eigenen Anforderungen. Werde ich mir vielleicht demnächst mal angucken.

steveyegge/beads: Beads - A memory upgrade for your coding agent ist ein Todo-Listen-Tool für Agenten. Im Prinzip ein Gedächtnis für Projekte über das sich Agenten steuern können (hinterlegen von Tasks und Features) und auch komplexere Abläufe gesteuert werden können, bei denen ein Agent über eine ganze Reihe von Issues laufen muss und diese lösen muss, wo Tasks abhängigkeiten haben können und Agenten nur den Satz an Aufgaben sehen, die auch wirklich gerade angegangen werden können. Interessant für Projekte, in denen man Agenten in Loops laufen lassen will, um größere Aufgaben zu lösen.

dolthub/doltgresql: DoltgreSQL - Version Controlled PostgreSQL ist der PostgreSQL-flavored Partner von dolthub/dolt: Dolt – Git for Data und bietet die gleichen Features, nur mit Anlehnung an PostgreSQL und einem Binär-Interface das zu PostgreSQL kompatibel ist.

dolthub/dolt: Dolt – Git for Data ist eine SQL Datenbank, die intern mit Mechanismen wie git arbeitet und dadurch Daten-Branches und Merges unterstützt und allgemein die Möglichkeit bietet, dass Daten in der Datenbank versioniert und mit History funktionieren. Und das ganze auch analog zu git erlaubt die Datenchanges über die Versionsverwaltung zu verteilen. Im Prinzip "slow transaction shipping".

paperclipai/paperclip: Open-source orchestration for zero-human companies ist ein Ansatz um Agenten zu orchestrieren und zu verwalten. Das interessante hier ist, dass es mit einer Organisation angelehnt an eine Firmenorganisation arbeitet und mit Mitteln die Kommunikation der Agenten abbildet, die eine gute Transparenz bieten könnte. Ich habe es noch nicht ausprobiert, aber neben gastown eines der interessanteren Projekte zu diesem Thema. Das ganze Umfeld von Agent-Orchestrierung ist alles noch recht neu, von daher ist das noch ein großes Feld an Experimenten, aber spannend zu beobachten.

Ghostty ist die Basis, auf der cmux — Das Terminal für Multitasking aufgebaut wurde. Generell ebenfalls ein sehr nettes Terminal, das auch deutlich schneller reagiert als das Standardterminal und auch schon sehr gut funktioniert. Was mir nicht gefiel, war dass Tabs nicht automatisch in den passenden Pfaden wieder neu geöffnet wurden, wenn das Programm beendet wurde. Ich habe einfach zu lange persistente Sessions, die ich immer wieder aufgreife. Das macht cmux einfach besser.

cmux — Das Terminal für Multitasking ist ein ziemlich geniales Terminal-Programm für die gerade durch Agentic Coding wieder verstärkt kommenden CLI Workflows. Und was mich begeistert: es hat eine saubere Persistierung von offenen Workspaces in denen man dann mehrere Tabs haben kann, so dass ich meine Arbeitsumgebung nicht ständig offen lassen muss. Ich habe immer gerne diverse Verzeichnisse direkt offen, weil ich zwischen mehreren hin und her wechsel wärend der Programmierung, das läuft mit CMUX deutlich besser als mit allen anderen.

NuGet Gallery | Photino.Blazor.CustomWindow 1.3.1 ist eine Library für Photino Blazor, mit der man Fenster Chrome-less machen kann. Also Titelbalken und Standarddekorationen entfernen kann. Idee dahinter ist darüber mehr Kontrolle über das Look-and-Feel zu bekommen und kompaktere UIs zu schaffen. Mit dieser Library bekommt man dann Grundfunktionen zurück wie Fenstergrößenänderungen und andere Standardelemente, die Benutzer erwarten, aber unter voller Kontrolle der Anwendung.

OpenClaw Memory Masterclass: The complete guide to agent memory that survives • VelvetShark - interessante Zusammenstellung des Memory-Systems und der Fallstricke mit Compaction bei Openclaw. Der Agent ist ja dazu da, über lange Zeit zu laufen, dadurch ist aber auch immer die Gefahr, dass Compaction gerade in komplexeren Situationen mitten drin zuschlägt. Und openclaw läuft autonom, also will man sicher sein, dass es auch kontinuierlich weitergeht.

unum-cloud/USearch - drin was drauf steht. Also eine Library, die einen Index für Vektoren bietet, die z.B. aus Embedding stammen können und so semantisch ähnliche Texte finden können. Nicht Text-ähnlich, sondern semantisch, also Inhalt. Spannendes Thema, die dafür nötigen Modelle sind mit den LLMs verwandt, aber eben nicht large, sondern small - sie brauchen nicht voll zu verstehen und zu generieren, weil sie nur Vektoren erstellen, die dann gegeneinander verglichen werden können und je höher die Ähnlichkeit, desto höher die Ähnlichkeit der Texte im Thema. Cooles kleines Feature für bDS.

waybarrios/vllm-mlx: OpenAI and Anthropic compatible server for Apple Silicon. Den benutze ich, um mlx-community/gemma-3-12b-it-4bit auf meinem MacBook Air zu betreiben. Klappt sehr gut, kleines Shell-Script zum Starten des Servers und dann bin ich autonom. Nicht so komfortabel wie Ollama, aber dafür unterstützt es perfekt Apple's MLX und nutzt damit Silicon gut aus.

mlx-community/gemma-3-12b-it-4bit · Hugging Face ist das bisher beste Modell für lokalen Betrieb, mit dem ich die Bildbetitelung und sogar lokalen Chat realisieren kann. Nicht das schnellste, da es schon recht groß ist, aber für Offline-Betrieb absolut geeignet, wenn ich mir da ein paar Mechanismen für Batchverarbeitung von Bildern etc. einfallen lasse. Das könnte gerade für Urlaubszeiten super spannend sein. Eine Bildbeschreibung liegt dann zwar bei einer Minute, aber hey, dafür keine Abhängigkeiten.

Models.dev — An open-source database of AI models ist eine sehr praktische Seite, die für alle möglichen Anbieter und alle möglichen LLMs Rahmenparameter liefert, inklusive sogar API Preise. Und technische Parameter wie Input/Output Tokens.

Ollama - eine Runtime-Umgebung für LLMs, die es erlaubt Modelle lokal zu betreiben. Mein Lieblingsmodell zur Zeit: qwen2.5vl:7b-q4_K_M. Mit nur 6.6 GB Größe läuft das problemlos auf einem MacBook Air M4 und hat noch genug Speicher und Kapazität frei um Programme nebenbei laufen zu lassen. Das Modell ist im Chat erstaunlich brauchbar und vor allem hat es klasse Vision-Fähigkeiten. Ideal um für Bilder Titel, Alt-Texte oder Zusammenfassungen zu liefern, ohne dafür Geld an große Provider abzudrücken. Und ein wichtiger Baustein, um bDS wieder zurück zu full-offline zu bringen.