Archiv 19. März 2026

topoteretes/cognee: Knowledge Engine for AI Agent Memory in 6 lines of code ist auch etwas, das ich mir für später merke. Im Prinzip ein Wissens-Graph der über eine LLM gesteuert aufgebaut wird, um Memory für eine andere LLM verfügbar zu machen. Sicherlich spannend damit zu spielen, wenn ich mal eine gute lokale Hardware habe, auf der ich größere Modelle betreiben kann. Aber für jetzt nur ein Merker.

Docker Model Runner Adds vLLM Support on macOS | Docker - erstmal nur gemerkt, das könnte später interessant werden, weil ich darüber Modelle über Docker mit vllm betreiben kann, bei gleichzeitiger Nutzung von Apple Silicon. Interessant daran ist hier, dass es als Docker Image fertig konfiguriert kommt und ich mich nicht mit Setup rumschlagen muss. Im Moment arbeite ich ja eher mit meinem eigenen rfc1437/MLXServer: a simple MLX based server for small models to run locally, einfach weil ich es eh nur für den Offline-Betrieb brauche, aber für später könnte vllm-metal sehr spannend sein.