Zum Inhalt

Karpathy LLM Wiki Pattern

Zusammenfassung des Gists von Andrej Karpathy (2026-05-08)

Ein-Satz-Zusammenfassung

Karpathy schlägt eine Architektur vor, in der LLMs nicht nur RAG-basiert antworten, sondern inkrementell ein persistentes, vernetztes Wiki aus Markdown-Dateien aufbauen und pflegen — kompiliertes Wissen statt bei jeder Abfrage neu puzzeln.

Kernunterschied zu RAG

RAG LLM Wiki
Rohdokumente → Retrieve → Generate Rohdokumente → Kompilieren → Wiki → Query
Keine Akkumulation zwischen Sessions Wissen persistiert und wächst
Subtile Fragen erfordern neues Puzzeln Cross-References und Synthesen bereits vorhanden
LLM hat kein Gedächtnis über Sessions hinaus Wiki ist das Gedächtnis

Drei Layer

  1. Raw Sources — unveränderliche Quelldokumente (Papers, Artikel, Clips)
  2. The Wiki — LLM-generierte Markdown-Dateien (Summaries, Entities, Konzepte, Synthesen)
  3. The Schema — Konfigurationsdokument mit Struktur, Konventionen, Workflows

Drei Workflows

  • Ingest — Quelle aufnehmen, Summary schreiben, bestehende Pages aktualisieren
  • Query — Frage stellen, relevante Pages lesen, Antwort synthetisieren, neue Erkenntnisse zurückschreiben
  • Lint — Gesundheitscheck: Widersprüche, veraltete Claims, Orphan-Pages, fehlende Links

Zwei Spezial-Dateien

  • index.md — Inhaltsverzeichnis, LLM liest zuerst
  • log.md — Append-only Chronik aller Aktionen

Tools

  • Obsidian als IDE/Viewer
  • Web Clipper für Quellen-Sammeln
  • qmd für lokale Suche (optional)
  • Marp für Präsentationen (optional)
  • Dataview für dynamische Tabellen (optional)

Historischer Kontext

Verwandt mit Vannevar Bush's Memex (1945) — persönlicher, kuratierter Wissensspeicher mit assoziativen Trails. Bush konnte das Maintenance-Problem nicht lösen; LLMs lösen es.

Relevanz für Johann

Das Pattern passt exakt zu Johanns bestehendem System: - knowledge/inbox/ = Raw Sources - wiki/pages/ = The Wiki - SCHEMA.md = Die Schema-Datei - memory/ könnte teilweise in das Wiki migriert werden