Zum Inhalt

LLM Wiki Pattern

Ein Architektur-Pattern für persistente, LLM-maintained Knowledge Bases. Von Andrej Karpathy formuliert.

Definition

Ein System aus drei Layern (Raw Sources, Wiki, Schema) und drei Workflows (Ingest, Query, Lint), bei dem ein LLM inkrementell ein vernetztes Wiki aus Markdown-Dateien aufbaut und pflegt.

Kernidee

Statt bei jeder Abfrage aus Rohdokumenten zu puzzeln (RAG), kompiliert der LLM Wissen einmal in eine persistente Struktur und hält es aktuell. Das Wiki wird zwischen Sessions hinweg reicher.

Die drei Layer

Raw Sources

  • Unveränderliche Quelldokumente
  • Artikel, Papers, Transkripte, Bilder, Daten
  • Der LLM liest, aber verändert nie

The Wiki

  • LLM-generierte Markdown-Dateien
  • Entity-Pages, Concept-Pages, Topic-Pages, Source-Summaries, Synthesen
  • Der LLM erstellt, aktualisiert, verlinkt, lintet

The Schema

  • Konfigurationsdokument
  • Struktur, Konventionen, Workflows
  • Mensch und LLM co-evolvieren es

Die drei Workflows

1. Ingest

Quelle rein → LLM liest → Key Takeaways diskutieren
→ Summary schreiben → Index aktualisieren
→ Entity/Topic-Pages updaten → Log appenden

2. Query

Frage stellen → Index lesen → Relevante Pages finden
→ Antwort synthetisieren → Neue Erkenntnisse ins Wiki schreiben

3. Lint

Widersprüche finden → Veraltetes markieren → Orphan-Pages finden
→ Fehlende Pages identifizieren → Cross-References ergänzen

Vergleich mit anderen Ansätzen

Ansatz Persistenz Akkumulation Maintenance
Chat / rag Nein Nein Nicht nötig
Notizen / zettelkasten Ja Manuell Mensch
LLM Wiki Ja Automatisch LLM

Voraussetzungen

  • LLM mit ausreichend Kontext (mindestens 32k, besser 100k+)
  • Git-Repo für Versionierung
  • Schema-Dokument als Konvention
  • Mensch als Curator und Fragesteller

Grenzen

  • Qualität abhängig von LLM-Fähigkeiten
  • Schema muss gepflegt werden
  • Bei sehr großen Wikis braucht es Such-Infrastruktur (z.B. qmd)
  • Nicht geeignet für stark vertrauliche Daten ohne lokale Modelle