Zum Inhalt

System-Testing und Overfitting

Ein in-sample geglättetes Backtest-Ergebnis ist kein Edge, sondern ein Designartefakt. Ehrliche Systemarbeit zwingt die Strategie aus dem Komfortbereich der eigenen Daten.

Kernidee

Beim Entwerfen quantitativer Regeln entsteht fast immer eine Versuchung, Parameter so lange anzupassen, bis der Backtest schön aussieht. Genau in diesem Moment wird Skill durch Glück ersetzt. System-Testing ist die Disziplin, die diese Selbsttäuschung sichtbar macht: Trennung von In-Sample und Out-of-Sample, Walk-Forward statt einmaliger Optimierung, Robustheit über Parameterbereiche statt Punkt-Optima, und realistische Kostenmodellierung.

Gemeinsame Gebote der Quellen

  • OOS-Pflicht — Schwager, Kaufman und Covel konvergieren: ein System ohne sauberes Out-of-Sample-Fenster gilt nicht als getestet.
  • Walk-Forward — Rollierender IS-Optimierung/OOS-Test-Prozess (walk_forward_analyse) als praktische Operationalisierung der OOS-Pflicht.
  • Wenige Parameter / breite Plateaus — Kaufman: Robustheit zählt mehr als Optima; ein flacher Parameterhügel schlägt eine scharfe Spitze.
  • Blind Simulation — Schwager: Die letzte ehrliche Prüfung ist eine Simulation ohne Vorwissen über das Datenende.
  • Slippage und TC — Covel/Kaufman: Backtests ohne realistische Transaktionskosten lügen systematisch nach oben.
  • Preis als Basis — Covel: 5-Fragen-Test (Markt, Position, Entry, Exit-Loss, Exit-Win) vor jeder Strategie; je weniger Daten-Inputs, desto weniger Overfit-Oberfläche.
  • OOS-Daten sind heilig — Bandy: jeder Rückblick zur Adjustierung kontaminiert die Testperiode endgültig; einmaliger Test, keine Re-Use.
  • Hypothesentest statt Augenmaß — Bandy: System-Returns gegen Benchmark per z-Score testen; ohne p < 0.05 ist "OOS funktioniert" nur Anekdote.

Operative Relevanz

  • Vor jeder Systemarbeit das Test-Protokoll festlegen, nicht nachträglich anpassen.
  • Multiple-Testing-Korrekturen ernst nehmen (deflated_sharpe_ratio) — viele Variationen heißt: höherer Sharpe ist erwartbar zufällig.
  • Im Wiki-Kontext der harte Gegenpol zu „mein Backtest sieht super aus" — ein System gilt erst nach OOS, Walk-Forward und Kostenmodell als ernsthaft.

Verwandte Konzepte