Zum Inhalt

Synthese: Backtesting-Integrität — Von Kurvenanpassung zur Robustheit

Ein Backtest ist kein Beweis. Er ist eine Hypothese. Die meisten Trader behandeln ihn als Beweis und wundern sich, warum live alles anders funktioniert. Der Unterschied zwischen Kurvenanpassung und einem robusten System ist der Unterschied zwischen Illusion und Edge.

Die Grundthese

Pardo zeigte 1992 und 2008, dass die meisten veröffentlichten Trading-Systeme optimistisch verzerrte In-Sample-Resultate sind. Stridsman bewies empirisch, dass Systeme die in Tests gut aussehen, live oft versagen. Bandy quantifizierte die Wahrscheinlichkeit, dass ein Backtest-Ergebnis statistisch signifikant ist. Fitschen und Halls-Moore verbinden Theorie mit modernen Implementierungs-Frameworks.

Die Kern-Erkenntnis:

Ein Backtest misst primär die Fähigkeit des Entwicklers, Parameter zu finden, die auf historischen Daten gut aussehen. Er misst sekundär — und nur bei korrekter Methodik — die Qualität der zugrundeliegenden Markt-Hypothese.

Die Architektur des Fehlers: Warum Backtests lügen

Look-Ahead Bias

Der häufigste Fehler: Verwendung von Daten, die zum Handelszeitpunkt nicht verfügbar waren. - Tagesschlusskurse statt Open des nächsten Tages für Signale - Survivorship Bias in historischen Daten (nur überlebende Unternehmen) - Annahme, dass Orders immer zum gewünschten Preis füllbar sind

Overfitting / Curve Fitting

Der subtilere Fehler: Das System hat gelernt, die Vergangenheit zu erklären, nicht die Zukunft zu handeln.

Parameter-Optimierung auf Gesamtdaten:
├── Findet Parameter, die vergangenheitlich optimal waren
├── Diese Parameter beinhalten Zufalls-Noise als "Signal"
├── Im Out-of-Sample-Test fällt das System auseinander
└── Symptom: Zu viele Parameter, zu wenig Daten, zu gute Resultate

Bandy quantifiziert: Die Wahrscheinlichkeit, dass ein zufälliges System mit K Parametern auf N Datenpunkten "gut" aussieht, steigt mit K und sinkt mit N. Faustregel: Pro optimiertem Parameter mindestens 20–30 unabhängige Trades in-sample.

Data Mining Bias

Multiple Systeme auf denselben Daten testen, das beste auswählen — das beste ist statistisch das zufällig beste, nicht das strukturell beste. Lösung: Bonferroni-Korrektur oder Walk-Forward als Kontrolle.

Pardos Walk-Forward Analysis: Die Goldstandard-Methodik

Robert Pardo gilt als Erfinder der Walk-Forward Analysis (WFA) — das einzige Framework, das systematisch zwischen Kurvenanpassung und echtem Edge unterscheidet.

WFA-Mechanismus

WALK-FORWARD ITERATION:

IS-Fenster [Monat 1–18]  →  Optimierung der Parameter
                         →  Beste Parameter P1 identifiziert
OOS-Fenster [Monat 19–24] →  P1 unverändert auf neuen Daten anwenden
                          →  OOS-Ergebnis E1 aufzeichnen

Fenster verschieben:
IS-Fenster [Monat 7–24]  →  Neue Optimierung → Parameter P2
OOS-Fenster [Monat 25–30] →  P2 anwenden → OOS-Ergebnis E2

Gesamt-OOS = Verkettung aller E1, E2, E3, ...

Das Gesamt-OOS-Ergebnis ist das einzige ehrliche Resultat: Es zeigt, wie das System in Daten performed, die es nie gesehen hat.

Pardos WFE (Walk-Forward Efficiency)

WFE = OOS-Performance / IS-Performance × 100%

WFE > 50%: System ist robust (OOS mindestens halb so gut wie IS)
WFE 20–50%: Grenzwertig, weiter testen
WFE < 20%: Kurvenanpassung, verwerfen

Das entscheidende Verhältnis: In-Sample zu Out-of-Sample sollte zwischen 3:1 und 5:1 liegen. Größere IS-Fenster → stabilere Parameter. Kleinere OOS-Fenster → mehr Test-Iterationen → mehr statistische Kraft.

Stridsmans Trajectory Analysis: Mehr als Endwert

Stridsman erweitert die klassische Backtesting-Kritik um eine oft ignorierte Dimension: Nicht der Endwert, sondern der Weg dorthin entscheidet über die Handelbarkeit eines Systems.

Zwei Systeme, gleicher Jahresendwert:

System A: +50% Jahresrendite
Equity-Kurve: stetig, gleichmäßig, max Drawdown 8%

System B: +50% Jahresrendite  
Equity-Kurve: +60%, dann -40%, dann +30% Erholung, max Drawdown 48%

System A ist handelbar. System B ist es nicht — weil kein realer Trader eine 48%-Drawdown-Phase durchhalten wird, bevor er das System aufgibt.

Stridsmans Metriken: - Maximum Adverse Excursion (MAE): Schlechtestes Intra-Trade-Niveau. Trades die MAE > geplanter Stop überlebt haben, sind statistisch schwächer. - Maximum Favorable Excursion (MFE): Bestes Intra-Trade-Niveau. Verhältnis MFE/Endgewinn zeigt, wieviel "gegebener" Gewinn verloren ging. - Flat Time: Periode ohne neues Equity-Hoch. Hohe Flat-Time = System liegt lange brachfeld → psychologisch schwer zu handeln.

Stridsmans Fazit: Ein System das RICHTIGER Drawdown-Struktur genug analysiert, verhindert, dass Trader das System in der Verlustphase aufgeben — genau dann, wenn die nächste Gewinnphase beginnen würde.

Bandys Statistische Signifikanz-Framework

Bandy stellt die grundlegende Frage, die die meisten Backtester nicht stellen: Wie wahrscheinlich ist es, dass dieses Ergebnis durch Zufall entstanden ist?

Für ein System mit:
- N Trades
- Durchschnittliches R = μ
- Standardabweichung = σ

t-Statistik = μ / (σ / √N)

t > 1.65: 90% Konfidenz (schwach)
t > 1.96: 95% Konfidenz (Standard)  
t > 2.58: 99% Konfidenz (stark)

Konsequenz: Ein System mit 30 Trades und positivem Durchschnitt ist statistisch nicht signifikant nachgewiesen. Man braucht mindestens 50–100 Trades für 95% Konfidenz bei realistischen Win-Rates.

Bandys SQN-Verbindung (→ Van Tharp): SQN = t-Statistik × (Einheitenfaktor). SQN > 2.0 entspricht ungefähr 95%-Signifikanz bei 100+ Trades.

Fitschens 10-Stufen-Entwicklungsprozess

Fitschen synthetisiert die gesamte Literatur in einen sequenziellen Prozess, der die häufigsten Fehler strukturell ausschließt:

Schritt Inhalt Hauptfehler den er verhindert
1 Markt-Hypothese formulieren Testen ohne These → Data Mining
2 Indikatoren für These auswählen Parameter-Überladung → Overfitting
3 IS-Zeitraum definieren (vor Optimierung) IS und OOS vermischen
4 In-Sample optimieren (minimale Parameter) Zu viele freigegebene Parameter
5 OOS-Test auf reservierten Daten Doppeltes Testen auf denselben Daten
6 Walk-Forward über gesamte Historie Zeitfenster-spezifisches Overfitting
7 Robustheitstests: Parameter sensitiv? Fragile Parameter-Abhängigkeit
8 Slippage und Kommission einrechnen Unrealistische Kostenstruktur
9 Positionsgrößen und Drawdown simulieren Performance ohne Risiko-Kontext
10 Paper Trade vor Live-Start System-Logik-Fehler in Echtzeit

Fitschens kritischste Regel: Schritt 5 darf NIEMALS übersprungen werden. Kein System geht live, das nicht auf ungesehenen Daten getestet wurde.

Halls-Moore: Python-Implementierung und Reale Fallen

Halls-Moore ergänzt die Theorie mit konkreten Implementierungsrisiken in der Praxis:

Rebalancing-Bias: Tägliches Rebalancing in Backtests funktioniert, wenn Transaktionskosten ignoriert werden. Real: Jede Transaktion kostet. Backtests müssen realistische Transaktionskosten und Marktimpakt einrechnen.

Liquiditäts-Annahmen: Backtests gehen davon aus, dass jede Order zur Schlusskurs-Preis füllbar ist. Real: Bei kleinen Titeln kann die Order den Preis bewegen. Vor allem in Optimierungs-Perioden werden illiquide, aber historisch gut performende Instrumente bevorzugt.

Point-in-Time-Daten: Bilanzdaten, die heute verfügbar sind, spiegeln Revisionen wieder. Historisch war das Unternehmen mit anderen Zahlen bekannt. Ohne Point-in-Time-Datenbank ist jeder Fundamental-Backtest verzerrt.

Das integrierte Qualitäts-Gate

SYSTEM-BEURTEILUNGS-CHECKLISTE:

[ ] Hypothese vor Daten formuliert (kein Data Mining)
[ ] Parameter-Anzahl < 1/30 der IS-Trade-Anzahl
[ ] IS zu OOS Verhältnis: 3:1 bis 5:1
[ ] Walk-Forward Analysis durchgeführt (nicht nur einfacher Split)
[ ] WFE > 50%
[ ] Statistischer Signifikanztest (t-Stat > 1.96, SQN > 2.0)
[ ] Maximaler Drawdown in Simulation handelbar (<20-25% für Privatanleger)
[ ] Flat-Time-Analyse: Akzeptable Perioden ohne neues Equity-Hoch
[ ] Realistische Kosten eingerechnet (Kommission + Slippage)
[ ] Parametersensitivität: Ergebnisse stabil ±20% um Optimalparameter?
[ ] Robustheit über verschiedene Marktregime getestet
[ ] Paper Trading abgeschlossen

Alle 12 Punkte erfüllt? → Kandidat für Live-Trading
Weniger als 10 Punkte? → Nicht handelbar

Die verbindende Erkenntnis

Pardo, Stridsman, Bandy, Fitschen und Halls-Moore beschreiben dasselbe Problem aus verschiedenen Winkeln:

Die Vergangenheit ist kein Beweis für die Zukunft. Sie ist ein Datenpunkt. Walk-Forward Analysis ist der einzige methodische Weg, die Vergangenheit als realistischen Datenpunkt für die Zukunft zu verwenden.

Die Hierarchie der Robustheit: 1. Einfacher historischer Test → schlechteste Methode, trotzdem häufigste 2. Train/Test-Split (einmalig) → besser, aber immer noch single-period bias 3. Walk-Forward Analysis → Gold Standard: viele OOS-Perioden, reale Validierung 4. Monte Carlo Simulation zusätzlich → Verteilung möglicher Outcomes 5. Live Paper Trade → finaler Realitätscheck vor Kapital

Kein System sollte ohne mindestens Punkt 3 live gehandelt werden.

Grenzen dieser Synthese

  • Struktur-Shifts: Auch Walk-Forward kann nicht garantieren, dass die Zukunft ähnlich zur Vergangenheit ist. Marktstrukturveränderungen (Decimalization 2001, Dodd-Frank, ETF-Proliferation) können Anomalien dauerhaft eliminieren.
  • Daten-Qualität ist vorgelagert: Alle Methoden hier setzen saubere historische Daten voraus. Für die meisten Retail-Trader ist die Datenqualität das ungelöste Problem.
  • Survivorship Bias bleibt: Ohne Point-in-Time-Datenbanken sind alle Fundamentaldaten-Backtests verzerrt. Für technische Systeme weniger relevant, für Quantitative-Value-Ansätze kritisch.