Zum Inhalt

Concept: Hypothesentest für Trading-Systeme (Bandy)

Statistische Falsifikationsdisziplin: ein Trading-System ist erst dann real, wenn seine Out-of-Sample-Performance mit hinreichender Signifikanz von einer Nullhypothese ("System ≠ besser als Zufall") abweicht. Bandy überträgt klassische Hypothesentest-Logik auf System-Returns.

Logik

  • H₀ (Null): Das System hat keinen Edge über Buy-and-Hold (oder einen zufälligen Trader).
  • H₁ (Alternative): Das System hat einen echten Edge.
  • Ablehnung von H₀ erfordert hinreichend kleinen p-Wert — typisch α = 0.05.

"He is never absolutely certain that his additive helped, only that the chance that it did not help is very, very small." (Bandy, Beispiel zum Chemie-Experiment, übertragbar auf System-Returns)

z-Score-Berechnung

z = (X̄_system − X̄_benchmark) / sqrt(var_sys / N_sys + var_bench / N_bench)

Schwellwerte:

α (Single-Tailed) z-Schwelle
0.05 (95%) 1.65
0.01 (99%) 2.33
0.001 3.09

Liegt der berechnete z-Wert unter der Schwelle → System statistisch nicht von Glück unterscheidbar → verwerfen.

Anwendungsregeln

  1. Benchmark vorab definieren — Buy-and-Hold im selben Markt, oder ein definierter Zufalls-Trader.
  2. Hinreichend viele Trades — N im Nenner; bei wenigen Trades wird der z-Score von einzelnen Ausreißern dominiert.
  3. Outlier-Behandlung konsistent — entweder beide Datensätze enthalten 1987, oder beide nicht.
  4. Multiple-Testing-Falle — wenn man 100 Systeme testet, findet man im Erwartungswert 5 mit p < 0.05 rein zufällig. Bandys Test schützt nicht vor Multiple Testing; López de Prados Deflated Sharpe Ratio ist die nötige Ergänzung.

Komplemente

  • Deflated Sharpe Ratio (López de Prado) — korrigiert Sharpe für Multiple Testing, Track-Record-Länge und Return-Verteilung.
  • Walk-Forward Efficiency (Pardo) — OOS/IS-Verhältnis ≥ 50–60% als zusätzliche Robustness-Schwelle.
  • MAE/MFE-Statistik (Tomasini) — bewertet Exit-Qualität als zweite statistische Schicht.

Verbindungen