Zum Inhalt

Concept: In-Sample / Out-of-Sample (Bandy)

Trennung der historischen Daten in eine Trainings- und eine unangetastete Testperiode als grundlegendste Disziplin der quantitativen Systementwicklung. Howard Bandy macht daraus die Hypothesentest-Logik: wenn ein System out-of-sample zusammenbricht, war der in-sample-Profit nur gelerntes Rauschen.

Kernlogik

Marktdaten enthalten zwei Komponenten:

  • Signal — stabile, zeitkonstante Muster
  • Rauschen — zufällig, nicht prognostizierbar

"Through optimization, the trading system will learn the patterns in the in-sample period — both signal and noise — as well as it can." (Bandy)

Der Out-of-Sample-Test ist die einzige Methode, beide Lerntypen voneinander zu trennen.

Regeln

  1. Klare Datenpartition vor Optimierung: IS- und OOS-Periode werden vorab festgelegt — niemals nachträglich.
  2. OOS-Daten sind heilig: Jeder Rückblick auf OOS, um IS-Parameter zu adjustieren, kontaminiert das OOS und macht es wertlos.
  3. Einmaliger Test: OOS wird einmal angefasst. Wenn ein System scheitert: neue OOS-Daten beschaffen, nicht das alte OOS recyceln.
  4. Outlier nicht im System fangen: Sonderregeln für 19. Oktober 1987 o.ä. zerstören Generalisierung; stattdessen BuyPrice/SellPrice begrenzen, um Optimierungs-Verzerrung zu kappen.

"Every use of the out-of-sample data to adjust the model causes the model to lose generality and predictive ability." (Bandy)

Beziehung zu Walk-Forward

Walk-Forward-Analyse (Pardo) ist die wiederholte und rollierende Form derselben IS/OOS-Disziplin: rollende Optimierungs-Fenster + rollende OOS-Validierung. Bandys einmaliger IS/OOS-Split ist das Basis-Pattern; WFA ist die robustere statistische Erweiterung.

Verbindungen