Testing and Tuning Market Trading Systems

Autor: Timothy Masters | Jahr: 2018 | Verlag: Apress

Kernthesen

1. Overfitting ist die größte Bedrohung für Handelssysteme — ein System, das die Vergangenheit perfekt erklärt, hat keinen Zukunfts-Edge.
2. Statistische Signifikanz von Backtests ist selten gegeben — die meisten "profitablen" Systeme scheitern an Permutationstests.
3. Walk-Forward-Testing ist die einzig zuverlässige Methode, Out-of-Sample-Performance zu messen, bevor echtes Geld eingesetzt wird.
4. C++ ermöglicht schnelle Implementierungen für Monte-Carlo- und Permutationstests, die Python-basierte Systeme überfordern würden.
5. Parameter-Robustheit ist wichtiger als optimale Parameter: Ein System, das über einen Parameterbereich hinweg profitabel bleibt, ist vertrauenswürdiger.

Methoden & Konzepte

• Permutation Tests: Statistischer Signifikanztest für Systemperformance
• Walk-Forward Optimization (WFO): In-Sample Optimierung, Out-of-Sample Validierung
• Monte Carlo Simulation: Zufällige Reihenfolge der Trades zur Drawdown-Analyse
• Parameter Stability Maps: 2D-Heatmap der Performance über Parameterbereiche
• Overfitting-Detection: Degrees of Freedom vs. Datenpunkte
• C++-Implementierungen: Vollständige Algorithmen für alle Testverfahren im Anhang
• Information Ratio: Rendite pro Risikoeinheit als Systemgüte-Maß

Schlüsselzitate

"A system that perfectly fits historical data is almost certainly overfit. The question is not whether to trust it — the question is how much damage it will do."

Bewertung

Für den Trader/Investor: Unverzichtbar für jeden, der algorithmische Handelssysteme entwickelt. Masters zeigt schonungslos, wie gefährlich naive Backtests sind. Einzigartiger Beitrag: Vollständige C++-Implementierungen aller besprochenen Testmethoden — praxisnahes Pendant zu akademischen Backtesting-Theorien.