Zum Inhalt

Data-Mining-Bias

Wer 6.402 Regeln testet und die beste behält, hat nicht die beste Regel gefunden. Er hat die glücklichste Stichprobe gefunden.

Kernidee

Data-Mining-Bias ist die systematische Überschätzung der Leistung einer Regel, die aus vielen geprüften Kandidaten ausgewählt wurde. Die Verzerrung entsteht nicht durch einen Fehler in der einzelnen Auswertung, sondern durch die Suchprozedur — und genau deshalb übersieht sie die Standardstatistik, die immer nur eine Hypothese prüft.

Die Größenordnung ist dramatischer, als Intuition vermuten lässt. david_aronson prüfte 6.402 binäre Handelsregeln über 25 Jahre S&P 500. Die beste erzielte 10,25 Prozent annualisiert — und hatte einen p-Wert von 0,8164. Aus 6.402 wertlosen Regeln liefert der Zufall in vier von fünf Fällen ein mindestens so gutes Spitzenergebnis.

Warum die übliche Prüfung versagt

Ein Signifikanzniveau von 0,05 bedeutet: In fünf Prozent der Fälle wird eine wertlose Regel fälschlich für gut befunden. Bei einer geprüften Regel ist das eine akzeptable Fehlerquote.

Bei 6.402 geprüften Regeln sind rein rechnerisch rund 320 falsche Treffer zu erwarten — und die auffälligste davon sieht exzellent aus. Die Zahl der Versuche gehört deshalb zwingend in die Bewertung.

Die Gegenmittel

  • White's Reality Check — vergleicht die beste gefundene Regel nicht gegen null, sondern gegen die Verteilung der besten Ergebnisse, die eine gleich große Suche in zufälligen Daten hervorbringen würde.
  • Monte-Carlo-Permutation — dieselbe Idee über Umordnung der realen Renditen: Zerstört man die zeitliche Struktur, aber behält die Verteilung, wie gut wäre die beste Regel dann?
  • deflated_sharpe_ratio — die modernere Fassung: korrigiert die Sharpe Ratio explizit um die Zahl der Versuche und die Nicht-Normalität der Renditen.
  • Echte Out-of-Sample-Trennung — siehe in_sample_out_of_sample und walk_forward_analyse. Wirksam nur, solange das Testfenster nicht durch wiederholte Nutzung selbst verbraucht wird.

Data-Snooping: die unsichtbare Vorstufe

Aronsons zweiter Beitrag ist begrifflich. Data-Snooping-Bias — von ihm treffender „prior-research-snooping bias" genannt — entsteht, wenn man nur Regeln testet, die andere zuvor veröffentlicht haben. Die Vorauswahl ist dann selbst bereits ein Data-Mining-Durchgang, nur unsichtbar: Man erbt die Verzerrung aus tausenden fremden Versuchen, ohne sie zählen zu können.

Das ist der Grund, warum eine Regel aus einem Buch nicht deshalb belastbar ist, weil sie publiziert wurde — sondern eher trotz.

Wo es im Wiki überall auftaucht

Derselbe Mechanismus, unter verschiedenen Namen:

Abgrenzung

  • Nicht dasselbe wie system_testing_overfitting. Overfitting ist die Überanpassung einer Regel an Rauschen; Data-Mining-Bias die Verzerrung durch Auswahl unter vielen. Beide können unabhängig auftreten.
  • Kein Argument gegen Backtests. Es ist ein Argument gegen unkorrigierte Backtests — und für das Mitzählen der Versuche.
  • Nicht behebbar durch mehr Daten allein. Wächst der Suchraum mit, bleibt die Verzerrung.

Die praktische Regel

Die Zahl der Versuche protokollieren, bevor gesucht wird — einschließlich der verworfenen Varianten und der aus Literatur übernommenen Vorauswahl. Ohne diese Zahl ist kein Signifikanzwert interpretierbar.