Zum Inhalt

Was sich prognostizieren lässt — und woran man es vorher erkennt

nate_silver untersucht, warum Prognosen scheitern. gregory_zuckerman beschreibt den Fall, in dem sie über Jahrzehnte funktioniert haben. robert_carver zieht daraus die Konstruktionslehre. Gelesen wie ein Experiment mit Kontrollgruppe ergeben die drei Quellen ein Kriterium dafür, welche Fragen überhaupt prognostizierbar sind.

Silvers Trennlinie: Rückkopplung entscheidet

Silvers Domänenvergleich ist der eigentliche Ertrag seines Buchs. Wetterprognose funktioniert. Erdbebenprognose funktioniert nicht. Der Unterschied liegt nicht in der Komplexität des Systems, sondern in drei Eigenschaften:

  1. Große Fallzahl — genug Wiederholungen, um Kalibrierung zu messen
  2. Kurze Rückkopplungsschleife — das Ergebnis liegt schnell genug vor, um zu lernen
  3. Stabile zugrundeliegende Physik — der Zusammenhang ändert sich nicht, während man ihn nutzt

Wetter erfüllt alle drei. Erdbeben erfüllt keines: seltene Ereignisse, sehr lange Schleifen, unbeobachtbare Zustände.

Märkte liegen dazwischen — und zwar unterschiedlich, je nach Frage. Kurzfristige, häufig wiederkehrende Marktphänomene erfüllen die drei Bedingungen deutlich besser als seltene, langfristige. Das ist keine Meinung über Effizienz, sondern eine Aussage über Messbarkeit.

Warum mehr Daten zunächst schaden

Silvers zweiter Befund läuft der Intuition entgegen: Die Zahl der prüfbaren Hypothesen wächst schneller als die Zahl der echten Zusammenhänge. Mehr Daten erzeugen also zuerst mehr falsch-positive Befunde.

Dazu kommt der psychologische Verstärker: „The story the data tells us is often the one we'd like to hear, and we usually make sure that it has a happy ending."

Beides zusammen ergibt system_testing_overfitting — nicht als Fehler des Unachtsamen, sondern als Normalzustand, gegen den man aktiv arbeiten muss.

Die Gegenprobe: Wie Renaissance dasselbe Problem löste

Hier wird der Vergleich mit Zuckerman produktiv. jim_simons' Organisation stand vor exakt dem Problem, das Silver beschreibt — und die Lösungen lassen sich Punkt für Punkt zuordnen:

Silvers Problem Renaissance-Antwort
Zu viele Hypothesen, zu viele Fehlbefunde Sehr strenge Signifikanzschwelle, systematischer Prüfprozess
Rauschen in den Daten Jahrelanger Aufbau bereinigter Historien vor der Modellarbeit
Kurze Wirksamkeit einzelner Signale Aggregation vieler schwacher statt weniger starker Signale
Wunschdenken des Prognostikers Verzicht auf ökonomische Interpretation — nur statistische Prüfung entscheidet
Instabilität des Zusammenhangs Hohe Umschlagshäufigkeit, laufende Neuvalidierung

Der letzte Punkt ist der wichtigste und wird meist übersehen: Renaissance prognostizierte nicht besser, sondern kürzer. Die kurze Haltedauer umgeht Silvers Instabilitätsproblem, statt es zu lösen. Ein Signal, das nur Stunden trägt, muss die Regimeänderung nicht überleben.

Der Preis, den der Ausnahmefall verlangt

Der medallion_fonds ist deshalb kein Gegenbeweis zu Silver, sondern seine Bestätigung unter extremen Bedingungen. Was nötig war:

  • Jahrzehnte Datenaufbau vor dem Ertrag
  • Personaldichte außerhalb der Finanzbranche
  • Harte Kapazitätsbegrenzung — der Fonds wurde geschlossen, weil die Signale bei mehr Kapital verschwinden

Dass die offenen Schwesterfonds bei ähnlicher Mannschaft und Methodik die Ergebnisse nie erreichten, ist der sauberste verfügbare Beleg dafür, dass Prognosegüte und Kapitaleinsatz gegenläufig sind. Prognostizierbarkeit ist eine endliche Ressource.

Bayes als Buchführung, nicht als Formel

Silvers methodischer Kern ist der Prior: „you need what Bayesians call a prior probability." Wer keinen expliziten formuliert, hat trotzdem einen — nur einen unkontrollierten.

Für die Praxis heißt das weniger Formelanwendung als Disziplin:

  • Vorwissen vor der Analyse festhalten, damit die Revision messbar wird
  • Prognosen mit Wahrscheinlichkeiten versehen — ohne sie ist eine Aussage nicht überprüfbar und damit wertlos
  • Kalibrierung protokollieren — von den Ereignissen mit 70-Prozent-Zuweisung sollten etwa 70 Prozent eintreten
  • Entscheidung und Ergebnis trennen — Silvers Pokerkapitel, vgl. thinking_in_bets_barscoring_synthese

Carvers Konsequenz: Unsicherheit ins Modell

Carver zieht die Konstruktionslehre aus beidem. Wenn Schätzungen große Fehlerbalken tragen, ist die Antwort nicht bessere Optimierung, sondern weniger Optimierung:

  • Parameterarmut statt Feinabstimmung
  • Grobe, robuste Allokationen statt scheinbar optimaler
  • Kosten in Sharpe-Ratio-Einheiten gegenrechnen, bevor ein Signal umgesetzt wird
  • Positionsgrößen deutlich unter dem theoretischen Optimum

Das schließt den Kreis zu kelly_edge_positionsgroesse_synthese: Die Unsicherheit über den Vorteil bestimmt die Größe der Wette. Silver liefert den Grund, warum diese Unsicherheit größer ist, als sie sich anfühlt.

Das Prüfraster

Vor jeder Prognosearbeit sind vier Fragen zu beantworten:

  1. Wie viele Wiederholungen liefert diese Frage — Dutzende oder Tausende?
  2. Wie schnell liegt das Ergebnis vor?
  3. Wie stabil ist der unterstellte Zusammenhang — und was ändert ihn?
  4. Wie viel Kapital verträgt die Antwort, bevor sie sich selbst auslöscht?

Fällt eine der Antworten ungünstig aus, ist nicht das Modell zu verbessern, sondern die Frage zu wechseln.