Was ein Backtest leistet
Ein Backtest wendet eine vorher beschriebene Regel auf bereits bekannte Ziehungen an. Er hilft, Berechnungen zu prüfen, grobe Fehler zu finden und Varianten unter gleichen Bedingungen zu vergleichen.
Wird die Regel jedoch immer wieder anhand desselben Archivs verändert, passen sich Parameter zunehmend auch an den zufälligen Lärm dieses Zeitraums an.
- Welche Daten dienten zur Anpassung?
- Gab es einen getrennten Prüfzeitraum?
- Wie viele Varianten wurden vor dem veröffentlichten Sieger getestet?
Warum Ergebnisse zu gut wirken können
Unter tausend inhaltlich schwachen Regeln werden einige zufällig historisch gut abschneiden. Erst nach Sichtung aller Resultate den besten Kandidaten auszuwählen, erzeugt Selektionsbias.
Eine weitere Gefahr ist ein Blick in die Zukunft: Eine rückwirkende Berechnung verwendet versehentlich Informationen, die am damaligen Stichtag noch nicht vorlagen. Schon eine kleine Datenleckage macht das Ergebnis unrealistisch.
Was ein Live-Protokoll ergänzt
Im Live-Test werden Kombination, Zeitpunkt und Modellversion vor der Ziehung gespeichert. Später kommt das Resultat hinzu, der ursprüngliche Vorschlag bleibt unverändert. Damit sinkt das Risiko einer nachträglichen Auswahl.
Eine kurze Live-Serie beweist bei seltenen Ereignissen wenig. Ihr Wert liegt in der ehrlichen zeitlichen Reihenfolge und darin, auch unauffällige oder negative Ergebnisse zu zeigen.
- Unveränderbarer Veröffentlichungszeitpunkt.
- Modellversion und Parameter.
- Vollständige Folge von Vorschlägen und Ergebnissen.
- Klare Kennzeichnung experimenteller Varianten.
Beide Verfahren sinnvoll verbinden
Historische Daten dienen der Entwicklung, künftige Daten der anschließenden Prüfung. Ein sauberer Ablauf trennt Training, Validierung und finalen Test und friert die Regel anschließend für eine Serie zukünftiger Ereignisse ein.
Wird die Regel geändert, beginnt eine neue Version mit einer neuen Live-Serie. Frühere Resultate bleiben erhalten. Das garantiert keinen Erfolg, macht die Aussage aber überprüfbar.