ARTIKEL 7
In-Sample und Out-of-Sample: Warum die Trennung im Backtesting entscheidend ist
SEO-Titel: In-Sample und Out-of-Sample im Backtesting erklärt
Meta-Description: Was bedeuten In-Sample und Out-of-Sample? Warum die Trennung von Entwicklungs- und Testdaten für robuste Handelssysteme entscheidend ist.
URL-Slug: /blog/in-sample-out-of-sample/
Haupt-Suchbegriff: Out-of-Sample Backtesting
Weitere Suchbegriffe: In-Sample Trading, Testdaten Trading, Backtest Overfitting
Was bedeuten In-Sample und Out-of-Sample?
Eine der wichtigsten Regeln quantitativer Modellentwicklung lautet:
Daten, auf denen ein Modell entwickelt wurde, sollten nicht gleichzeitig als unabhängiger Beweis für dessen Qualität verwendet werden.
Deshalb werden Daten häufig in zwei Bereiche getrennt.
In-Sample bezeichnet den Zeitraum, der für Entwicklung, Modellwahl oder Parameterbestimmung verwendet wird.
Out-of-Sample bezeichnet Daten, die bei dieser Entwicklung nicht verwendet wurden.
Das Out-of-Sample-Ergebnis soll zeigen, ob ein Modell auch auf bislang unbekannten Daten funktioniert.
Warum diese Trennung notwendig ist
Angenommen, ein Entwickler verfügt über 20 Jahre Kursdaten.
Er testet hunderte Kombinationen verschiedener Indikatoren.
Schließlich findet er ein Modell, das über den gesamten Zeitraum hervorragend funktioniert.
Das Problem:
Der gesamte Datensatz wurde bereits benutzt, um die Strategie auszuwählen.
Die historische Performance ist deshalb kein unabhängiger Test mehr.
Sie beschreibt zumindest teilweise, wie erfolgreich das Modell an genau diese Vergangenheit angepasst wurde.
Was geschieht im In-Sample?
Während der In-Sample-Phase können beispielsweise festgelegt werden:
- Signale,
- Parameter,
- Lookback-Zeiträume,
- Schwellenwerte,
- Portfolio-Regeln,
- Risikogrenzen.
Diese Phase ist mit einem Trainingsprozess vergleichbar.
Es ist nicht grundsätzlich problematisch, Parameter anhand historischer Daten zu entwickeln.
Problematisch wird es, wenn anschließend dieselben Daten als unabhängiger Nachweis der Modellqualität präsentiert werden.
Was geschieht im Out-of-Sample?
Nachdem das Modell festgelegt wurde, wird es auf bislang ungenutzte Daten angewendet.
Idealerweise werden keine Regeln mehr angepasst.
Damit entsteht eine Art historischer Simulation einer echten zukünftigen Situation.
Der Entwickler kennt zwar heute die Daten, das Modell wurde aber so festgelegt, als wären diese Daten bei der Entwicklung noch unbekannt gewesen.
Einfaches Beispiel
Angenommen, Daten liegen für den Zeitraum 2006 bis 2025 vor.
Eine mögliche Aufteilung wäre:
2006–2018: In-Sample
2019–2025: Out-of-Sample
Im ersten Zeitraum wird die Strategie entwickelt.
Danach werden Regeln und Parameter eingefroren.
Anschließend wird untersucht, wie das Modell von 2019 bis 2025 funktioniert hätte.
Was sollte im Out-of-Sample betrachtet werden?
Es reicht nicht aus zu fragen:
War die Strategie profitabel?
Interessant sind auch:
- Rendite,
- Sharpe Ratio,
- Drawdown,
- Volatilität,
- Turnover,
- Anzahl der Trades,
- Stabilität der Signale,
- Marktphasen,
- Kostenempfindlichkeit.
Besonders interessant ist die Frage, ob sich die grundlegenden Eigenschaften des Modells erhalten haben.
Schlechteres Out-of-Sample ist nicht automatisch ein Scheitern
In-Sample-Ergebnisse sind häufig besser als Out-of-Sample-Ergebnisse.
Das ist zunächst nicht überraschend.
Das Modell wurde schließlich auf Grundlage der In-Sample-Daten entwickelt.
Die entscheidende Frage lautet daher nicht:
Ist Out-of-Sample genauso gut wie In-Sample?
Sondern:
Bleibt genügend ökonomische und statistische Struktur erhalten, um die Hypothese weiterhin plausibel erscheinen zu lassen?
Was passiert, wenn man nach dem Out-of-Sample-Test weiter optimiert?
Hier entsteht ein wichtiges Problem.
Angenommen, die Strategie funktioniert Out-of-Sample schlecht.
Der Entwickler verändert einige Parameter und testet erneut denselben Out-of-Sample-Zeitraum.
Dann verändert er weitere Regeln und testet wieder.
Nach vielen Wiederholungen funktioniert die Strategie schließlich.
Ist dieser Zeitraum noch Out-of-Sample?
Streng genommen nicht mehr.
Der Testdatensatz wurde inzwischen indirekt Teil des Entwicklungsprozesses.
Er ist zu einer weiteren In-Sample-Informationsquelle geworden.
Holdout-Daten
Eine mögliche Lösung besteht darin, einen weiteren Bereich vollständig zurückzuhalten.
Beispielsweise:
Training → Validierung → finaler Holdout
Der finale Holdout wird erst dann betrachtet, wenn das gesamte Modell feststeht.
Auch dieser Ansatz ist allerdings nicht perfekt, insbesondere bei begrenzter Datenhistorie.
Zeitliche Reihenfolge beachten
Bei Finanzdaten ist die zeitliche Reihenfolge besonders wichtig.
Ein zufälliges Mischen aller Beobachtungen kann problematisch sein.
Zukunftsdaten könnten dadurch indirekt in die Modellbildung einfließen.
Deshalb werden häufig zeitlich geordnete Splits verwendet.
Beispielsweise:
Vergangenheit → Training
spätere Vergangenheit → Test
Dadurch wird die reale Anwendungssituation besser nachgebildet.
In-Sample/Out-of-Sample und Machine Learning
Das Problem wird bei Machine Learning noch wichtiger.
Komplexe Modelle besitzen oft eine hohe Anpassungsfähigkeit.
Je mehr Parameter und Freiheitsgrade ein Modell besitzt, desto leichter kann es historische Besonderheiten lernen.
Daher benötigen ML-Anwendungen auf Finanzdaten besonders sorgfältige Validierungsverfahren.
Neben einfachen zeitlichen Splits können dazu gehören:
- Time-Series Cross-Validation,
- Walk-Forward-Validierung,
- Purging,
- Embargo.
Out-of-Sample und Regimewechsel
Ein Modell kann Out-of-Sample schlechter funktionieren, weil sich die Marktstruktur verändert hat.
Beispiele sind:
- veränderte Zinsregime,
- neue Marktteilnehmer,
- strukturelle Veränderungen,
- regulatorische Eingriffe,
- technische Veränderungen.
Das bedeutet nicht automatisch, dass die ursprüngliche Forschung schlecht war.
Es zeigt vielmehr, dass historische Zusammenhänge nicht zwangsläufig stabil bleiben.
Warum ein einziger Split problematisch sein kann
Angenommen, ein Out-of-Sample-Zeitraum umfasst ausschließlich einen ungewöhnlichen Marktabschnitt.
Dann könnte das Ergebnis stark von dieser speziellen Periode abhängen.
Eine Alternative sind mehrere zeitlich aufeinanderfolgende Trainings- und Testfenster.
Genau hier setzt die Walk-Forward-Analyse an.
Gute Praxis
Ein sinnvoller Prozess kann beispielsweise lauten:
- Hypothese vorab formulieren.
- In-Sample-Zeitraum festlegen.
- Modell entwickeln.
- Parameter einfrieren.
- Out-of-Sample testen.
- Ergebnis vollständig dokumentieren.
- Robustheitsprüfungen durchführen.
- Änderungen nachvollziehbar kennzeichnen.
Fazit
Die Trennung zwischen In-Sample und Out-of-Sample gehört zu den Grundlagen robuster quantitativer Forschung.
In-Sample dient der Entwicklung.
Out-of-Sample dient der unabhängigen Prüfung.
Die entscheidende Idee lautet:
Ein Modell sollte nicht ausschließlich danach beurteilt werden, wie gut es die Daten erklärt, aus denen es entstanden ist.
Erst die Bewährung auf bislang ungenutzten Daten liefert Hinweise darauf, ob eine Strategie möglicherweise mehr als historische Anpassung darstellt.
Weiterführende Literatur
- Pardo, R.: The Evaluation and Optimization of Trading Strategies.
- López de Prado, M.: Advances in Financial Machine Learning.
- Hastie, T.; Tibshirani, R.; Friedman, J.: The Elements of Statistical Learning.
- Campbell, J. Y.; Lo, A. W.; MacKinlay, A. C.: The Econometrics of Financial Markets.
Passende Fachbücher
- Handelssysteme – Leitfaden zur Entwicklung von Handelssystemen
- Von der Idee zum Tradingsystem
Weiterführende Beiträge
- Backtesting erklärt
- Walk-Forward-Analyse
- Overfitting im Trading
- Purging und Embargo