ARTIKEL 11
Overfitting im Trading: Warum perfekte Backtests gefährlich sind
SEO-Titel: Overfitting im Trading – Warum perfekte Backtests gefährlich sind
Meta-Description: Was bedeutet Overfitting bei Handelsstrategien? Erfahren Sie, wie Überoptimierung entsteht, warum sie Backtests verfälscht und wie robuste Validierung dagegen schützt.
URL-Slug: /blog/overfitting-trading/
Haupt-Suchbegriff: Overfitting Trading
Weitere Suchbegriffe: Backtest Overfitting, Überoptimierung Handelssystem, Curve Fitting Trading, robuste Handelsstrategie
Was ist Overfitting im Trading?
Overfitting bezeichnet die übermäßige Anpassung eines Modells oder einer Handelsstrategie an historische Daten.
Eine überangepasste Strategie bildet nicht nur tatsächlich vorhandene Strukturen ab, sondern auch Zufall, Rauschen und Besonderheiten genau der Stichprobe, auf der sie entwickelt wurde.
Das Ergebnis kann beeindruckend aussehen:
- hohe historische Rendite,
- geringe Drawdowns,
- hohe Sharpe Ratio,
- gleichmäßige Equity-Kurve,
- scheinbar perfekte Ein- und Ausstiegspunkte.
Im Live-Handel verschwinden diese Eigenschaften jedoch häufig.
Der Grund: Das System hat die Vergangenheit hervorragend beschrieben, aber keine ausreichend stabile Struktur gelernt.
Ein einfaches Beispiel
Angenommen, ein Entwickler untersucht einen Moving-Average-Ansatz.
Er testet:
- 30 kurze Durchschnittslängen,
- 50 lange Durchschnittslängen,
- 10 Stop-Loss-Varianten,
- 8 Take-Profit-Regeln,
- 5 Volatilitätsfilter.
Schon daraus entstehen:
30 × 50 × 10 × 8 × 5 = 600.000 Varianten
Selbst wenn keine echte Prognosekraft vorhanden wäre, ist es statistisch plausibel, dass einige Varianten historisch außergewöhnlich gut aussehen.
Wird anschließend ausschließlich die beste Strategie präsentiert, entsteht ein verzerrtes Bild.
Overfitting ist mehr als zu viele Parameter
Oft wird Overfitting lediglich als Folge eines komplexen Modells verstanden.
Das greift zu kurz.
Auch sehr einfache Regeln können überangepasst werden.
Beispielsweise kann ein Entwickler hunderte einfache Strategien testen und nur die beste auswählen.
Jede einzelne Strategie besitzt vielleicht nur zwei Parameter.
Der gesamte Forschungsprozess hat jedoch sehr viele Freiheitsgrade.
Deshalb muss nicht nur das endgültige Modell betrachtet werden.
Ebenso wichtig ist:
Wie viele Versuche waren notwendig, um dieses Modell zu finden?
Backtest Overfitting
Backtest Overfitting entsteht insbesondere dann, wenn eine Strategie wiederholt anhand derselben historischen Daten verändert wird.
Ein typischer Ablauf:
- Strategie testen.
- Schwache Phase entdecken.
- Regel ergänzen.
- Wieder testen.
- Drawdown entdecken.
- Filter ergänzen.
- Wieder testen.
- Parameter verändern.
- Beste Version auswählen.
Mit jedem Schritt wird mehr Information aus dem historischen Datensatz in die Strategie eingebaut.
Am Ende erscheint die Strategie robust.
Tatsächlich wurde sie möglicherweise lediglich immer genauer an die bekannte Vergangenheit angepasst.
Curve Fitting
Curve Fitting bezeichnet die Anpassung an die konkrete historische Entwicklung.
Ein Beispiel:
Eine Strategie besitzt mit einem Parameterwert von 137 Tagen eine hervorragende Performance.
Bei 120, 130, 145 oder 160 Tagen funktioniert sie kaum.
Das wäre ein Warnsignal.
Ein plausibler wirtschaftlicher Effekt sollte häufig nicht ausschließlich bei einem einzigen exakten Parameterwert auftreten.
Robustere Systeme zeigen eher ein Parameterplateau als einen einzelnen extremen Gipfel.
Daten-Mining und Multiple Testing
Je mehr Hypothesen getestet werden, desto größer ist die Wahrscheinlichkeit eines scheinbar signifikanten Zufallsergebnisses.
Angenommen, bei einem Signifikanzniveau von fünf Prozent werden sehr viele unabhängige Hypothesen getestet.
Selbst ohne echten Effekt können einige Tests allein durch Zufall als statistisch auffällig erscheinen.
Im Trading wird dieses Problem besonders relevant, weil moderne Computer problemlos tausende oder Millionen Strategiekombinationen testen können.
Selection Bias
Ein weiterer Effekt ist Selection Bias.
Ein Researcher testet beispielsweise 500 Strategien.
499 sind schlecht.
Eine besitzt eine Sharpe Ratio von 2.
Veröffentlicht wird nur diese eine Strategie.
Wer lediglich das Endergebnis sieht, kennt den Suchprozess nicht.
Die Sharpe Ratio wirkt dadurch wesentlich überzeugender, als sie unter Berücksichtigung der 499 verworfenen Varianten wäre.
Typische Ursachen von Overfitting
Zu viele Parameter
Jeder zusätzliche Parameter erhöht die Flexibilität.
Zu wenig Daten
Ein komplexes Modell kann auf einer kleinen Stichprobe fast beliebige Muster lernen.
Zu viele getestete Strategien
Auch einfache Modelle können durch umfangreiches Data Mining überangepasst werden.
Wiederholte Nutzung des Testdatensatzes
Ein Out-of-Sample-Zeitraum verliert seine Unabhängigkeit, sobald Ergebnisse daraus zur weiteren Modellanpassung verwendet werden.
Auswahl nach bester Performance
Wer immer die höchste Sharpe Ratio auswählt, selektiert zwangsläufig auch teilweise statistisches Glück.
Wie erkennt man Overfitting?
Es gibt keinen einzelnen Test, der Overfitting sicher ausschließt.
Mehrere Warnzeichen sind jedoch hilfreich.
Extrem starke In-Sample-Performance
Außergewöhnlich perfekte Ergebnisse verdienen besondere Prüfung.
Schwacher Out-of-Sample-Test
Ein deutlicher Performanceeinbruch außerhalb der Entwicklungsstichprobe ist ein klassisches Warnsignal.
Hohe Parametersensitivität
Kleine Änderungen führen zu völlig unterschiedlichen Ergebnissen.
Komplexe Sonderregeln
Viele Regeln wurden möglicherweise nur eingeführt, um bestimmte historische Verlustphasen zu vermeiden.
Wenige unabhängige Trades
Eine beeindruckende Kennzahl kann auf einer sehr kleinen effektiven Stichprobe beruhen.
Out-of-Sample hilft – aber nicht automatisch
Die klassische Trennung lautet:
In-Sample → Entwicklung
Out-of-Sample → Test
Das ist wichtig.
Doch ein einziges Holdout schützt nicht vollständig vor Backtest Overfitting.
Wenn viele Modelle entwickelt und anhand desselben Testzeitraums verglichen werden, wird auch der Testdatensatz Teil des Auswahlprozesses.
Bailey, Borwein, López de Prado und Zhu entwickelten deshalb Ansätze zur Schätzung der Probability of Backtest Overfitting, unter anderem mithilfe kombinatorischer Cross-Validation.
Parameterstabilität
Ein robuster Ansatz sollte nicht ausschließlich an einem punktgenauen Optimum funktionieren.
Statt nur zu fragen:
Welcher Parameter erzeugt die höchste Rendite?
ist häufig sinnvoller:
In welchem Parameterbereich bleibt die Strategie grundsätzlich stabil?
Angenommen:
- 90 Tage: gut,
- 100 Tage: gut,
- 110 Tage: gut,
- 120 Tage: gut.
Das ist methodisch überzeugender als:
- 109 Tage: schlecht,
- 110 Tage: außergewöhnlich,
- 111 Tage: schlecht.
Ökonomische Plausibilität
Eine Strategie sollte nach Möglichkeit nicht nur statistisch funktionieren.
Sie sollte auch eine nachvollziehbare ökonomische oder verhaltensbezogene Erklärung besitzen.
Beispiele:
- Risikoprämie,
- institutionelle Restriktionen,
- Behavioral Bias,
- Marktfriktion,
- Liquiditätsprämie.
Eine plausible Erklärung beweist nicht, dass ein Effekt existiert.
Sie reduziert aber die Gefahr, völlig beliebige statistische Muster als Strategie zu interpretieren.
Einfachheit als Schutz
Ein einfaches Modell ist nicht automatisch robust.
Trotzdem besitzt Einfachheit einen Vorteil:
Je weniger Freiheitsgrade vorhanden sind, desto weniger Möglichkeiten bestehen, historische Zufälle gezielt einzubauen.
Ein sinnvolles Prinzip lautet deshalb:
So komplex wie notwendig, aber nicht komplexer als erforderlich.
Walk-Forward und zeitliche Validierung
Walk-Forward-Analysen können zeigen, ob ein Entwicklungsprozess über mehrere historische Perioden hinweg funktioniert.
Das ist häufig aussagekräftiger als ein einziger statischer Test.
Wichtig bleibt jedoch:
Auch der Walk-Forward-Prozess selbst kann überoptimiert werden.
Wer 50 unterschiedliche Fensterlängen testet und anschließend nur die beste präsentiert, verschiebt Overfitting lediglich auf eine höhere Ebene.
Robustheit statt maximaler Performance
Bei der Strategieentwicklung sollte das Ziel nicht die maximal mögliche historische Rendite sein.
Ein sinnvolleres Ziel ist:
hinreichende Performance bei hoher Robustheit
Dazu können gehören:
- stabile Parameter,
- unterschiedliche Märkte,
- verschiedene Perioden,
- höhere Kostenannahmen,
- alternative Startdaten,
- Out-of-Sample-Tests,
- Monte-Carlo-Simulationen.
Praktische Checkliste
Vor der Bewertung einer Strategie sollte gefragt werden:
- Wie viele Varianten wurden getestet?
- Wie viele Parameter wurden optimiert?
- Gibt es eine klare Hypothese?
- Wurde ein echter Out-of-Sample-Test durchgeführt?
- Wurde der Testzeitraum mehrfach verwendet?
- Bleibt die Strategie bei leicht veränderten Parametern stabil?
- Funktioniert sie in unterschiedlichen Marktphasen?
- Sind Kosten realistisch?
- Ist die wirtschaftliche Erklärung plausibel?
Fazit
Overfitting ist eine der größten Gefahren quantitativer Strategieentwicklung.
Die wichtigste Erkenntnis lautet:
Eine perfekte historische Anpassung ist nicht das Ziel.
Gesucht wird ein Modell, das genügend stabile Struktur besitzt, um auch unter unbekannten Bedingungen sinnvoll zu funktionieren.
Deshalb sollte quantitative Forschung nicht die Frage stellen:
Wie optimiere ich meinen Backtest?
Sondern:
Wie versuche ich möglichst systematisch, meine eigene Strategie zu widerlegen?
Weiterführende Literatur
- Bailey, D. H.; Borwein, J. M.; López de Prado, M.; Zhu, Q. J.: The Probability of Backtest Overfitting.
- Bailey, D. H.; López de Prado, M.: The Deflated Sharpe Ratio.
- López de Prado, M.: Advances in Financial Machine Learning.
- Pardo, R.: The Evaluation and Optimization of Trading Strategies.
Passende Fachbücher von Olaf Sund
- Von der Idee zum Tradingsystem
- Handelssysteme
- Machine Learning für Finanzdaten
Weiterführende Beiträge
- Deflated Sharpe Ratio
- In-Sample und Out-of-Sample
- Walk-Forward-Analyse
- Monte-Carlo-Simulation für Handelssysteme