ARTIKEL 12
Deflated Sharpe Ratio: Sharpe Ratios bei vielen getesteten Strategien richtig bewerten
SEO-Titel: Deflated Sharpe Ratio – Backtests realistischer bewerten
Meta-Description: Die Deflated Sharpe Ratio berücksichtigt Multiple Testing, Selection Bias und nicht normalverteilte Renditen bei der Bewertung von Backtests.
URL-Slug: /blog/deflated-sharpe-ratio/
Haupt-Suchbegriff: Deflated Sharpe Ratio
Weitere Suchbegriffe: Sharpe Ratio Backtesting, Multiple Testing Trading, Backtest Overfitting, DSR Trading
Was ist die Deflated Sharpe Ratio?
Die Deflated Sharpe Ratio – kurz DSR – ist eine Methode zur kritischeren Bewertung beobachteter Sharpe Ratios.
Sie wurde von David H. Bailey und Marcos López de Prado entwickelt, um insbesondere zwei Probleme klassischer Backtest-Bewertung zu berücksichtigen:
- Selection Bias beziehungsweise Multiple Testing
- Nicht normalverteilte Renditen
Die zentrale Idee ist einfach:
Eine Sharpe Ratio von beispielsweise 1,5 besitzt eine andere Aussagekraft, wenn sie aus einer einzigen vorab definierten Strategie stammt, als wenn sie die beste von 10.000 getesteten Varianten ist.
Erinnerung: Was misst die Sharpe Ratio?
Vereinfacht lautet die Sharpe Ratio:
SR = (R − Rf) / σ
mit:
R = durchschnittliche Rendite
Rf = risikofreie Rendite
σ = Volatilität der Renditen
Die Kennzahl setzt Überschussrendite ins Verhältnis zur Schwankungsintensität.
Eine höhere Sharpe Ratio wird häufig als bessere risikoadjustierte Performance interpretiert.
Doch die beobachtete Sharpe Ratio besitzt statistische Unsicherheit.
Das Multiple-Testing-Problem
Angenommen, ein Researcher entwickelt genau eine Strategie.
Sie erreicht:
Sharpe Ratio = 1,5
Nun betrachten wir einen anderen Researcher.
Er testet 5.000 Strategien und wählt anschließend die beste aus.
Auch sie erreicht:
Sharpe Ratio = 1,5
Sind beide Ergebnisse gleich überzeugend?
Nein.
Im zweiten Fall bestand eine wesentlich größere Chance, allein durch Zufall eine attraktive historische Sharpe Ratio zu finden.
Die Zahl der durchgeführten Versuche ist deshalb relevante Information.
Auswahlverzerrung
Moderne quantitative Forschung kann enorme Mengen von Strategien untersuchen.
Variiert werden beispielsweise:
- Indikatoren,
- Zeitfenster,
- Märkte,
- Schwellenwerte,
- Risikoregeln,
- Gewichtungsmethoden.
Anschließend wird häufig die beste Variante ausgewählt.
Die historische Performance dieser Siegerstrategie ist dadurch nach oben verzerrt.
Die DSR versucht, genau diese Performanceinflation zu berücksichtigen.
Nicht-Normalität
Die klassische Interpretation der Sharpe Ratio wird häufig vereinfacht unter relativ gutartigen Renditeverteilungen vorgenommen.
Finanzrenditen können jedoch aufweisen:
- Schiefe,
- hohe Kurtosis,
- Fat Tails,
- Extrembewegungen.
Dadurch verändert sich die statistische Unsicherheit einer beobachteten Sharpe Ratio.
Die DSR berücksichtigt deshalb auch Eigenschaften der Renditeverteilung.
Probabilistic Sharpe Ratio als Grundlage
Eine wichtige Vorstufe ist die Probabilistic Sharpe Ratio.
Statt lediglich zu sagen:
Die beobachtete Sharpe Ratio beträgt 1,2.
wird sinngemäß gefragt:
Wie wahrscheinlich ist es, dass die tatsächliche Sharpe Ratio einen bestimmten Referenzwert übersteigt?
Damit wird Unsicherheit ausdrücklich berücksichtigt.
Die DSR erweitert diese Idee um einen strengeren Referenzwert, der dem Auswahlprozess Rechnung trägt.
Warum die Benchmark „Sharpe = 0“ häufig zu schwach ist
Angenommen, unter tausenden getesteten Strategien wird die beste ausgewählt.
Dann wäre es wenig überzeugend, lediglich zu testen, ob deren Sharpe Ratio größer als null ist.
Bei sehr vielen Versuchen ist zu erwarten, dass der beste Backtest bereits durch Zufall relativ attraktiv aussieht.
Die relevante Hürde sollte deshalb steigen.
Je intensiver gesucht wurde, desto überzeugender muss das Endergebnis sein.
Was „deflated“ bedeutet
„Deflated“ lässt sich sinngemäß als „bereinigt“ oder „herunterkorrigiert“ verstehen.
Die beobachtete Sharpe Ratio wird nicht einfach mechanisch durch eine feste Zahl reduziert.
Vielmehr wird ihre statistische Aussagekraft unter Berücksichtigung des Auswahlprozesses neu beurteilt.
Dazu fließen unter anderem Informationen ein über:
- Anzahl beziehungsweise effektive Zahl getesteter Varianten,
- Varianz der getesteten Sharpe Ratios,
- Stichprobenlänge,
- Schiefe,
- Kurtosis.
Einfaches Gedankenexperiment
Researcher A
testet:
1 Strategie
Ergebnis:
Sharpe = 1,3
Researcher B
testet:
10.000 Strategien
Bestes Ergebnis:
Sharpe = 1,3
Die naive Bewertung wäre identisch.
Eine Multiple-Testing-korrigierte Betrachtung bewertet B wesentlich skeptischer.
Bei 10.000 Versuchen ist ein attraktiver Sieger statistisch deutlich weniger überraschend.
DSR und Backtest Overfitting
Die Deflated Sharpe Ratio ist eng mit dem Problem des Backtest Overfittings verbunden.
Sie beantwortet jedoch nicht jede Robustheitsfrage.
Eine gute DSR garantiert beispielsweise nicht:
- korrekte Daten,
- fehlenden Look-ahead Bias,
- realistische Transaktionskosten,
- ausreichende Liquidität,
- zukünftige Profitabilität.
Sie korrigiert einen bestimmten Teil des statistischen Problems.
Deshalb sollte sie Bestandteil eines größeren Validierungsrahmens sein.
Die Zahl der Versuche dokumentieren
Eine wichtige Konsequenz lautet:
Professionelles Research sollte dokumentieren, wie ein Ergebnis entstanden ist.
Nicht nur die Siegerstrategie ist relevant.
Auch der Suchprozess zählt.
Dazu gehören beispielsweise:
- Anzahl getesteter Modelle,
- Parameterbereiche,
- Datenuniversen,
- verworfene Varianten,
- Auswahlkriterien.
Ohne diese Informationen ist die statistische Bewertung eines Endergebnisses eingeschränkt.
DSR und „Researcher Degrees of Freedom“
Die Freiheitsgrade eines Researchers können weit über formale Modellparameter hinausgehen.
Beispiele:
- Startdatum wählen,
- Enddatum wählen,
- einzelne Märkte entfernen,
- Kennzahl wechseln,
- Outlier behandeln,
- Kostenannahme verändern.
Jede flexible Entscheidung kann Teil des Suchprozesses werden.
Deshalb sollte ein wissenschaftlich orientierter Prozess möglichst viele Entscheidungen vor der Ergebnisbetrachtung festlegen.
Wann ist die DSR besonders sinnvoll?
Die Methode ist besonders relevant bei:
- umfangreichen Strategie-Screenings,
- Faktor-Research,
- Machine Learning,
- Hyperparameteroptimierung,
- systematischer Suche nach Tradingregeln.
Je größer der Suchraum, desto wichtiger wird die Korrektur für Selection Bias.
Was eine gute DSR nicht bedeutet
Auch eine statistisch überzeugende DSR ist kein Profitabilitätsversprechen.
Sie bedeutet lediglich, dass die beobachtete risikoadjustierte Performance schwerer allein durch Auswahlverzerrung und Stichprobenzufall zu erklären ist.
Das ist ein deutlich bescheidenerer – aber wissenschaftlich sinnvollerer – Anspruch.
Praktischer Validierungsrahmen
Eine belastbare Strategieprüfung könnte mehrere Ebenen kombinieren:
1. Backtest
Historische Simulation.
2. Out-of-Sample
Test auf ungenutzten Daten.
3. Walk-Forward
Zeitlich wiederholte Validierung.
4. DSR beziehungsweise Multiple-Testing-Korrektur
Bewertung der statistischen Auswahlverzerrung.
5. Monte Carlo
Untersuchung der Ergebnisunsicherheit.
6. Stress Tests
Höhere Kosten, schlechtere Execution und alternative Szenarien.
Fazit
Die klassische Sharpe Ratio kann einen wichtigen Teil der Strategieperformance beschreiben.
Bei umfangreichem quantitativen Research reicht sie jedoch allein nicht aus.
Die Deflated Sharpe Ratio berücksichtigt, dass:
- viele Strategien getestet werden können,
- nur Gewinner sichtbar werden,
- Renditen nicht perfekt normalverteilt sind.
Damit stellt sie eine zentrale Frage:
Ist die beobachtete Sharpe Ratio tatsächlich ungewöhnlich gut – oder lediglich die beste aus sehr vielen Versuchen?
Diese Unterscheidung ist für wissenschaftlich belastbares Quant Research fundamental.
Weiterführende Literatur
- Bailey, D. H.; López de Prado, M. (2014): The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting, and Non-Normality.
- Bailey, D. H.; Borwein, J. M.; López de Prado, M.; Zhu, Q. J.: The Probability of Backtest Overfitting.
- Sharpe, W. F. (1966): Mutual Fund Performance.
- López de Prado, M.: Advances in Financial Machine Learning.
Passende Fachbücher
- Von der Idee zum Tradingsystem
- Quantitative Finanzen, Trading, Analyse und Engineering
- Machine Learning für Finanzdaten
Weiterführende Beiträge
- Overfitting im Trading
- Monte-Carlo-Simulation
- Walk-Forward-Analyse
- In-Sample und Out-of-Sample