ARTIKEL 10
Survivorship Bias: Warum historische Aktienuniversen Backtests verfälschen
SEO-Titel: Survivorship Bias im Backtesting erkennen und vermeiden
Meta-Description: Survivorship Bias kann historische Renditen und Backtests systematisch überschätzen. Erfahren Sie, warum ausgeschiedene Unternehmen berücksichtigt werden müssen.
URL-Slug: /blog/survivorship-bias-backtesting/
Haupt-Suchbegriff: Survivorship Bias Backtesting
Weitere Suchbegriffe: Survivorship Bias Aktien, Backtesting Fehler, historisches Aktienuniversum
Was ist Survivorship Bias?
Survivorship Bias entsteht, wenn eine Analyse nur diejenigen Unternehmen, Fonds oder Finanzinstrumente berücksichtigt, die bis zum Ende des Untersuchungszeitraums überlebt haben.
Gescheiterte, fusionierte, liquidierte oder aus einem Index ausgeschiedene Unternehmen fehlen.
Dadurch kann die historische Qualität eines Marktes oder einer Strategie systematisch überschätzt werden.
Der Grund ist einfach:
Die Verlierer verschwinden aus dem Datensatz, während die Überlebenden erhalten bleiben.
Einfaches Beispiel
Angenommen, ein Forscher möchte untersuchen, wie eine Aktienstrategie seit dem Jahr 2000 funktioniert hätte.
Er nimmt die 500 Unternehmen, die heute in einem bestimmten Index enthalten sind, und lädt deren Kurshistorien bis zum Jahr 2000 zurück.
Anschließend testet er seine Strategie.
Das Problem:
Viele Unternehmen des Jahres 2000 sind heute gar nicht mehr im Index.
Einige wurden übernommen.
Andere sind geschrumpft.
Andere gingen insolvent.
Gleichzeitig waren manche der heutigen Indexmitglieder im Jahr 2000 noch klein oder gar nicht börsennotiert.
Der heutige Index ist damit kein korrektes historisches Universum.
Warum das Ergebnis zu gut aussehen kann
Unternehmen verschwinden häufig nicht zufällig.
Schwache Unternehmen besitzen möglicherweise eine höhere Wahrscheinlichkeit:
- insolvent zu werden,
- aus einem Index auszuscheiden,
- übernommen zu werden,
- die Börsennotierung zu verlieren.
Wenn diese Unternehmen fehlen, enthält der Datensatz überproportional viele langfristig erfolgreiche Firmen.
Dadurch können historische Renditen überzeichnet werden.
Survivorship Bias bei Aktienstrategien
Besonders relevant ist das Problem bei Strategien wie:
- Momentum,
- Value,
- Quality,
- Small Cap,
- Faktorstrategien,
- Stock Picking.
Angenommen, eine Strategie kauft regelmäßig günstige Aktien.
Ein Teil dieser günstigen Aktien war möglicherweise aus gutem Grund günstig und ging später insolvent.
Fehlen diese Unternehmen im heutigen Datensatz, erscheint die Value-Strategie rückwirkend erfolgreicher.
Historische Indexmitglieder
Ein sauberer Backtest sollte möglichst wissen:
Welche Wertpapiere gehörten zu jedem historischen Zeitpunkt tatsächlich zum handelbaren Universum?
Ein sogenanntes Point-in-Time-Universum kann beispielsweise speichern:
Januar 2015: damalige Indexmitglieder
Februar 2015: damalige Indexmitglieder
und so weiter.
Damit wird verhindert, dass spätere Indexentscheidungen rückwirkend in frühere Handelsentscheidungen einfließen.
Delistings
Besonders wichtig ist die Behandlung von Delistings.
Wenn ein Unternehmen von der Börse verschwindet, darf die Position nicht einfach mit dem letzten verfügbaren Kurs aus dem Backtest gelöscht werden.
Möglicherweise entstand beim Delisting:
- ein erheblicher Verlust,
- ein Totalverlust,
- eine Übernahmezahlung,
- eine Abfindung.
Wie dieser Vorgang behandelt wird, kann die Performance eines Backtests beeinflussen.
Survivorship Bias bei Fonds
Das Problem betrifft nicht nur Aktien.
Angenommen, man untersucht die durchschnittliche historische Performance von Investmentfonds.
Schlecht laufende Fonds werden häufiger geschlossen oder mit anderen Fonds verschmolzen.
Eine Datenbank, die nur heute existierende Fonds enthält, unterschätzt deshalb möglicherweise die Zahl früherer Misserfolge.
Die durchschnittliche historische Performance der überlebenden Fonds kann dadurch besser erscheinen als die Performance des damaligen Gesamtuniversums.
Survivorship Bias bei Hedgefonds
Bei Hedgefonds kann das Problem besonders ausgeprägt sein.
Fonds können:
- geschlossen werden,
- freiwillig die Berichterstattung einstellen,
- erst nach erfolgreicher Anfangsphase in Datenbanken aufgenommen werden.
Dadurch können mehrere Datenverzerrungen gleichzeitig entstehen.
Neben Survivorship Bias ist beispielsweise auch Backfill Bias möglich.
Verbindung zu Look-ahead Bias
Survivorship Bias und Look-ahead Bias sind verwandt, aber nicht identisch.
Look-ahead Bias:
Es werden Informationen verwendet, die damals noch nicht verfügbar waren.
Survivorship Bias:
Der Datensatz berücksichtigt bevorzugt die späteren Überlebenden.
Verwendet man heutige Indexmitglieder rückwirkend, können beide Probleme gleichzeitig auftreten.
Der Entwickler kennt implizit die zukünftigen Überlebenden.
Wie Survivorship Bias vermieden werden kann
1. Point-in-Time-Universen
Verwendet werden sollte das Wertpapieruniversum, das zum jeweiligen historischen Zeitpunkt tatsächlich existierte.
2. Delistete Wertpapiere einbeziehen
Historische Datenbanken sollten möglichst auch ausgeschiedene und insolvente Titel enthalten.
3. Historische Indexzusammensetzungen verwenden
Für Indexstrategien sollte die tatsächliche Mitgliedschaft zu jedem Zeitpunkt berücksichtigt werden.
4. Delisting-Renditen korrekt behandeln
Das Ende einer Kursserie darf nicht automatisch als neutraler Exit interpretiert werden.
5. Datenanbieter prüfen
Nicht jeder Datensatz eignet sich für wissenschaftlich belastbare historische Simulationen.
Vor einem Backtest sollte geklärt werden:
- Sind delistete Aktien enthalten?
- Sind historische Symbole erhalten?
- Sind Unternehmensaktionen berücksichtigt?
- Existieren historische Indexmitgliedschaften?
Warum das Problem bei Machine Learning noch größer werden kann
Machine-Learning-Modelle lernen Muster aus den bereitgestellten Daten.
Wenn der Datensatz bereits durch Survivorship Bias verzerrt ist, lernt das Modell eine Welt, in der gescheiterte Unternehmen systematisch unterrepräsentiert sind.
Das kann dazu führen, dass Features und Zusammenhänge überschätzt werden.
Mehr Modellkomplexität kann einen fehlerhaften Datensatz nicht reparieren.
Im Gegenteil:
Ein leistungsfähiges Modell kann die Verzerrungen besonders effizient lernen.
Beispiel einer verzerrten Strategie
Angenommen, heute existieren 100 Unternehmen.
Ein Entwickler verwendet deren historische Daten ab 2005.
Seine Strategie erzielt:
12 Prozent annualisierte Rendite.
Nun wird das historische Universum um 40 Unternehmen ergänzt, die seit 2005 insolvent wurden oder delistet wurden.
Die Strategie erzielt anschließend vielleicht nur noch:
8 Prozent.
Die erste Zahl war nicht notwendigerweise falsch berechnet.
Sie bezog sich lediglich auf ein unrealistisches Universum zukünftiger Überlebender.
Datenqualität ist Teil des Modells
Quantitative Forschung wird häufig auf Algorithmen und mathematische Modelle reduziert.
Doch ein Backtest besteht aus mindestens drei Ebenen:
Daten + Modell + Simulation
Ein perfekter Algorithmus auf verzerrten Daten erzeugt kein zuverlässiges Ergebnis.
Datenqualität ist deshalb Bestandteil der wissenschaftlichen Methodik.
Praktische Kontrollfragen
Vor einem Aktienbacktest sollte beispielsweise gefragt werden:
- Enthält der Datensatz delistete Unternehmen?
- Ist die historische Indexmitgliedschaft korrekt?
- Werden Fusionen und Übernahmen behandelt?
- Wie werden insolvente Unternehmen berücksichtigt?
- Was geschieht am Ende einer Kursserie?
- Sind Symbole und Unternehmensidentitäten historisch korrekt zugeordnet?
Diese Fragen sind mindestens ebenso wichtig wie die Auswahl eines Indikators.
Fazit
Survivorship Bias entsteht, wenn historische Analysen hauptsächlich die späteren Überlebenden betrachten.
Dadurch können:
- Marktrenditen,
- Strategierenditen,
- Faktorprämien,
- Fondsperformance
zu positiv erscheinen.
Ein methodisch sauberer Backtest benötigt deshalb möglichst ein historisch korrektes Point-in-Time-Universum einschließlich ausgeschiedener Wertpapiere.
Die zentrale Frage lautet:
Teste ich tatsächlich den damaligen Markt – oder lediglich die heutigen Gewinner rückwärts?
Weiterführende Literatur
- Brown, S. J. et al.: Forschung zu Survivorship Bias in Performance-Datenbanken.
- Elton, E. J.; Gruber, M. J.; Blake, C. R.: Arbeiten zur Verzerrung historischer Fondsperformance.
- Campbell, J. Y.; Lo, A. W.; MacKinlay, A. C.: The Econometrics of Financial Markets.
- López de Prado, M.: Advances in Financial Machine Learning.
- Chan, E. P.: Algorithmic Trading.
Passende Fachbücher von Olaf Sund
- Handelssysteme – Leitfaden zur Entwicklung von Handelssystemen
- Von der Idee zum Tradingsystem
- Machine Learning für Finanzdaten
Weiterführende Beiträge auf quantitativefinanzen.de
- Backtesting erklärt
- Look-ahead Bias
- In-Sample und Out-of-Sample
- Data Leakage
- Overfitting im Trading