Stabilität von Handelssystemen / Überoptimierung

[Stratege]

Hallo,   

 

beim Entwickeln neuer Handelssysteme oder Strategien (klingt vielleicht etwas hochtrabend, aber mir fällt gerade kein passenderes Wort ein   ) frage ich mich oft, ob ich nicht einen Schritt zu weit gegangen bin und mein System überoptimiert ist. Man backtestet, stellt dort noch an einem Parameter herum und am Ende hat man ein System, das in der Vergangenheit wahnsinnig gut performt hätte, einem aber im ersten "richtigen" Handelsjahr um die Ohren fliegt - soweit der worst case... 

 

Mich würde interessieren:

- Wie stellt ihr sicher, dass ihr euer System nicht überoptimiert?

- Welche Möglichkeiten gibt es bzw. was wendet ihr an, um ein instabiles System zu erkennen?

 

-----------------------------

 

Angenommen, ihr hättet die Wahl zwischen zwei verschiedenen Systemen 1 und 2 (siehe Grafik, Backtest über letzte 3 Jahre; Wert für "Parameter" ist ähnlich der Anzahl der Tage eines gleitenden Durchschnitts):

 

 

Haltet ihr System 2 für stabil?

Oder würdet ihr sogar sagen, dass System 1 in gewisser Weise stabil ist und es riskieren, mit einem Parameterwert von beispielsweise "60" zu traden?

 

[Als Anmerkung noch: System 1 hat im Vergleich zu System 2 relativ viele Trades]

 

Grüße,

S.

[Prospektständer]

Laienmäßig wurde ich sagen System 2 ist rentabler, kenne mich mit diesen Charts aber nicht so aus... :-

[Schinzilord]

Das gleiche Problem habe ich auch. Ich würde hier natürlich System 2 bevorzugen.

 

Meine Vorgehensweise:

Parameter fit an Daten von Jahren 1-5

Out of sample test an Daten von Jahren 6-10

Nur wenn das System stabil weiterläuft, übernehme ich es.

Überoptimierung tritt grandios auf bei Trades nach moving averages.

Es läuft alles super, aber dann komtm eine Chartkombination, bei der einfach kein Kaufsignal ausgelöst wird. Und dann sitzt man an der Seitenlinie...

[Chemstudent]

Ohne die Systeme näher zu kennen:

System zwei scheint eher Glück in den 3 Jahren gehabt zu haben. Ein System, das bei einer solch hohen Variation eines Parameters erstaunlich ähnliche Renditen abwirft, ist seltsam. Da drängt sich unweigerlich der Verdacht auf, dass hier der Markttrend schlichtweg glücklich war.

 

Bspw. könnte man sich jetzt den Dax der letzten 3 Jahre hernehmen, und mal einen gleitenden Durchschnitt auf 60, 80 und 120 Tagesbasis betrachten. Man wird (zugegeben: ich hab's nur mit Augenmaß gemacht) feststellen, dass sich die 3 nicht groß unterscheiden. Die kürzeren sind empfindlicher und lösen mehr Trades aus, die aber oftmals kein großes Ergebnis haben. Die Renditebringer hingegen sind jene Signale, auf die anschließend ein langer Trend folgt, und da ist es recht egal, ob man nun etwas früher (nämlich mit kürzerem Parameter) oder etwas später (mit längerem Parameter) dabei ist. Erstere machen in diesen Phasen zwar mehr Gewinn, erzeugen aber auch häufiger Fehlsignale. letztere erzeugen weniger Fehlsignale, dafür steigen sie aber auch später ein und aus. Im Schnitt wird sich das ganze also nicht viel nehmen und die Renditen wohl ähnlich dem System 2 "stabil" wirken.

 

Im Chart:

Gelb: 60 Tage

Rot: 80 Tage

Grün: 120 Tage

[Dagobert]

erst wäre doch mal zu klären was die Zielsetzung des Handelssystems ist/sein soll.

 

Schinzi's Kommentar zum "an der Linie"sitzen dürfte ein klassisches Phänomen eines langfristig orientierten Handelssystems basierend auf GD's sein. Hier läuft nicht das System falsch sondern das "Hirn" des Anwenders der meint etwas zu verpassen (hat nix mit Schinzi zu tun, so geht es uns allen).

 

@Stratege

 

Zu Deinen beiden Modellen kann ich wenig sagen da die Zeitachse fehlt. Generell finde ich ein HS das 20%+ Verlust einer bereits erreichten Rendite zulässt nicht sehr attraktiv.

[Stratege]

Danke schonmal für eure Meinungen!

 

Muss die Grafik oben noch kurz erläutern, sonst gibt es Missverständnisse:

Die x-Achse ist keine Zeitachse. Der "Parameter" ist ein zu wählender Wert, der die größten Auswirkungen auf das Verhalten des Systems hat. Man kann ihn vergleichen mit einem Gleitenden Durchschnitt, er hat aber damit aber nicht direkt etwas zu tun. Werte größer oder kleiner der in der Grafik dargestellten Range des Parameters führen zu schlechterer Performance, ich habe sie daher nicht mehr in der Grafik.

 

 

 

@Schinzilord:

Ja, das klingt gut, allerdings habe ich in meinem Fall nur 3-4 Jahre an kompletten Daten zur Verfügung - aber ich könnte die Daten ja theoretisch auch invertieren, also von August 2010 bis August 2007 testen lassen (sozusagen dann out of sample )?

 

@Chemstudent:

Finde ich interessant, dass Du System 2 misstraust, weil das mein präferiertes System ist, aber ich finde deine Begründung dazu gut. Allerdings frage ich mich, ob ich mit einem Parameterwert von sagen wir "60" bei System 1 in den nächsten Jahren glücklich werden würde, obwohl dieser Wert sehr gute Renditen in den letzten 3 Jahren abgeworfen hätte?

Ist es nicht erstrebenswert, ein System zu haben, das im Backtest nicht nur in einer schmalen Range meines einzustellenden Wertes gute Ergebnisse liefert?

 

@Dagobert:

Die Zielsetzung des Systems ist in erster Linie möglichst hohe Rendite. Den Drawdown oder ähnliche Faktoren habe ich erstmal nicht betrachtet.

[Dagobert]

 

@Dagobert:

Die Zielsetzung des Systems ist in erster Linie möglichst hohe Rendite. Den Drawdown oder ähnliche Faktoren habe ich erstmal nicht betrachtet. 

 

vielleicht verstehe ich Dein Chart nicht, aber so wie ich Dein System 2 interpretiere verlierst Du damit immer wieder bis zu einem 1/4 Deiner erzielten Gewinne und reduzierst hiermit Deine langfristigen Renditemöglichkeiten substantiell.

 

Optimal wäre z.B. ein Ausstieg so bei Parameter 53 und dann ein Wiedereinstieg bei PM 73

 

Aber wie gesagt, vielleicht verstehe ich Dein Chart auch nicht richtig

[Stratege]

vielleicht verstehe ich Dein Chart nicht, aber so wie ich Dein System 2 interpretiere verlierst Du damit immer wieder bis zu einem 1/4 Deiner erzielten Gewinne und reduzierst hiermit Deine langfristigen Renditemöglichkeiten substantiell.

 

Optimal wäre z.B. ein Ausstieg so bei Parameter 53 und dann ein Wiedereinstieg bei PM 73

 

Aber wie gesagt, vielleicht verstehe ich Dein Chart auch nicht richtig

Ja, das ist auch etwas missverständlich:

Der Parameter ist nur eine Stellschraube für mein System. Jeder Punkt in der Grafik ist die Rendite der letzten 3 Jahre in % aufgetragen in Abhängigkeit von dieser Stellgröße, dem Parameter. Das ist keine Zeitachse.

 

Also hätte ich bei System 2 z.B. bei dem Parameterwert "25" in den letzten 3 Jahren 18% Rendite, beim Parameterwert "50" knapp über 80 % Rendite gehabt...

[Chemstudent]

Allerdings frage ich mich, ob ich mit einem Parameterwert von sagen wir "60" bei System 1 in den nächsten Jahren glücklich werden würde, obwohl dieser Wert sehr gute Renditen in den letzten 3 Jahren abgeworfen hätte? 

Ist es nicht erstrebenswert, ein System zu haben, das im Backtest nicht nur in einer schmalen Range meines einzustellenden Wertes gute Ergebnisse liefert?

System 2 scheint offenbar keine große Parameterabhängigkeit zu haben. Der Parameter kann zwischen ca. 30 bis 100 liegen, und die Ergebnisse sind dennoch super und sehr ähnlich. Die Renditen hängen also nur unwesentlich von der Wahl des Parameters ab, und daher wäre mein Verdacht, dass hier einfach der Markttrend den entsprechenden Einfluss hatte. Und wenn man dann in eine andere Börsenphase kommt, kannst du vielleicht den gleichen Backtest nochmal machen, und stellst fest, dass es wieder egal ist, welchen Parameter du einstellst, denn die Renditen liegen alle im negativen Bereich.

 

System 1 hingegen scheint eine höhere Parameterabhängigeit zu zeigen. Hier hätte ich schon größere Hoffnung, dass die Ergebnisse nicht nur von einem zufällig passenden Markt abhängen, sondern tatsächlich auch vom Parameter und somit auch in anderen Marktphasen das System annehmbare Renditen erzeugen könnte. (natürlich müsste man das testen)