Backtesting – technisch und narrativ
Ein allgemeiner Rahmen
Backtesting klingt zunächst sehr technisch. Unabhängig davon ist es ein ganz natürlicher Vorgang und eng mit dem Lernen an sich verbunden. In einem Controlling-Umfeld überwiegen hingegen zunächst die technischen Aspekte. Aus diesem Grund kläre ich sie zuerst. Ich vergesse im Anschluss nicht die Rückbindung des technischen Prozesses in das Selbstverständnis der Organisation.
Mit diesem Beitrag geht es mir – so wie in den meisten anderen – um einen allgemeinen Rahmen, in den sich verschiedene Konzepte und Anforderungen einordnen lassen. Aus diesem Grund spreche ich manchmal von Unternehmen, Organisationen oder allgemein dem System. Gemeint ist in jedem Fall das gleiche. Ich übertrage die Begriffe einfach auf verschieden Größenordnungen von Aufgaben. Im Kern werden sie alle gleichartig bearbeitet und lassen sich auf den Service-Begriff verallgemeinern.
Fangen wir dementsprechend an.
Was ist Backtesting?
Wikipedia bezeichnet als „Backtesting […] den Prozess, eine Strategie, Theorie oder ein Modell zu evaluieren…“ (siehe „Backtesting“). Diese allgemeine Beschreibung hilf uns in unserem Zusammenhang. Die Steuerung von Unternehmungen beruht nämlich darauf, die Aufmerksamkeit auf die sinnvoll erscheinenden Aspekte zu lenken. Zu diesem Zweck stellt ein Bewegungsentwurf diejenigen Aspekte heraus, die für die Arbeit des Unternehmens wichtig erscheinen. Der Bewegungsentwurf bleibt aus dem Grund ein gedankliches Modell, weil es sich auf die Zukunft bezieht. Folglich sollten wir das Modell laufend daraufhin überprüfen, ob wir es noch als eine angemessene Entscheidung über die Zukunft behalten wollen.
Backtesting im Controlling
Ein Bewegungsentwurf ist meist ein technisches Modell
Der Bewegungsentwurf eines Unternehmens kann nützliche Dienste leisten, wenn er sich auf ein technisches Modell der Arbeitsabläufe stützt. Wir stellen uns einfach vor, wir hätten eine Maschine vor uns, die wir steuern wollen. Das Modell erlaubt uns Rückschlüsse darauf, wie sich das Unternehmen verhalten wird. Diese Rückschlüsse sind nachvollziehbar und ohne Umstände für eine Erklärung geeignet. Wir unterstellen dabei entgegen besseren Wissens, dass wir das Unternehmen von außen beeinflussen können. Diesen Mangel beheben wir anschließend wieder, indem wir das technische Modell in der Kommunikation lediglich als Basis für unsere Erzählung nutzen.
Weitere Details können Sie in dem Beitrag „Ein Unternehmen ist keine Maschine“ nachlese.
Auf ein technisches Modell können wir mathematische Verfahren anwenden
Mit einem technischen Modell möchte man möglichst realistische Vorhersagen machen, damit die daraus abgeleitete Steuerung wirksam ist. Das hat zwei interessante Aspekte.
1. Die Vorhersagen des Modells sind nicht sicher
Als erstes soll der Bewegungsentwurf, der in dem Modell enthalten ist, für die Nutzer des Modells nachvollziehbar sein. Die mathematische Formulierung hat für die Eindeutigkeit überzeugende Vorteile. Die Mathematik beseitigt nämlich die Ambivalenz, die in sprachlichen Formulierungen enthalten bleibt. Das vermindert die Unsicherheit des gemeinschaftlichen Entwurfs, erhöht aber die Gefahr der übermäßigen Festlegung. Es ist deshalb oft sinnvoll, mögliche Abweichungen vom Verlauf als erwartete Schwankungen gleich in den Bewegungsentwurf aufzunehmen. Die Schwankungen sind vor allem für das Risikomanagement interessant.
2. Ökonomische Vorhersagen entziehen sich manchmal selbst die Basis
In der Ökonomie sind Vorhersagen besonders schwierig. Das liegt daran, dass eine Vorhersage das Verhalten der Mitspieler beeinflusst und damit in den meisten Fällen ihre eigene Basis verändert. Anders als in einem technischen Umfeld sind Vorhersagen in der Ökonomie daher besonders unsicher. Parameter, die für eine Weile gültig waren, können schnell wieder unbrauchbar werden. Gerade wenn sich Märkte schnell verändern, ist es wichtig, die Annahmen eines Modells in angemessenen Abständen zu überprüfen.
Die beiden Aspekte zeigen leider, dass es mit einem Modell schnell kompliziert wird. Einfachheit ist dagegen auch ein Wert. Ein einfaches Modell ist leichter verständlich und kann schneller analysiert werden. Mit der Einfachheit steigt dagegen ebenfalls die Gefahr, dass das Modell falsche Vorhersagen macht. Wir sollten das Modell in diesem Fall häufiger validieren.
Wie läuft der Prozess der Evaluierung praktisch ab?
Der Ablauf eines Backtesting-Prozesses wird am besten als sich wiederholender Kreislauf aufgefasst. Man kann den Kreislauf in 3 Teile aufteilen:
1. Erstschätzung und Normierung
Zusammen mit einer ersten Schätzung legt man gewöhnlich schon zu Beginn fest, welche Qualitätsanforderungen an die Schätzung von Parametern gestellt werden. Sie hängen davon ab, wie veränderlich das Modell ist und welchen Einfluss Fehleinschätzungen haben. Die Anforderungen vereinbart man mit denjenigen, die an der Steuerung beteiligt sind.
2. Verwendung und Beobachtung
Im nächsten Schritt verwendet man das Modell zur Vorhersage. Man beobachtet das Verhalten des Systems und vergleicht die Vorhersage mit den Ergebnissen. Die Ursachen für mögliche Abweichungen findet man entweder darin, dass sich externe Parameter nicht wie erwartet entwickelt haben, oder dass sich das System anders als erwartet verhalten hat. Diese Fälle geben Anlass für eine erneute Schätzung der Verhaltensparameter. Begründet sich die Abweichung durch externe Daten, die sich anders entwickelt haben, lässt sich der ursprüngliche Bewegungsentwurf mit diesen Daten erneut rechnen. Die Beurteilung von Abweichungen ist mit dieser Neuberechnung dann wieder möglich.
3. Neuschätzung und Hypothesentest
Eine Neuschätzung der Verhaltensparameter wird mit den Daten durchgeführt, die man aus der aktuellen Beobachtung erhalten hat. Wenn es zu einer Abweichung kommt, prüft man die Hypothese, dass die Abweichung zufällig aufgetreten ist. Für diese Prüfung steht ein umfangreicher Vorrat an statistischen Verfahren zur Verfügung. Wenn der Zufall die Abweichungen nicht erklären kann, dann muss das Verhalten des Systems tatsächlich anders eingeschätzt werden. Man passt daraufhin die Parameter für die Verwendung in der nächsten Vorhersage an die neueren Daten an.
Nach dieser Darstellung ist es beim Backtesting entscheidend, eine Veränderung des Systemverhaltens überhaupt wahrnehmen zu können. Der Kreislauf der Parameterschätzung, Abweichungsanalyse und Neuschätzung ist in einigen Fällen trotz der Wichtigkeit zu schwerfällig. Beobachtung, Interpretation und Hypothesentest fallen in diesen Fällen zeitlich übermäßig weit auseinander. Dem entsprechend kann das Systemverhalten als Teil eines anderen Lösungsweges direkt beobachtet werden. Bei diesem Vorgehen achtet man in der Folge besonders gründlich auf Ausreißer, sowie Trend- und Varianzveränderungen. Auch für diese Art der Beobachtung stehen statistische Mittel zur Verfügung.
Mathematisch- statistische Verfahren
- Parameter-Schätzungen, z.B. Mittelwert und Standardabweichung
- Anpassungstests, z.B. Prüfung auf Normalverteilung
- Konfidenzintervalle für Mittelwert und Standardabweichung
- Prognose- und Toleranzintervalle
- Prognosekorridore
- Konfidenzbereiche für die Differenz von Mittelwert und Standardabweichung
- Test der Differenz von Mittelwert und Standardabweichung
An dieser Stelle lassen sich mathematische Verfahren und Verfahren der künstlichen Intelligenz anwenden. Mit ihnen lassen sich Muster erkennen und Vorstellungen präzisieren.
Wenn Sie ein gutes, praktisches Beispiel zum Backtesting lesen wollen, dann können Sie bei der Commerzbank schauen. In ihrem Ratgeber empfiehlt sie das Backtesting für eine Handels-Strategie „Was ist Backtesting und warum ist es wichtig?„.
Rückbindung in das Selbstverständnis der Organisation
Es geht auch ohne mathematische Modelle
Die Rückbindung in das Selbstverständnis der Organisation fällt für das Backtesting nicht schwer. Wir haben es nämlich als technischen Vorgang konzipiert, den wir auf die eher technische Komponente des Bewegungsentwurfs anwenden. Man sollte denken, über die üblichen Prozesse der Selbstvergewisserung in einem System wird der Bewegungsentwurf an sich schon wieder integriert. Müssen wir uns in diesem Fall folglich weiterhin gesondert um etwas kümmern?
An diesem Punkt sollten wir noch einmal den Fall behandeln, in dem der Entwurf der Bewegung und das Backtesting gänzlich informell ablaufen. Der Bewegungsentwurf ist dann nicht mathematisch, sondern rein sprachlich formuliert. Vielleicht ist dieser Fall nicht einmal die Ausnahme, sondern vielmehr die Regel.
Narratives und mathematisiertes Backtesting
Wir können davon ausgehen, dass ein Bewegungsentwurfs mit einem anschließenden Backtesting in einer nicht formellen Variante genauso verwendet wird, wie in seiner technischen Variante. Der Bewegungsentwurf besteht in diesem Fall aus einer Erzählung an Stelle des mathematisierten Modells. Jetzt befördert die Erzählung eine gemeinsame Vorstellung von der vorgesehenen Bewegung. Indem sie mehr Kontingenz zulässt, erleichtert sie die Identifikation von Teilnehmern, die sich sonst vielleicht nicht oder nicht so schnell einigen könnten. Auf der anderen Seite bleibt die gemeinsame Vorstellung dem mathematisierten Bewegungsentwurf gegenüber weniger präzise.
Die drei Teile des Backtesting-Prozesses verlaufen ähnlich wie in einem technischen Modell. Das Systemverhalten wird diskutiert und in einer Erzählung festgehalten. Zu dieser Erzählung gehören die wesentlichen Zusammenhänge des Systemverhaltens genauso wie die Qualitätsanforderungen an die Einschätzung. Schwierige Bereiche werden bei Unsicherheit eingehender diskutiert, so dass sich das gemeinsame Verständnis genauer herausbildet. Für die Abweichungsanalyse, die Beurteilung von Zufällen und die Entscheidung für eine neue Betrachtung des Systems gilt das gleiche. Im Grunde genommen, erfolgen alle Schritte so, wie im technisch formulierten Fall. Es liegt lediglich kein präzise berechenbares Modell vor, das als Diskussionsgrundlage verwendet werden kann.
Fazit: Lasst uns erzählen, was wir machen
Diese Überlegungen führen uns zu einem wichtigen Fazit. Für das Selbstverständnis der Organisation ist es von Bedeutung, dass die erzählerische Basis mit dem Backtesting ebenso aktualisiert wird, wie das technische Modell.
Mit der Diskussion der informellen Variante wollte ich zeigen, dass man für ein Backtesting kein mathematisches Modell und keine mathematischen Verfahren braucht. Alle technischen und somit präzisen Verfahren leiden hingegen unter dem Mangel, dass sie starre Ergebnisse liefern und eher von Experten verstanden werden. Diese starre Sicht verführt dazu, die berechneten Ergebnisse als gegeben zu betrachten. Starre Ergebnisse erschweren außerdem eine Konsensfindung, wenn es mehrere mögliche Auffassungen über die auszuführende Bewegung gibt.
Ich will deshalb an dieser Stelle noch einmal betonen, dass aller technischer Aufwand nur dann erfolgreich ist, wenn er in die Erzählung der Organisation zurückgebunden wird. Controller haben damit die Aufgabe, ihre Verfahren zu erklären und in Erzählungen über die Organisation zu übersetzen.
Leben wir entspannter, wenn uns das Backtesting und seine Rückbindung gelingen?
Ich denke ja. Wir aktualisieren unsere Entscheidung für eine vermutete Zukunft und vermindern das Risiko, mit dieser Entscheidung falsch zu liegen.
Verlinken Sie sich mit mir in den Sozialen Netzwerken
Natürlich können Sie mir auch eine Mail schreiben, oder mich anrufen:
Frank Pieper
Mail: frank@fp-consulting.org
Tel.: +49-160 5438306
Besuchen Sie mich in Xing
Oder, besuchen Sie mich in LinkedIn
Pingback: Nachhaltige Steuerung - fp-consulting