Entspannter mit Backtesting?

Ein allgemeiner Rahmen

Backtesting klingt zunächst sehr technisch. Unabhängig davon ist es ein ganz natürlicher Vorgang und eng mit dem Lernen an sich verbunden. In einem Controlling-Umfeld überwiegen hingegen zunächst die technischen Aspekte. Aus diesem Grund kläre ich sie zuerst. Ich vergesse im Anschluss nicht die Rückbindung des technischen Prozesses in das Selbstverständnis der Organisation.

Mit diesem Beitrag geht es mir – so wie in den meisten anderen – um einen allgemeinen Rahmen, in den sich verschiedene Konzepte und Anforderungen einordnen lassen. Aus diesem Grund spreche ich manchmal von Unternehmen, Organisationen oder allgemein dem System. Gemeint ist in jedem Fall das gleiche. Ich übertrage die Begriffe einfach auf verschieden Größenordnungen von Aufgaben. Im Kern werden sie alle gleichartig bearbeitet und lassen sich auf den Service-Begriff verallgemeinern.

Fangen wir dementsprechend an.

Was ist Backtesting?

Wikipedia bezeichnet als „Backtesting […] den Prozess, eine Strategie, Theorie oder ein Modell zu evaluieren…“ (siehe „Backtesting“). Diese allgemeine Beschreibung hilf uns in unserem Zusammenhang. Die Steuerung von Unternehmungen beruht nämlich darauf, die Aufmerksamkeit auf die sinnvoll erscheinenden Aspekte zu lenken. Zu diesem Zweck stellt ein Bewegungsentwurf diejenigen Aspekte heraus, die für die Arbeit des Unternehmens wichtig erscheinen. Der Bewegungsentwurf bleibt aus dem Grund ein gedankliches Modell, weil es sich auf die Zukunft bezieht. Folglich sollten wir das Modell laufend daraufhin überprüfen, ob wir es noch als eine angemessene Entscheidung über die Zukunft behalten wollen.

Ein Bewegungsentwurf ist meist ein technisches Modell

Der Bewegungsentwurf eines Unternehmens kann nützliche Dienste leisten, wenn er sich auf ein technisches Modell der Arbeitsabläufe stützt. Wir stellen uns einfach vor, wir hätten eine Maschine vor uns, die wir steuern wollen. Das Modell erlaubt uns Rückschlüsse darauf, wie sich das Unternehmen verhalten wird. Diese Rückschlüsse sind nachvollziehbar und ohne Umstände für eine Erklärung geeignet. Wir unterstellen dabei entgegen besseren Wissens, dass wir das Unternehmen von außen beeinflussen können. Diesen Mangel beheben wir anschließend wieder, indem wir das technische Modell in der Kommunikation lediglich als Basis für unsere Erzählung nutzen.

Weitere Details können Sie in dem Beitrag „Ein Unternehmen ist keine Maschine“ nachlese.

Auf ein technisches Modell können wir mathematische Verfahren anwenden

Mit einem technischen Modell möchte man möglichst realistische Vorhersagen machen, damit die daraus abgeleitete Steuerung wirksam ist. Das hat zwei interessante Aspekte.

1. Die Vorhersagen des Modells sind nicht sicher

Als erstes soll der Bewegungsentwurf, der in dem Modell enthalten ist, für die Nutzer des Modells nachvollziehbar sein. Die mathematische Formulierung hat für die Eindeutigkeit überzeugende Vorteile. Die Mathematik beseitigt nämlich die Ambivalenz, die in sprachlichen Formulierungen enthalten bleibt. Das vermindert die Unsicherheit des gemeinschaftlichen Entwurfs, erhöht aber die Gefahr der übermäßigen Festlegung. Es ist deshalb oft sinnvoll, mögliche Abweichungen vom Verlauf als erwartete Schwankungen gleich in den Bewegungsentwurf aufzunehmen. Die Schwankungen sind vor allem für das Risikomanagement interessant.

2. Ökonomische Vorhersagen entziehen sich manchmal selbst die Basis

In der Ökonomie sind Vorhersagen besonders schwierig. Das liegt daran, dass eine Vorhersage das Verhalten der Mitspieler beeinflusst und damit in den meisten Fällen ihre eigene Basis verändert. Anders als in einem technischen Umfeld sind Vorhersagen in der Ökonomie daher besonders unsicher. Parameter, die für eine Weile gültig waren, können schnell wieder unbrauchbar werden. Gerade wenn sich Märkte schnell verändern, ist es wichtig, die Annahmen eines Modells in angemessenen Abständen zu überprüfen.

Wie läuft der Prozess der Evaluierung praktisch ab?

Der Ablauf eines Backtesting-Prozesses wird am besten als sich wiederholender Kreislauf aufgefasst. Man kann den Kreislauf in 3 Teile aufteilen:

1. Erstschätzung und Normierung

Zusammen mit einer ersten Schätzung legt man gewöhnlich schon zu Beginn fest, welche Qualitätsanforderungen an die Schätzung von Parametern gestellt werden. Sie hängen davon ab, wie veränderlich das Modell ist und welchen Einfluss Fehleinschätzungen haben. Die Anforderungen vereinbart man mit denjenigen, die an der Steuerung beteiligt sind.

2. Verwendung und Beobachtung

Im nächsten Schritt verwendet man das Modell zur Vorhersage. Man beobachtet das Verhalten des Systems und vergleicht die Vorhersage mit den Ergebnissen. Die Ursachen für mögliche Abweichungen findet man entweder darin, dass sich externe Parameter nicht wie erwartet entwickelt haben, oder dass sich das System anders als erwartet verhalten hat. Diese Fälle geben Anlass für eine erneute Schätzung der Verhaltensparameter. Begründet sich die Abweichung durch externe Daten, die sich anders entwickelt haben, lässt sich der ursprüngliche Bewegungsentwurf mit diesen Daten erneut rechnen. Die Beurteilung von Abweichungen ist mit dieser Neuberechnung dann wieder möglich.

3. Neuschätzung und Hypothesentest

Eine Neuschätzung der Verhaltensparameter wird mit den Daten durchgeführt, die man aus der aktuellen Beobachtung erhalten hat. Wenn es zu einer Abweichung kommt, prüft man die Hypothese, dass die Abweichung zufällig aufgetreten ist. Für diese Prüfung steht ein umfangreicher Vorrat an statistischen Verfahren zur Verfügung. Wenn der Zufall die Abweichungen nicht erklären kann, dann muss das Verhalten des Systems tatsächlich anders eingeschätzt werden. Man passt daraufhin die Parameter für die Verwendung in der nächsten Vorhersage an die neueren Daten an.

Mathematisch- statistische Verfahren

• Parameter-Schätzungen, z.B. Mittelwert und Standardabweichung
• Anpassungstests, z.B. Prüfung auf Normalverteilung
• Konfidenzintervalle für Mittelwert und Standardabweichung
• Prognose- und Toleranzintervalle
• Prognosekorridore
• Konfidenzbereiche für die Differenz von Mittelwert und Standardabweichung
• Test der Differenz von Mittelwert und Standardabweichung

An dieser Stelle lassen sich mathematische Verfahren und Verfahren der künstlichen Intelligenz anwenden. Mit ihnen lassen sich Muster erkennen und Vorstellungen präzisieren.

Es geht auch ohne mathematische Modelle

Die Rückbindung in das Selbstverständnis der Organisation fällt für das Backtesting nicht schwer. Wir haben es nämlich als technischen Vorgang konzipiert, den wir auf die eher technische Komponente des Bewegungsentwurfs anwenden. Man sollte denken, über die üblichen Prozesse der Selbstvergewisserung in einem System wird der Bewegungsentwurf an sich schon wieder integriert. Müssen wir uns in diesem Fall folglich weiterhin gesondert um etwas kümmern?

An diesem Punkt sollten wir noch einmal den Fall behandeln, in dem der Entwurf der Bewegung und das Backtesting gänzlich informell ablaufen. Der Bewegungsentwurf ist dann nicht mathematisch, sondern rein sprachlich formuliert. Vielleicht ist dieser Fall nicht einmal die Ausnahme, sondern vielmehr die Regel.

Narratives und mathematisiertes Backtesting

Wir können davon ausgehen, dass ein Bewegungsentwurfs mit einem anschließenden Backtesting in einer nicht formellen Variante genauso verwendet wird, wie in seiner technischen Variante. Der Bewegungsentwurf besteht in diesem Fall aus einer Erzählung an Stelle des mathematisierten Modells. Jetzt befördert die Erzählung eine gemeinsame Vorstellung von der vorgesehenen Bewegung. Indem sie mehr Kontingenz zulässt, erleichtert sie die Identifikation von Teilnehmern, die sich sonst vielleicht nicht oder nicht so schnell einigen könnten. Auf der anderen Seite bleibt die gemeinsame Vorstellung dem mathematisierten Bewegungsentwurf gegenüber weniger präzise.

Die drei Teile des Backtesting-Prozesses verlaufen ähnlich wie in einem technischen Modell. Das Systemverhalten wird diskutiert und in einer Erzählung festgehalten. Zu dieser Erzählung gehören die wesentlichen Zusammenhänge des Systemverhaltens genauso wie die Qualitätsanforderungen an die Einschätzung. Schwierige Bereiche werden bei Unsicherheit eingehender diskutiert, so dass sich das gemeinsame Verständnis genauer herausbildet. Für die Abweichungsanalyse, die Beurteilung von Zufällen und die Entscheidung für eine neue Betrachtung des Systems gilt das gleiche. Im Grunde genommen, erfolgen alle Schritte so, wie im technisch formulierten Fall. Es liegt lediglich kein präzise berechenbares Modell vor, das als Diskussionsgrundlage verwendet werden kann.

Fazit: Lasst uns erzählen, was wir machen

Diese Überlegungen führen uns zu einem wichtigen Fazit. Für das Selbstverständnis der Organisation ist es von Bedeutung, dass die erzählerische Basis mit dem Backtesting ebenso aktualisiert wird, wie das technische Modell.

Mit der Diskussion der informellen Variante wollte ich zeigen, dass man für ein Backtesting kein mathematisches Modell und keine mathematischen Verfahren braucht. Alle technischen und somit präzisen Verfahren leiden hingegen unter dem Mangel, dass sie starre Ergebnisse liefern und eher von Experten verstanden werden. Diese starre Sicht verführt dazu, die berechneten Ergebnisse als gegeben zu betrachten. Starre Ergebnisse erschweren außerdem eine Konsensfindung, wenn es mehrere mögliche Auffassungen über die auszuführende Bewegung gibt.

Ich will deshalb an dieser Stelle noch einmal betonen, dass aller technischer Aufwand nur dann erfolgreich ist, wenn er in die Erzählung der Organisation zurückgebunden wird. Controller haben damit die Aufgabe, ihre Verfahren zu erklären und in Erzählungen über die Organisation zu übersetzen.

Verlinken Sie sich mit mir in den Sozialen Netzwerken

Natürlich können Sie mir auch eine Mail schreiben, oder mich anrufen:

Frank Pieper
Mail: frank@fp-consulting.org
Tel.: +49-160 5438306

Besuchen Sie mich in Xing

Oder, besuchen Sie mich in LinkedIn