Projektplanung mit der Monte-Carlo-Methode - Wie viel ist etwas wert?!

Douglas Hubbard zeigt in seinem Buch How to measure anything eine interessante Art, Risiko zu bewerten, nämlich mit einer Monte-Carlo-Simulation, einer allgemein anerkannten Methode, die in der Business-Welt laut Hubbard aber noch zu wenig Einsatz findet. Wir wollen das mal am Beispiel eines Online-Shop-Projekts durchspielen.

Die Gretchenfrage: Lohnt sich das Projekt?

Wir wollen unsere Shop-Plattform aufmöbeln. Ziel: Mehr Umsatz! Im Moment machen wir pro Jahr im Schnitt 730.000 EURO, da ist noch Luft nach oben, denken wir. Wir haben ein interessantes Konzept erarbeitet, ein Online-Shop-Update bzgl. Usability und ein paar schöne Features. Und wir versprechen uns davon Folgendes:

  • Mehr Besucher
    Nämlich: Zwischen 0% und 2% Zuwachs im Tagesschnitt.
    Derzeit haben wir im Schnitt 1000 Besucher am Tag.
  • Höherer Einkaufswagenwert
  • Nämlich: Zwischen 0% und 20% im Schnitt. 
    Derzeit haben wir einen durchschnittlichen Einkaufswagenwert von 40 €.
  • Conversion-Erhöhung
    Nämlich: Zwischen 0% und 40%.
    Derzeit haben wir eine Conversion-Rate von 5%.

Wie wir zu diesen Schätzungen kommen und ob sie gut sind, dazu später mehr.

Die Rahmenbedingungen: Die Umsetzung des Revamp-Konzepts ist mit 130.000 EURO veranschlagt, Festpreisangebot. Das ist eine schöne Stange Geld, und wir haben “von ganz oben” die Ansage, wenn sich die Sache nicht im ersten Jahr amortisiert, kriegen wir kein grünes Licht. Unser Gewinn aus Umsatz liegt im Schnitt bei stattlichen 50%, diesen Wert werden wir unseren Überlegungen zugrunde legen: Nun rechnen wir mal, ob sich die Sache lohnt.

Richtig Forecasten ist schwierig

Unser Job ist nun also, zu schätzen, was wir uns an Verbesserungen erwarten — Best Case sowie Worst Case, sowie das ganze mit den Projektkosten von 130.000 EUR gegenzurechnen. Um denen “ganz oben” eine plausible Entscheidungsgrundlage vorzulegen.

Nun müssen wir Annahmen treffen, und wir kommen zu den Annahmen, die wir oben schon gelistet haben:

  • Besucherzahlen am Tag zw. Worst-Case 1000 (also nicht mehr als vorher) und Best-Case 1020. 
  • Einkaufswagenwert zw. Worst-Case 40 Euro (also nicht mehr als vorher) und Best-Case 48 Euro. 
  • Conversion zw. Worst-Case 5% (also nicht mehr als vorher) und Best-Case 7%.

Wird es sich auszahlen? Ein einfacher (falscher) Ansatz

Rechnen wir nun erst mal naiv das Best-Case- und das Worst-Case-Szenario.

Im Worst Case bleiben Besucherzahl, Warenkorbwert und Conversionrate gleich, d.h. wir bleiben bei einem Jahresumsatz von 730.000 Euro. Dann haben wir 130.000 Euro Miese gemacht, die gesamten Projektkosten.

Im Best Case rechnen wir: 1020 * 48 * 0,07 * 365 ist gleich 1.250.928 Euro, das ist ein Umsatzplus von 520.928 Euro. Also ein Gewinnzuwachs von 260.464 Euro. Klar das ist Best Case, aber gibt ein gutes Gefühl, nicht wahr? Im Best Case machen wir bei Projektkosten von 130.000 Euro also ein Plus von 130.464 Euro, wir hätten unseren Einsatz verdoppelt. 

So, geschätzte  Leser, gib mal bitte einen Tipp ab: Was denkst du, wie hoch die Wahrscheinlichkeit für den Break Even im ersten Jahr ist (also Umsatzplus ≥ 260.000 Euro, gleich Gewinnplus von ≥ 130.000 Euro)? Notiere die Zahl irgendwo.

Ich selber betrachte das mal ganz naiv: Man könnte doch sagen, dass der Break-Even irgendwo in der Mitte von Worst Case und Best Case liegt. Sprich: Ungefähr eine 50/50 Chance für Break Even besteht. Wir sind ein risikofreudiges Unternehmen, die 50/50-Chance auf einen Break Even mit Option auf einen ROI von circa 100% im ersten Jahr akzeptieren wir! No risk, no fun! 

Leider ist unsere Überlegung falsch. Jetzt schauen wir uns an, wie das Risiko sich tatsächlich darstellt.

Menschen sind schlecht in Statistik (bzw. Kombinatorik)

Der gerade gezeigt Ansatz ist, wie gesagt, methodisch unsinnig. Die Wahrscheinlichkeit, dass alle Verbesserungen gleichzeitig voll eintreten, ist extrem niedrig. Die Wahrscheinlichkeit, dass alle Verbesserungen gleichzeitig ausbleiben aber auch. Man kann das mit Würfeln zeigen, wie im folgenden Bild zu sehen.

 

Die Wahrscheinlichkeit für die niedrigste Augensumme mit zwei Würfeln, also 2, ist viel niedriger als die Wahrscheinlichkeit, z.B. eine Summe von 5 oder 6 zu würfeln. Selbiges gilt natürlich auch für die 12.

Rechnen wir ein Monte-Carlo-Modell für unser Projekt

Um nun zu berechnen, wie sich die Wahrscheinlichkeit auf verschiedene Umsatzsteigerungen (zw. Worst Case und Best Case) verteilt, machen wir am Computer eine Monte-Carlo-Simulation.

Dabei lassen wir einen Computer sehr, sehr oft (in unserem Fall 10.000 Mal) mit Zufallszahlen durchrechnen, was passiert. Im einen Szenario haben wir z.B. einen Besucher mehr am Tag, einen Warenkorbwert von 45 Euro und eine leicht erhöhte Conversion. Im nächsten haben wir keine Besucher pro Tag zugewonnen, einen Warenkorbwert von 41 und eine leicht höhere Conversion. Und so weiter. Für die drei Parameter Besucherzahl, Conversion und Warenkorbwert werden also 10000 Mal Zufallszahlen eingesetzt im Bereich unser getroffenen Annahmen. Man kann das mit Excel machen und mit speziellen Monte-Carlo-Simulationstools. Wir haben ein kleines Computerprogramm dafür selber geschrieben.

Die Wahrscheinlichkeitsverteilung, die so entsteht, siehe Histogramm-Abbildung, können wir dann analysieren. 

Die Ergebnisse der Monte-Carlo-Simulation

Der Median, also die 50/50 Chance, steht bei einem Umsatzplus von 243.160 Euro, also Gewinnplus von 121.580 Euro. Das wäre ein Minusgeschäft für uns, weil wir von 130.000 Euro Projektkosten ausgehen. Aber nur ein kleines Minus.

Das Worst-Case-Szenario ist jetzt aber nicht etwa kein Umsatzplus, denn das ist auf Basis der Annahmen extrem unwahrscheinlich. Mit 99% Wahrscheinlichkeit (siehe Tabelle bei 1%) wird unser Revamp im ersten Jahr mind. 229.772 Euro zusätzlichen Umsatz einspielen — also einen zusätzlichen Gewinn von 114.886 Euro. Gemäß dieser Berechnung verlieren wir also statistisch betrachtet im Worst-Case-Szenario maximal 15.000 Euro. 

Gleiches gilt aber auch anders herum: Die Wahrscheinlichkeit die 130.000 Euro komplett reinzuholen, ist auch extrem niedrig, sie liegt bei knapp 0,1% (siehe Tabelle), also auch nur einem Promille! 

Sowohl ein kompletter Break even als auch ein totaler Verlust der 130.000 Euro sind also extrem unwahrscheinlich

Diese Zahlen unterscheiden sich deutlich von unserer “Bauchgefühl-Mathematik” vorhin. Sie ermöglichen eine bessere Beurteilung des Risikos. Ich wage mal eine C-Level-Entscheidung!

Bessere Entscheidungen treffen durch Modelle mit Monte Carlo

Meine persönliche Einschätzung und Entscheidung wäre: Machen! Auch wenn wir die C-Level-Vorgabe höchstwahrscheinlich nicht erfüllen, also Break-Even im ersten Jahr. Wir haben eine 50/50 Chance, max. knapp 9000 Euro zu verlieren im ersten Jahr. Ein Verlust von circa 15.000 stellt (statistisch) unser Maximalrisiko dar bei einer Chance von 1%. Bei 1 Promille wären es auch nur circa 17.000 Euro Verlust. Damit kann man argumentieren: Ein Break-Even im ersten Jahr ist sehr unwahrscheinlich (1 Promille), aber das Risiko insgesamt ist moderat bis minimal.

 

Wahrscheinlichkeitsverteilung aus der Monte-Carlo-Simulation

Wahrscheinlichkeitsverteilung aus der Monte-Carlo-Simulation

 

Unter dem Strich sehen wir: Die Monte-Carlo-Methode gibt uns ein wertvolles Werkzeug an die Hand, um Chancen und Risiken zu bewerten, besser, als wir das mit Pi*Daumen und einfachen Rechenansätzen könnten.

Anhang 1: Wie kommen wir zu vernünftigen Annahmen?

Die Gretchenfrage ist sicherlich: Wie gut sind unsere Annahmen? Wie viel wird die Conversion durch unsere Maßnahmen steigen? Wie viel mehr Warenkorbwert erwarten wir uns? Hubbard empfiehlt hier zwei Dinge:

  • Ranges angeben statt fixierter Zahlen. Kein Mensch weiß, ob der Warenkorbwert-Durchschnitt von 40 auf 43 oder 47 steigt. Einen Bereich anzugeben, in dem wir den Wert mit 90% Wahrscheinlichkeit erwarten, ist viel sinnvoller.
  • Die Leute, die die Schätzungen machen, müssen ein Schätztraining durchlaufen. Hubbard zeigt, wie sehr wir “normalen Menschen” und auch Professionals im Schätzen daneben liegen, wenn wir nicht ein Training gemacht haben, um die gängigen Schätzfehler zu vermeiden. In einer Studie über Schätzungen bzgl. Wirtschaftsentwicklung in den nächsten 10 Jahren zeigten Uni-Professoren kein besseres Ergebnis als Leute von der Müllabfuhr. 

Anhang 2: Verfeinerung des Modells

Die Annahmen in diesem Modell sind natürlich vereinfacht. Wir gehen z.B. davon aus, dass wir an allen 365 Tagen des Jahres denselben Traffic im Shop haben, was sicher nicht stimmt. Auch die Annahme, dass das nächste Jahr sich genau so verhalten wird wie das vergangene (wieder 730.000 Euro Umsatz) ist zweifelhaft usw. Und sicher gibt es mehr Einflussgrößen, die man evtl. berücksichtigen muss. Das Modell soll aber ja erst mal v.a. nur zeigen: Statistische Ansätze geben fast immer bessere Ergebnisse als das Bauchgefühl, auch das Bauchgefühl von Experten.

Anhang 3: Machs Agile

Der nächste Schritt wäre nun sicherlich, zu untersuchen, wie wir unsere Annahmen validieren können mit wenig Aufwand und wenig Geld. Agile Ansätze, wie z.B. Scrum oder der Lean-Startup-Ansatz, trainieren uns darin, so billig und schnell wie möglich zu einer Aussage zu kommen, ob unsere Hypothese stimmt. Wird die Umsetzung unseres Konzepts wirklich zu bis zu 20% mehr Warenkorbwert führen? Wie könnten wir das testen? 

Wie könnten wir z.B. die Features, die uns das versprechen, in einer Minimal-Variante bauen, um zu messen, ob wir auf dem richtigen Weg sind? Mit einem Mockup und einer kleinen Testgruppe? Mit einem Fake-Feature, wie Joshua Kerievsky, Gründer von Modern Agile, das nennt? Donald Reinertsen nennt das: Information kaufen. In Hubbards Buch gibt es mehrere Kapitel, die sich mit dem Wert von Information (Information Value) beschäftigen. Wie gesagt, ein unbedingt lesenswertes Buch.

Autor

Agile Transformation heißt ständige Erneuerung.

Sprechen Sie mit uns über Ihren Weg in die digitale Zukunft, wir freuen uns drauf!

Autor

Sacha StorzAgile Coach