„Meine Kennzahlen sind besser als Deine“ – Geschäftsentscheidungen mit KI verbessern

IN Machine Learning — 04 July, 2017

P. Sondergaard, Senior Vice President von Gartner hat den berühmten Satz geprägt: „Algorithms are where the real value lies.” Künstliche Intelligenz (KI) und Machine Learning formen ganze Industriezweige und Branchen um und bilden das Fundament für die nächste industrielle Revolution.

metrics_better_than_yours_v1.0_options_02-12.png

Unternehmen, vor allem im Einzelhandel, sind zunehmend daten- und zahlenorientiert. Mithilfe von Predictive Applications können bis zu 99 % der operativen Entscheidungen automatisiert werden. Ermöglicht wird das durch komplexe KI-Algorithmen, die alle relevanten Daten analysieren, um daraus Prognosen zu erstellen, die in Geschäftsentscheidungen umgesetzt werden. So kann ein Einzelhändler beispielsweise eine Predictive Application nutzen, um täglich Preise für jedes Produkt in jeder Filiale festzulegen und gleichzeitig die Veränderungen im Kundenverhalten verfolgen und berücksichtigen.

Wie lässt sich der Erfolg messen? Diese Frage ist der Grundpfeiler jedes neuen Projekts zur Einführung von KI-basierten Anwendungen in die operativen Systeme eines Unternehmens. „Lohnt sich das? Profitiert die Firma davon?“ Diese Fragen einfach mit „Ja“ zu beantworten genügt nicht. Die Antwort muss auch durch eine quantitative Messgröße gestützt werden, die durch die optimierten Entscheidungen der KI-Lösung deutlich erhöht oder gesenkt wird. Ebenso müssen während des laufenden Betriebs, wenn permanent Entscheidungen in das operative System eingespeist werden, Projektleiter und Führungskräfte die Leistung der KI-basierten Anwendung im Tagesgeschäft überwachen: „Ist alles in Ordnung? Sind die Entscheidungen noch optimal? Oder hat sich etwas verändert, das eine genauere Betrachtung verdient – und möglicherweise die Überarbeitung des KI-Modells?“

Der wichtigste Maßstab für den Erfolg im Einzelhandel und in Unternehmen ist der (erwartete) Gewinn. Während der Einrichtungsphase kann der Erfolg daran gemessen werden, wie viel mehr Geld im Vergleich zu vorher verdient wurde.

Einfach nur den Gesamtgewinn als einzige Messgröße zu bestimmen, ist jedoch problematisch. Möglicherweise wurde gleichzeitig an mehreren Projekten gearbeitet, von denen jedes zu einer deutlichen Verbesserung des Geschäfts geführt hat. Dadurch wird es schwierig festzustellen, welches Projekt welchen Beitrag geleistet hat. Hinzu kommt, dass Projektleiter und Führungskräfte vielleicht die Leistung eines bestimmten Teils des Geschäfts hervorheben wollen, indem sie eine neue Kennzahl zur Leistungsmessung (KPI) einführen. Ein Lebensmittelhändler will zum Beispiel seine Regallücken und seine Abfälle verderblicher Ware messen, obwohl beide Größen bereits implizit als entgangene Umsätze und als Abschriften und Entsorgungskosten im erwarteten Gewinn enthalten sind. Klare KPIs zu definieren ist bestenfalls eine ambivalente Entscheidung und im Wesentlichen der Versuch, ein komplexes Geschäft auf wenige Zahlen zu reduzieren, die meistens noch nicht einmal direkt auf die Gesamtgeschäftsstrategie einzahlen. So ist zum Beispiel die Verringerung von Regallücken und Abfällen bei verderblichen Waren ein wichtiges Ziel. Es fällt aber schwer, sich vorzustellen, dass der CEO eines börsennotierten Unternehmens seinen Aktionären berichtet: „Wir verzeichnen Gewinneinbußen und schreiben erhebliche Verluste, aber wir haben unsere Restbestände um 10 % reduziert!“ Noch unwahrscheinlicher ist, dass die Aktionäre bei einer solchen Mitteilung in Jubel ausbrechen.

Es kommt aber auch vor, dass die Diskussion über KPIs und Messgrößen nicht die notwendige Aufmerksamkeit bekommt. Zum Beispiel:

  • Welche Messgrößen und KPIs sollten ausgewählt werden? Schon die Entscheidung, welche KPIs beobachtet werden sollen, hat einen maßgeblichen Einfluss auf ein Projekt – es ist als ob die Teile, die sich nicht in diesen Zahlen widerspiegeln, überhaupt nicht existierten. Sind die gewählten KPIs und Messgrößen wirklich diejenigen, von denen das Unternehmen am meisten profitiert? Oder sind es nur Standardzahlen, deren Entwicklung ohnehin schon immer beobachtet wurde? Kann die Auswahl der KPIs geändert werden? Und was passiert in diesem Fall mit vertraglichen Verpflichtungen?
  • Welche Werte der KPIs oder Messgrößen sind wünschenswert? Wenn die KPIs und Messgrößen einmal vereinbart sind, ist deren Beobachtung nicht ausreichend. Wichtig ist, dass eine Grenze gezogen wird, wann Kennzahlen „gut“ oder „schlecht“ sind. Wenn man keine Limits setzt, kann man genauso gut auf die Beobachtung der KPIs und der Messgrößen verzichten: Es ist schön, Informationen zu haben, es müssen sich aber auch Konsequenzen und Handlungsempfehlungen ableiten lassen. Noch schlimmer ist, KPIs und Messgrößen nach Instinkt oder „Bauchgefühl“ zu behandeln, denn dadurch werden die operativen Entscheidungen eines Geschäfts weniger zuverlässig und berechenbar. Hier alles richtig zu machen, ist eine der schwierigsten Aufgaben bei der Definition eines Projekts und Business Cases. Was bedeutet „gut“ und „schlecht“ im Kontext des Projekts? Warum wird ein bestimmter Wert als Limit definiert und nicht ein anderer? Welche Auswirkungen hat ein „schlechter“ KPI? Macht es einen Unterschied, ob ein KPI „ein bisschen schlecht“ oder „gerade noch gut“ ist? Wenn ja, was und wie viel bedeutet es in dieser spezifischen Konfiguration? Welcher Wert eines KPIs verlangt rasches und welcher unverzügliches Handeln und wie sieht dieses aus? Kann der Folgeprozess ebenfalls automatisiert werden?
  • Unterschiedliche KPIs und Messgrößen stehen häufig in einem Widerspruch zueinander. Ein Supermarkt beobachtet beispielsweise die Restbestände verderblicher Waren einerseits und die Out-of-Stock-Raten andererseits. Ist einer dieser KPIs wichtiger als der andere? Wenn ja, wie viel wichtiger? Kann ein KPI zulasten des anderen optimiert werden oder gibt es eine Untergrenze, unter die keiner der beiden KPIs fallen sollte?
  • In der Praxis sollen KPIs oft „einfach“ sein, sowohl hinsichtlich ihrer Messbarkeit als der Mathematik dahinter. Ein klar definierter und messbarerer KPI ist nicht nur wünschenswert, sondern essenziell. Die „Kundenzufriedenheit“ ist beispielsweise ein wichtiger Aspekt des Geschäfts. Aber wie lässt sie sich messen oder überhaupt definieren? Jeder hat eine instinktive, wenn auch vage Vorstellung von „Zufriedenheit“. Aber wie übersetzt man dieses Gefühl in objektive und messbare Zahlen? Indem man die Anzahl der Beschwerden misst? Die durchschnittliche Zeit, die der Kunde in einer Filiale verbringt? Indem man zählt, wie oft Kunden den Smiley-Button am Ausgang gedrückt haben? Jedes dieser Beispiele basiert auf subjektiven Eindrücken und kann durch bessere Messgrößen ersetzt werden. Wenn beispielsweise die Rückgaben oder Reklamationen reduziert werden sollen, warum nicht deren Anzahl messen?
  • Eine der vielen Fallen, in die Projektteams gerne tappen, ist der Versuch, aus verschiedenen Gründen allzu sehr zu vereinfachen. Wenn der Aspekt, dessen Veränderung beobachtet werden soll, nicht bis ins Detail verstanden wurde, vermittelt eine vage Definition den Eindruck, dass etwas vereinbart wurde, obwohl gar nicht klar ist, wie das dem Projekt zugute kommt. In anderen Fällen ist die Situation zu komplex, um sie in einer einfachen Zahl auszudrücken. Und manchmal versteht auch der Projektleiter oder ein Mitglied der Geschäftsführung die mathematische oder konzeptionelle Komplexität hinter einem bestimmten KPI nicht. Die naheliegende Lösung, für die Statusanzeige ein Ampelsystem zu verwenden (gut/aufpassen/schlecht), ist oft nicht umsetzbar, weil dazu sehr viel Mut und Vertrauen notwendig ist: das Vertrauen, dass das eigene Team – oder auch das Team des Anbieters – das Richtige tut, und der Mumm, als Manager „loszulassen“. In anderem Umfeld fallen uns „vertrauen“ und „loslassen“ übrigens viel leichter und wir tun es ständig. Oder denken Sie beim Autofahren permanent über die Motortemperatur nach oder darüber, was passierten könnte, denn der Zeiger nicht in der Mitte der Anzeige steht?

Die Messung der Prognosequalität ist besonders im Falle einer Regression ein gutes Beispiel, um die Komplexität der Diskussion über Messgrößen und KPIs zu veranschaulichen. Tatsächlich ist das Thema so komplex, dass man ganze Bücher darüber schreiben kann. Es ist schwierig, wenn nicht gar unmöglich, es auf eine einfache Zahl als Ergebnis einer einfachen Formel zu reduzieren – vor allem, da viele Aspekte berücksichtigt werden müssen. Trotzdem versucht fast jedes neue Projekt, eine neue einfache Messgröße zu definieren, welche die „Quadratur des Kreises“ sein soll. Die Sache wird noch dadurch verkompliziert, dass viele Manager denken, sie müssten eine Messgröße – oder sogar ein Vertragsziel – definieren, um die Präzision der Prognosen zu messen. Während akkurate Prognosen zwar für jede Optimierung essenziell sind, schöpfen Unternehmen meistens nicht aus den Prognosen selbst Mehrwert, sondern aus den daraus abgeleiteten optimierten Entscheidungen.

Warum also die Prognosequalität zu einem ausdrücklich kontrollierten KPI machen, vielleicht sogar mit Vertragspflichten? Sie ist noch weiter als konkretere KPIs wie Out-of-Stock-Raten oder Restbestände entfernt als der erwartete Gewinn – um den es den Unternehmen letztlich ja geht. Zugegeben, die Aussage „Wir kontrollieren täglich die Prognosequalität und haben Vertragspflichten und -strafen vereinbart, um einen stabilen Betrieb zu gewährleisten“ klingt sehr aktiv und nach sicherer Kontrolle, vor allem im Vergleich zur Aussage „Lassen Sie uns sicherstellen, dass wir als einziges Geschäftsziel den höchsten (erwarteten) Gewinn machen“.

Obwohl jeder Punkt für sich genommen unkompliziert ist, kann Veränderung sehr schwer sein. Bestimmte KPIs oder Messgrößen werden möglicherweise schon so lange verwendet, dass es sehr viel Anstrengung und Mut braucht, sie zu verändern. Mut wird vor allem dann gebraucht, wenn eine bestimmt Messgröße von der höchsten Führungsebene verlangt wird, auch wenn sie für das Projekt nicht besonders hilfreich ist. Es ist keine Seltenheit, dass neue Messgrößen oder KPIs erfunden werden, um ein Projekt am Laufen zu halten, weil „der CEO eine Zahl auf seinem Management Dashboard sehen will, die möglichst zwischen 95 und 99 Prozent liegen soll“. Es ist nicht klar, was eine solche Messgröße eigentlich messen soll oder was sie mit den operativen Entscheidungen oder dem Geschäftswert zu tun hat. Und obwohl es vielleicht ganz amüsant sein kann, einfach eine Zahl zu erfinden, kann man fast sicher sein, dass ein solches Vorgehen irgendwann zu Problemen führt. Eine Messgröße zu erfinden, die nicht mit dem Geschäftsziel verknüpft ist, und auf diese zu reagieren, sollte sie unter den Grenzwert fallen, kann mehr schaden als nützen. Die andere Lösung, einfach eine beliebige Zahl zwischen 95 und 99 Prozent mit einer kleinen Abweichung zu ergänzen, hieße sein Glück mit dem „11. Gebot“ zu versuchen: Du sollst Dich nicht erwischen lassen!

Auch externe Berater können ein Projekt erschweren. Denn sie halten es möglicherweise für ratsam, eine bestimmte Messgröße zu verwenden und berufen sich dabei vielleicht sogar auf wissenschaftliche Studien einer Koryphäe auf dem Gebiet. Wird allerdings die wissenschaftliche Arbeit aus dem Zusammenhang gerissen oder passt einfach nicht zu dem vorliegenden Fall, kann es sehr schwer sein, gegen „der Professor hat es aber erforscht“ zu argumentieren.

Dr. Ulrich Kerzel Dr. Ulrich Kerzel

earned his PhD under Professor Dr Feindt at the US Fermi National Laboratory and at that time made a considerable contribution to core technology of NeuroBayes. After his PhD, he went to the University of Cambridge, where he was a Senior Research Fellow at Magdelene College. His research work focused on complex statistical analyses to understand the origin of matter and antimatter using data from the LHCb experiment at the Large Hadron Collider at CERN, the world’s biggest research institute for particle physics. He continued this work as a Research Fellow at CERN before he came to Blue Yonder as a Principal Data Scientist.