Prognosegüte, ehrlich dargestellt

Walk-Forward über 159 Wochen out-of-sample. Auf der obersten Aggregatebene ist die Fortschreibung minimal besser; dort gibt es keine Zahl.

Eine Woche zurückEine Woche weiter

Jede Woche lernt das Modell nur aus Wochen davor und wird an genau einer Woche geprüft, die es nie gesehen hat. Dann rückt das Fenster vor. Über 159 Wochen ergibt das 159 Prüfungen, keine davon mit Wissen aus der Zukunft.

Ausgangslage

Eine Prognose ist erst dann ein Argument, wenn sie an etwas gemessen ist. Die Plattform aus der ersten Fallstudie rechnet Absatzprognosen. Die Entscheidung, um die es geht, ist die Zahl der Tiere je Woche. Die Frage der Fachseite war einfach: Ist das Modell besser als das, was wir bisher tun? Bisher hieß: die Vorwoche fortschreiben. Diese Fortschreibung ist die Messlatte. Sie ist billig, jeder versteht sie, und sie ist schwerer zu schlagen, als es klingt.

Ich wollte eine Antwort, die vor einem technischen Interviewer besteht und die eine Geschäftsführung ohne Übersetzung lesen kann. Das heißt: derselbe Maßstab für Modell und Messlatte, ein Zeitraum, der lang genug ist, und ein Ergebnis, das auch die unbequeme Ebene zeigt.

Entscheidung

Drei Festlegungen, bevor eine Zahl gerechnet wurde.

Erstens: Walk-Forward statt einer einzigen Aufteilung in Training und Test. Für jede Woche lernt das Modell nur aus Daten, die vor dieser Woche vorlagen, und wird dann auf genau diese Woche angewendet. 159 Wochen nacheinander, alle out-of-sample. So sieht der Test aus wie der Betrieb.

Zweitens: die Vorwochen-Fortschreibung als Messlatte, nicht ein zweites Modell. Wenn das Modell die Fortschreibung nicht schlägt, hat es keinen Wert, egal wie elegant es ist.

Drittens: ein Fehlermaß auf drei Ebenen. Ich nutze den gewichteten mittleren absoluten Prozentfehler, kurz WMAPE. Große Mengen wiegen darin mehr als kleine, und kleiner ist besser. Die Entscheidungsebene, Tiere je Woche, zählt am meisten. Die feinste Ebene, Kunde mal Artikel mal Woche, zeigt, ob das Modell auch im Detail trägt. Die oberste Aggregatebene zeigt, ob es im Großen etwas hinzufügt.

Umsetzung

Das Modell lernt aus der Verkaufshistorie und wird je Woche neu angepasst. Die Fortschreibung braucht kein Training. Sie nimmt die Vorwoche als Prognose. Beide bekommen dieselben 159 Wochen und dieselbe Bewertung.

Auf der feinsten Ebene sind das 789.650 Paare aus Kunde, Artikel und Woche. Auf der Entscheidungsebene sind es die Tiere je Woche über denselben Zeitraum.

Nebenbei habe ich ein Gate gebaut: einen Klassifikator, der vorab entscheiden sollte, ob für ein Paar überhaupt Absatz zu erwarten ist. Ich habe ihn in sechs Varianten gemessen. Keine war besser als die einfache Heuristik, die vorher diese Aufgabe hatte. Also ist er raus. Ein verworfener Baustein, der gemessen wurde, ist mir lieber als ein eingebauter, der nur plausibel klingt.

Drei weitere Ideen habe ich auf dieselbe Art geprüft und verworfen oder zurückgedreht.

Wetter: Die Vermutung war, dass Grillwetter den Absatz treibt. Gegen eine Kalender-Basislinie aus Wochentag, Kalenderwoche und Jahr bleibt vom Wetter kein eigenes Signal übrig. Was wie Wettereinfluss aussah, war Saisonalität, und die steckt schon im Modell. Ergebnis: keine Wetter-Schnittstelle. Ferien und Feiertage wirken, sind aber kalenderbestimmt und brauchen keine externe Quelle.

Ein gemeinsames Modell über alle Standorte: klingt nach mehr Daten und besserer Prognose. Im Walk-Forward war es an jedem Standort schlechter als das jeweilige Einzelmodell, über alle Horizonte. Ich habe es zurückgedreht und die Einzelmodelle neu trainiert.

Artikelebene für die Tierentscheidung: Ein Modell auf der feinsten Ebene, hochgerechnet auf Tiere, war nicht besser als ein Modell direkt auf der Entscheidungsebene. Dafür hatte es einen fehleranfälligen Zuordnungsschritt mehr. Die Artikelebene bleibt, wo sie gebraucht wird, im Vertrieb. Für die Tiere wird auf der Ebene prognostiziert, auf der entschieden wird.

Ergebnis mit Messung

Auf der Entscheidungsebene senkt das Modell den Fehler von 28,2 auf 20,6 Prozent. Auf der feinsten Ebene von 58,8 auf 50,0 Prozent, und zwar in 150 von 159 Wochen. In den übrigen Wochen war die Fortschreibung besser.

Auf der obersten Aggregatebene ist die Vorwochen-Fortschreibung minimal besser als das Modell. Das gehört hierher und nicht in eine Fußnote. Die Erklärung ist unspektakulär: Im Großen mittelt sich vieles weg, und die Vorwoche ist dort ein sehr guter Schätzer. Das Modell bringt seinen Nutzen eine Ebene tiefer, dort, wo entschieden wird. Wer nur die Summe braucht, braucht das Modell nicht. Das sage ich der Fachseite so.

Was ich anders machen würde

Ich würde den Messrahmen vor dem ersten Modell bauen. Walk-Forward, Messlatte und die drei Ebenen stehen dann fest, bevor ein Modell hineingestellt wird. Jedes weitere Modell bekommt automatisch dieselbe Prüfung, und niemand kann sich die Ebene aussuchen, auf der es gut aussieht.

Ich würde die unbequeme Ebene von Anfang an ausweisen, als festen Teil jeder Auswertung, nicht als Nachtrag. Eine Auswertung, die nur die guten Ebenen zeigt, verliert das Vertrauen der Fachseite beim ersten Nachrechnen.

Beim Gate hätte ich früher aufhören sollen. Sechs Varianten waren zu viele. Wenn die ersten beiden die Heuristik nicht schlagen, sagt das meist schon alles.

Ich würde neben dem Punktfehler auch die Bandbreite messen. Ein Fehler von 20,6 Prozent sagt, wie weit die Prognose im Mittel daneben liegt. Er sagt nicht, wie oft ein angekündigter Bereich gehalten hat. Das ist die Zahl, die die Fachseite für die Einkaufsmenge eigentlich braucht.

Technik

• LightGBM
• Python
• Walk-Forward-Validierung
• WMAPE