Das Metrik-Framework: Wie Prognosen bewertet werden

Säule 1: Der Ergebnis-Score

Die erste Frage lautet schlicht: Wie nah war die Prognose am tatsächlichen Ausgang? Dafür gibt es sieben Stufen, vier davon mit Pluspunkten und drei mit Minuspunkten.

Die Minuspunkte sind kein Schmuck. Ohne sie könnte ein Modell seinen Punktestand allein durch Masse verbessern – wer bei jedem Spiel irgendetwas tippt, sammelt zwangsläufig Treffer ein. Mit Minuspunkten kostet jede Fehleinschätzung tatsächlich etwas, und die Höhe der Strafe richtet sich danach, wie weit daneben sie lag.

Eine Sonderregel für Unentschieden

Bei einem korrekt getippten Remis entfällt der Differenz-Treffer. Der Grund ist mathematisch: Die Tordifferenz ist bei einem Unentschieden immer null. Ohne diese Ausnahme wäre jedes richtig getippte Remis automatisch mindestens ein Differenz-Treffer – und Modelle, die vorsichtshalber oft auf Unentschieden tippen, würden dafür systematisch belohnt.

Säule 2: Die Konfidenz-Kalibrierung

Jedes Modell gibt an, wie sicher es sich ist. Diese Angabe wird gegen das Ergebnis gehalten. Lag das Modell richtig und war sich sicher, gibt es einen Bonus. Lag es falsch und war sich sicher, kostet das entsprechend mehr, als wenn es Unsicherheit signalisiert hätte.

Dazu kommt ein Qualitätsfaktor: Wer die Tendenz trifft, aber beim Ergebnis weit danebenliegt, bekommt nicht den vollen Konfidenz-Bonus. Bei falscher Tendenz greift dagegen die volle Strafe, ungedämpft. Die Asymmetrie ist Absicht – falsche Sicherheit soll teurer sein als zurückhaltende Richtigkeit.

Warum das wichtiger ist als die reine Trefferquote, steht im eigenen Artikel zur Kalibrierung.

Säule 3: Die Begründungsprüfung

Jede Prognose nennt Schlüsselfaktoren. Nach dem Spiel wird geprüft, ob diese Faktoren tatsächlich eingetreten sind. Nicht jeder Faktor lässt sich automatisch prüfen – „taktische Überlegenheit“ etwa nicht. Solche Aussagen werden übersprungen und zählen weder positiv noch negativ.

Der Wert ergibt sich aus dem Anteil der eingetretenen an den prüfbaren Faktoren. Nennt ein Modell ausschließlich unprüfbare Faktoren, bekommt es einen neutralen Wert – weder Bonus noch Strafe.

Der Schwierigkeitsmultiplikator

Nicht jedes Spiel ist gleich schwer. Der Multiplikator gewichtet den Score nach dem Abstand der beiden Mannschaften in der Tabelle.

Ein korrekt vorhergesagter Sieg des Tabellenführers gegen das Schlusslicht ist eben keine Analyseleistung. Ein erkannter Außenseitersieg dagegen schon. Der Multiplikator sorgt dafür, dass sich das im Punktestand niederschlägt.

Wie daraus ein Gesamtscore wird

Die drei Säulen werden addiert und mit dem Schwierigkeitsmultiplikator gewichtet. Der Ergebnis-Score bringt dabei mit Abstand das meiste Gewicht ein, Kalibrierung und Begründung können jeweils bis zu einen Punkt hinzufügen oder abziehen.

Ein Beispiel macht es greifbar: Ein Volltreffer bei einem Außenseitertipp, mit hoher angegebener Sicherheit und überwiegend zutreffenden Begründungen, landet bei gut acht Punkten. Derselbe Volltreffer bei einem klaren Favoriten, mit neutralen Begründungen, kommt auf gut vier. Zweimal dasselbe Ergebnis, doppelt so viel Wert für die schwierigere Einschätzung.

Der Modell-Index über die Saison

Für das Saison-Ranking werden die Einzelscores zu einem Index auf einer Skala von 0 bis 100 verdichtet. Er setzt sich zur Hälfte aus der Punkteleistung zusammen, zu je einem Viertel aus Kalibrierung und Begründungsqualität.

Dabei zählen jüngere Spieltage stärker als ältere. Am Saisonanfang ist das Fenster klein und wächst mit der Zahl der gespielten Spieltage – ab Spieltag neun umfasst es acht Spieltage. Der Index wird nicht über Saisongrenzen mitgenommen, weil sich sowohl die Modelle als auch die Liga-Zusammensetzung ändern.

Warum dieser Aufwand

Weil die interessante Frage nicht lautet, ob eine KI Fußball vorhersagen kann – das kann sie nur begrenzt. Die interessante Frage lautet, ob sie ehrlich einschätzt, wie gut sie es kann, und ob ihre Begründungen tragen. Genau das misst dieses Framework, und die Ergebnisse stehen offen auf der Metrik-Seite.