Warum Kalibrierung wichtiger ist als die Trefferquote

Was Konfidenz hier bedeutet

Jedes Modell gibt zu jeder Prognose einen Prozentwert an. Dieser Wert bezieht sich ausdrücklich auf die Tendenz – also darauf, ob Heimsieg, Unentschieden oder Auswärtssieg eintritt. Er bezieht sich nicht auf das exakte Ergebnis.

Diese Unterscheidung ist keine Haarspalterei. Ein Modell kann zu Recht sehr sicher sein, dass der Tabellenführer beim Schlusslicht gewinnt, und gleichzeitig keine Ahnung haben, ob es 1:0 oder 4:0 ausgeht. Würde sich die Konfidenz auf das exakte Ergebnis beziehen, müssten alle Werte im einstelligen Prozentbereich liegen – die Angabe wäre wertlos.

Was Kalibrierung bedeutet

Ein Modell ist gut kalibriert, wenn seine Selbsteinschätzung zur Realität passt. Sagt es bei hundert Spielen jeweils „80 Prozent sicher“, sollte es rund achtzig davon richtig treffen. Trifft es nur sechzig, überschätzt es sich. Trifft es fünfundneunzig, ist es übervorsichtig.

Der letzte Fall ist der problematischste. Ein Modell, das regelmäßig 95 Prozent Sicherheit behauptet und dann in vier von zehn Fällen danebenliegt, ist unbrauchbarer als eines mit schlechterer Trefferquote, das seine Unsicherheit offen kommuniziert. Im ersten Fall kann man der Angabe nicht trauen. Im zweiten schon.

Wie die Kalibrierung berechnet wird

Die Bewertung läuft in zwei Stufen. Zuerst wird die Abweichung der Konfidenz von der Zufallsschwelle gebildet: Eine Angabe von 50 Prozent entspricht einem Münzwurf und bringt weder Bonus noch Strafe. Je weiter die Angabe darüber liegt, desto stärker schlägt sie durch – nach oben bei richtiger Tendenz, nach unten bei falscher.

In der zweiten Stufe greift ein Qualitätsfaktor. Wer die Tendenz trifft, aber beim Ergebnis weit danebenliegt, erhält nur einen Teil des möglichen Bonus. Bei falscher Tendenz wird nicht gedämpft – dort wirkt die volle Strafe.

Diese Asymmetrie ist beabsichtigt. Falsche Sicherheit soll teurer sein als vorsichtige Richtigkeit, weil sie den größeren Schaden anrichtet: Sie verleitet dazu, einer Aussage zu vertrauen, die kein Fundament hat.

Die Kalibrierungsrate im Saison-Index

Für das Saison-Ranking wird zusätzlich gezählt, wie oft eine Prognose als kalibriert gelten kann. Als kalibriert zählt:

• hohe Sicherheit ab 70 Prozent bei richtiger Tendenz
• niedrige Sicherheit unter 60 Prozent bei falscher Tendenz
• der Bereich zwischen 60 und 69 Prozent, unabhängig vom Ausgang – hier hat das Modell echte Unsicherheit signalisiert

Diese Rate macht ein Viertel des Modell-Index aus. Ein Modell kann also allein dadurch im Ranking steigen, dass es ehrlich mit seinen Grenzen umgeht – auch wenn seine Trefferquote nicht die beste ist.

Das Kalibrierungsdiagramm auf der Metrik-Seite

Auf der Metrik-Seite steht zu jedem Modell ein Balken für die tatsächlich erreichte Trefferquote und ein Strich für die durchschnittlich angegebene Sicherheit. Liegen beide nah beieinander, ist das Modell ehrlich. Steht der Strich deutlich über dem Balken, überschätzt es sich.

Zusätzlich werden die Prognosen nach Konfidenzbereichen gruppiert – 50 bis 59 Prozent, 60 bis 69 und so weiter. So lässt sich erkennen, ob ein Modell in einem bestimmten Bereich systematisch danebenliegt, etwa nur bei den sehr sicheren Tipps.

Was Sie daraus mitnehmen können

Wenn Sie auf dieser Seite eine Prognose lesen, achten Sie weniger auf das getippte Ergebnis als auf den Konfidenzwert – und darauf, wie gut das jeweilige Modell in der Vergangenheit kalibriert war. Eine Prognose mit 58 Prozent Sicherheit von einem gut kalibrierten Modell sagt Ihnen etwas Ehrliches: Dieses Spiel ist offen.

Das ist die nützlichere Information als eine scheinbar präzise Zahl, hinter der keine Substanz steht.