Die Begründungsprüfung: Tippt das Modell aus den richtigen Gründen?

Warum eine Begründung überhaupt geprüft wird

Ein Modell, das den Ausgang richtig tippt, aber seine Einschätzung auf eine Formkurve stützt, die es sich zusammengereimt hat, hat nichts verstanden. Es hatte Glück. Ein Modell, das die kausalen Zusammenhänge korrekt benennt, ist auch dann vertrauenswürdiger, wenn das Spiel anders ausgeht – denn Fußball enthält einen Zufallsanteil, den keine Analyse beseitigt.

Die Trefferquote allein kann diesen Unterschied nicht abbilden. Die Begründungsprüfung kann es.

Strukturierte Faktoren statt Fließtext

Jedes Modell liefert neben dem Begründungstext eine Handvoll strukturierter Schlüsselfaktoren. Das ist die Voraussetzung dafür, dass überhaupt automatisch geprüft werden kann – ein Fließtext ließe sich nicht zuverlässig gegen ein Ergebnis halten.

Abgefragt werden fünf Felder: Heimvorteil, aktuelle Form, direkter Vergleich, Auswirkung von Ausfällen und der aus Sicht des Modells entscheidende Faktor.

Was sich prüfen lässt – und was nicht

Unprüfbare Aussagen werden weder belohnt noch bestraft. Sie fallen schlicht aus der Wertung. Das ist wichtig, weil sonst ein Anreiz entstünde, möglichst vage zu formulieren – oder umgekehrt, unprüfbare Aussagen ganz zu vermeiden, obwohl sie inhaltlich richtig sein können.

Wie der Wert berechnet wird

Aus den genannten Faktoren werden zuerst die prüfbaren herausgefiltert. Von diesen wird ermittelt, wie viele tatsächlich eingetreten sind. Der Anteil ergibt den Wert.

• Drei von vier prüfbaren Faktoren sind eingetreten: 75 Prozent.
• Kein prüfbarer Faktor dabei: neutraler Wert, weder Bonus noch Strafe.
• Alle prüfbaren Faktoren daneben: 0 Prozent, volle Strafe.

Für den Gesamtscore wird dieser Wert so umgerechnet, dass 50 Prozent der Nulllinie entsprechen: Wer mehr als die Hälfte seiner prüfbaren Aussagen trifft, bekommt Punkte gutgeschrieben, wer darunter liegt, verliert welche.

Was die Auswertung über Halluzinationen zeigt

Auf der Metrik-Seite steht zu jedem Modell, welche Begründungen es am häufigsten genannt hat und wie oft sich diese belegen ließen. Dort werden Muster sichtbar, die im Einzelfall nicht auffallen.

Ein wiederkehrendes Beispiel: Modelle nennen den direkten Vergleich als Faktor, obwohl für die betreffende Partie gar keine Daten dazu vorlagen. In der Auswertung erscheint das dann als Faktor, der nicht prüfbar war – tatsächlich handelt es sich um eine Aussage über Daten, die es nicht gibt. Welche Lücke dahintersteckt, beschreibt der Artikel über die fehlenden Direktvergleiche.

Warum das Gremium hier neutral bleibt

Die Endprognose des KI-Gremiums enthält eine Begründung im Fließtext, aber keine strukturierten Schlüsselfaktoren – sie entsteht als Synthese aus den Einzelprognosen. Deshalb bekommt sie in dieser Säule einen neutralen Wert, der nicht in ihren Gesamtscore einfließt.

Das ist eine bewusste Entscheidung: Lieber eine offene Lücke als ein Wert, der eine Prüfung vortäuscht, die nicht stattgefunden hat.

Was Sie davon haben

Auf jeder Prognose sehen Sie nach dem Spiel, welche der genannten Faktoren sich bestätigt haben. Damit können Sie selbst beurteilen, ob ein Modell die Partie verstanden hat oder ob es eine plausibel klingende Geschichte erzählt hat, die zufällig zum Ergebnis passte.

Das ist die Information, die bei den meisten Prognoseangeboten fehlt – dort steht nur, was getippt wurde, nie, ob die Begründung trug.