Score de Brier expliqué : comment se notent les prévisions de football

La plupart des applications de prédiction de football vendent la précision. « 70 % de précision » sonne impressionnant. « 80 % de nos meilleurs choix ont abouti » sonne plus impressionnant. Les affirmations de précision dominent l'espace. Elles sont aussi presque sans signification.

La bonne façon de noter un prévisionniste n'est pas la précision. C'est la calibration. Un prévisionniste dont les choix à probabilité de 70 % sont corrects 70 % du temps (ni 90 %, ni 50 %) fait son travail. Un prévisionniste dont les choix à 70 % sont corrects 85 % du temps est sous-confiant (probablement précieux) mais pas calibré. Un prévisionniste dont les choix à 70 % sont corrects 55 % du temps est bavard (probablement inutile).

Le score de Brier est la métrique qui note la calibration. C'est le standard de la recherche académique en prévision depuis 75 ans, et c'est ainsi que tout prévisionniste de football digne d'être écouté se note honnêtement.

Cet article passe en revue ce que mesure vraiment le Brier, comment le calculer vous-même, quelles sont les références, et pourquoi la calibration est le signal que vous devriez exiger de tout outil de prédiction.

Ce que mesure vraiment le Brier

Le Brier est un score d'erreur quadratique entre prévision et réalité. Plus bas, mieux calibré.

Pour les issues à trois voies du football (victoire à domicile, nul, victoire à l'extérieur), chaque match produit trois nombres de prévision qui somment à 1,0. Le résultat réel produit trois nombres 0 ou 1 (1 pour l'issue qui s'est produite, 0 pour les autres).

Formule par match : Brier = Σ (prévision − réel)^2 / 3

Donc une prévision de [0,60, 0,25, 0,15] pour domicile/nul/extérieur sur un match qui s'est terminé en victoire à domicile :

• Domicile : (0,60 − 1,00)^2 = 0,16
• Nul : (0,25 − 0,00)^2 = 0,0625
• Extérieur : (0,15 − 0,00)^2 = 0,0225
• Somme : 0,245
• Diviser par 3 : 0,0817

Une prévision qui aurait dit [0,95, 0,03, 0,02] sur le même match (le domicile a gagné) :

• Somme : 0,0025 + 0,0009 + 0,0004 = 0,0038
• Diviser par 3 : ≈ 0,0013

La prévision confiante et correcte obtient un score bien meilleur. Mais la prévision confiante et erronée est punie sévèrement :

• [0,95, 0,03, 0,02] sur un match qui s'est terminé en nul :
• Domicile : (0,95 − 0)^2 = 0,9025
• Nul : (0,03 − 1)^2 = 0,9409
• Extérieur : (0,02 − 0)^2 = 0,0004
• Somme : 1,8438
• Diviser par 3 : ≈ 0,6146, un désastre

La confiance est récompensée quand justifiée et punie quand non. Moyenné sur des centaines de matchs, le Brier sépare automatiquement les prévisionnistes calibrés des bavards.

Pourquoi la calibration compte plus que la précision

Considérez deux prévisionnistes.

Prévisionniste A dit toujours 95 % domicile, 3 % nul, 2 % extérieur sur chaque match à domicile d'une équipe du top-6. A raison environ 60 % du temps.

Prévisionniste B dit 62 % domicile, 24 % nul, 14 % extérieur sur les mêmes rencontres. A raison 62 % du temps.

Qui est meilleur ? En précision, A est en tête (60 % contre 62 % est proche). En calibration, B est largement en tête. Les choix à 95 % de A se trompent 40 % du temps, ce qui est terrible. Les choix à 62 % de B sont corrects 62 % du temps, ce qui est honnête.

Les scores de Brier vous disent lequel lit le signal sous-jacent correctement. Le Brier de A sera affreux parce que les probabilités à 95 % se mettent au carré quand elles se trompent. Le Brier de B sera excellent parce que les probabilités correspondent à la réalité.

Cela compte de trois façons pratiques :

Calibration du risque. Si vous utilisez une prédiction pour prendre une décision en aval (même un casuel « quel match est le plus intéressant à regarder »), savoir à quel point la probabilité est réellement fiable importe. Un 95 % d'un mauvais prévisionniste vaut moins qu'un 62 % d'un bon.

Comparaison entre prévisionnistes. Vous ne pouvez pas comparer deux prévisionnistes sur la précision brute. Quelqu'un qui ne choisit que des favoris paraîtra plus « précis » que quelqu'un qui inclut des outsiders dans ses prévisions. Le Brier fonctionne indépendamment de la distribution des probabilités.

Honnêteté. Les prévisionnistes calibrés sont moins tentés de surenchérir. Un prévisionniste qui sait qu'il sera noté au Brier ne se vante pas. Un prévisionniste qui sait qu'il ne sera noté qu'à la précision a une incitation à ne choisir que des favoris et à pomper la ligne de précision.

Références Brier pour le football

Références approximatives sur le Brier pour les issues à trois voies du football (domicile / nul / extérieur) :

• Référence toujours-nul (dit chaque match 33/33/33) : environ 0,25
• Référence probabilité aléatoire : environ 0,25
• Modèle de base sur la forme (victoires-défaites uniquement) : environ 0,225
• Modèle public correct utilisant xG + forme : 0,195 à 0,215
• Ligne de fermeture du bookmaker : autour de 0,195
• Modèle d'élite avec données d'événements + calibration soignée : 0,185 à 0,195

Les scores en dessous de 0,185 sont rares ; les scores au-dessus de 0,22 sont sous-performants. La plupart du travail analytique sérieux vit dans la plage 0,19 à 0,21, proche mais généralement sans battre les marchés des bookmakers (qui ont la pression de tarification et l'argent intelligent comme mécanisme de calibration).

Comment Tactiq pense au Brier et à la calibration

Tactiq exécute un suivi de calibration interne sur sa sortie d'analyse pour confirmer que les indicateurs de confiance sur les cartes de match correspondent aux fréquences d'issues du monde réel au taux attendu. Un indicateur de confiance qui dit « confiance élevée » devrait correspondre à des matchs où la probabilité haute se réalise véritablement à un taux élevé. Un indicateur de confiance qui dit « serré » devrait correspondre à des matchs où les issues sont véritablement variables.

Les valeurs Brier précises, les tableaux de bord de calibration et la cadence de réajustement restent internes au produit. Ce qui parvient à l'utilisateur est une analyse qualifiée par la confiance où l'indicateur de confiance a été calibré contre les issues réelles plutôt qu'inventé comme signal marketing. La méthodologie publiée se fait copier et mal calibrer en quelques semaines.

Ce que voit l'utilisateur sur la carte de match :

• Triplets de probabilités pour l'issue, avec un indicateur de confiance visible qui correspond à une véritable bande de calibration.
• Buts attendus pour chaque équipe.
• Une analyse écrite qui explique la lecture en langage clair.
• Aucune donnée de marché externe nulle part. Aucune redirection vers des plateformes tierces. Aucune monnaie virtuelle. Analyse statistique uniquement.

L'indicateur de confiance est la prise visible côté utilisateur sur la calibration. « Confiance élevée » signifie que le signal est fort ; « serré » signifie que les issues ont été véritablement variables.

L'enseignement à retenir

Le score de Brier est la façon dont les prévisionnistes se notent réellement. Un outil qui vante la précision sans montrer la calibration vous demande de faire confiance au motif du prévisionniste bavard. Un outil qui accepte d'être noté à la calibration, qui fait remonter des indicateurs de confiance reflétant véritablement la variabilité des issues, est celui qui tiendra dans le temps.

Vous pouvez calculer le Brier vous-même sur les prédictions de tout prévisionniste, s'il publie les probabilités à côté des résultats. La formule est simple, les références sont bien connues, et la note honnête prend quelques minutes de travail sur un tableur.

Tactiq intègre la calibration dans l'indicateur de confiance côté utilisateur et le valide en interne. L'analyse lit chaque match avec une confiance qui correspond à l'incertitude sous-jacente, plutôt que des affirmations bavardes qui ne survivent pas à l'examen d'échantillon. Plus de 1 200 compétitions, localisation en 32 langues, niveau gratuit avec huit analyses par jour, sans carte requise.

Si vous avez suivi la série, le vocabulaire des métriques couvre désormais comment l'IA prédit les matchs de football, le xG, le xA, le npxG, le PPDA, le Field Tilt, les actions progressives, SCA/GCA, le xPts et les classements Elo. Le Brier les rejoint comme la méta-métrique qui note l'honnêteté de chaque autre métrique.