Punteggio di Brier spiegato: come si valutano le previsioni di calcio
La maggior parte delle app di previsione calcistica vende accuratezza. "70% di accuratezza" suona impressionante. "L'80% delle nostre scelte principali si è avverato" suona ancora più impressionante. Le affermazioni sull'accuratezza dominano lo spazio. Sono anche quasi prive di significato.
Il modo giusto per valutare un previsore non è l'accuratezza. È la calibrazione. Un previsore le cui scelte di probabilità al 70% sono giuste il 70% delle volte (non il 90%, non il 50%) sta facendo il suo lavoro. Un previsore le cui scelte al 70% sono giuste l'85% delle volte è poco fiducioso (probabilmente prezioso) ma non calibrato. Un previsore le cui scelte al 70% sono giuste il 55% delle volte è rumoroso (probabilmente inutile).
Il punteggio di Brier è la metrica che valuta la calibrazione. È stato standard nella ricerca accademica sulle previsioni per 75 anni, ed è il modo in cui qualunque previsore di calcio degno di essere ascoltato viene valutato onestamente.
Questo articolo spiega cosa misura davvero il Brier, come calcolarlo da soli, quali sono le baseline e perché la calibrazione è il segnale che dovresti chiedere a qualunque strumento di previsione.
Cosa misura davvero il Brier
Il Brier è un punteggio di errore quadratico tra previsione e realtà. Più è basso, meglio è calibrato.
Per esiti di calcio a tre vie (vittoria casa, pareggio, vittoria trasferta), ogni partita produce tre numeri di previsione che sommano a 1,0. Il risultato reale produce tre numeri 0-o-1 (1 per l'esito che è accaduto, 0 per gli altri).
Formula per partita: Brier = Σ (previsione - reale)^2 / 3
Quindi una previsione di [0,60, 0,25, 0,15] per casa/pareggio/trasferta su una partita finita con vittoria casalinga:
- Casa: (0,60 - 1,00)^2 = 0,16
- Pareggio: (0,25 - 0,00)^2 = 0,0625
- Trasferta: (0,15 - 0,00)^2 = 0,0225
- Somma: 0,245
- Diviso per 3: 0,0817
Una previsione che diceva [0,95, 0,03, 0,02] sulla stessa partita (la casa ha vinto):
- Somma: 0,0025 + 0,0009 + 0,0004 = 0,0038
- Diviso per 3: ≈ 0,0013
La previsione fiduciosa corretta segna molto meglio. Ma la previsione fiduciosa sbagliata viene punita duramente:
- [0,95, 0,03, 0,02] su una partita finita pari:
- Casa: (0,95 - 0)^2 = 0,9025
- Pareggio: (0,03 - 1)^2 = 0,9409
- Trasferta: (0,02 - 0)^2 = 0,0004
- Somma: 1,8438
- Diviso per 3: ≈ 0,6146, un disastro
La fiducia è premiata quando giustificata e punita quando no. Mediato su centinaia di partite, il Brier separa automaticamente i previsori calibrati da quelli rumorosi.
Perché la calibrazione conta più dell'accuratezza
Considera due previsori.
Previsore A dice sempre 95% casa, 3% pareggio, 2% trasferta su ogni partita casalinga di una squadra top six. Ne azzecca circa il 60%.
Previsore B dice 62% casa, 24% pareggio, 14% trasferta sugli stessi incontri. Ne azzecca il 62%.
Chi è migliore? In termini di accuratezza, A è in vantaggio (60% vs 62% è vicino). In termini di calibrazione, B è di gran lunga in vantaggio. Le scelte al 95% di A vanno male il 40% delle volte, il che è terribile. Le scelte al 62% di B vanno bene il 62% delle volte, il che è onesto.
I punteggi di Brier ti dicono chi sta leggendo correttamente il segnale sottostante. Il Brier di A sarà tremendo perché le probabilità al 95% si elevano al quadrato quando sono sbagliate. Il Brier di B sarà eccellente perché le probabilità coincidono con la realtà.
Questo conta in tre modi pratici:
Calibrazione del rischio. Se usi una previsione per prendere qualunque decisione a valle (anche un casuale "quale partita è più interessante da guardare"), sapere quanto è davvero affidabile la probabilità conta. Un 95% da un cattivo previsore vale meno di un 62% da uno buono.
Confronto tra previsori. Non si possono confrontare due previsori sull'accuratezza grezza. Qualcuno che sceglie solo i favoriti sembrerà più "accurato" di qualcuno che include sfavoriti nelle previsioni. Il Brier funziona indipendentemente dalla distribuzione delle probabilità.
Onestà. I previsori calibrati sono meno tentati di affermare troppo. Un previsore che sa che sarà valutato con il Brier non si vanta. Un previsore che sa che sarà valutato solo sull'accuratezza ha incentivo a chiamare solo i favoriti e gonfiare la linea dell'accuratezza.
Baseline di Brier per il calcio
Baseline approssimative di Brier per esiti di calcio a tre vie (casa / pareggio / trasferta):
- Baseline sempre-pareggio (dice ogni partita 33/33/33): circa 0,25
- Baseline di probabilità casuale: circa 0,25
- Modello base basato sulla forma (solo vittorie-sconfitte): circa 0,225
- Modello pubblico decente con xG + forma: 0,195-0,215
- Linea di chiusura del bookmaker: circa 0,195
- Modello d'élite con dati di evento + calibrazione attenta: 0,185-0,195
I punteggi sotto 0,185 sono rari; i punteggi sopra 0,22 stanno sottoperformando. La maggior parte del lavoro analitico serio vive nel range 0,19-0,21, vicino ma di solito non migliore dei mercati dei bookmaker (che hanno pressione di prezzo e denaro intelligente come meccanismo di calibrazione).
Come Tactiq pensa al Brier e alla calibrazione
Tactiq esegue tracciamento interno della calibrazione sul proprio output di analisi per confermare che gli indicatori di fiducia sulle schede partita corrispondano alle frequenze di esito reali al tasso atteso. Un indicatore di fiducia che dice "alta fiducia" dovrebbe mappare a partite dove la probabilità più alta si verifica davvero a un tasso alto. Un indicatore di fiducia che dice "tirata" dovrebbe mappare a partite dove gli esiti sono davvero variabili.
I valori specifici di Brier, le dashboard di calibrazione e la cadenza di ri-regolazione restano interne al prodotto. Ciò che arriva all'utente è un'analisi qualificata in fiducia dove l'indicatore di fiducia è stato calibrato contro esiti reali invece che inventato come segnale di marketing. Una metodologia pubblicata viene copiata e ricalibrata male nel giro di settimane.
Quel che l'utente vede sulla scheda partita:
- Triplette di probabilità per l'esito, con un indicatore di fiducia visibile che mappa a una banda di calibrazione genuina.
- Goal attesi per ciascuna squadra.
- Un'analisi scritta che spiega la lettura in linguaggio chiaro.
- Nessun dato di mercato esterno. Nessun reindirizzamento a piattaforme terze. Nessuna valuta virtuale. Solo analisi statistica.
L'indicatore di fiducia è la presa rivolta all'utente sulla calibrazione. "Alta fiducia" significa che il segnale è forte; "tirata" significa che gli esiti sono stati genuinamente variabili.
In sintesi
Il punteggio di Brier è il modo in cui i previsori vengono valutati davvero. Uno strumento che pubblicizza accuratezza senza mostrare calibrazione ti chiede di fidarti del pattern del previsore-rumoroso. Uno strumento che è disposto a essere valutato sulla calibrazione, che fa emergere indicatori di fiducia che riflettono davvero la variabilità degli esiti, è quello che reggerà nel tempo.
Puoi calcolare il Brier da solo sulle previsioni di qualunque previsore, se pubblica le probabilità insieme ai risultati. La formula è semplice, le baseline sono ben note, e la valutazione onesta richiede pochi minuti di lavoro su foglio elettronico.
Tactiq integra la calibrazione nell'indicatore di fiducia rivolto all'utente e la valida internamente. L'analisi legge ogni partita con una fiducia che coincide con l'incertezza sottostante, invece di affermazioni rumorose che non sopravvivono allo scrutinio del campione. Oltre 1.200 competizioni, localizzazione in 32 lingue, piano gratuito di otto analisi al giorno, senza carta richiesta.
Se segui la serie, il vocabolario delle metriche ora copre come l'IA prevede le partite di calcio, xG, xA, npxG, PPDA, Field Tilt, azioni progressive, SCA/GCA, xPts e Elo rating. Il Brier si unisce a loro come la meta-metrica che valuta l'onestà di ogni altra metrica.