Brierovo skóre vysvětleno: jak se hodnotí fotbalové prognózy
Většina fotbalových predikčních aplikací prodává přesnost. "70% přesnost" zní působivě. "80% našich top tipů prošlo" zní působivěji. Tvrzení o přesnosti dominují prostoru. Jsou také téměř bezvýznamné.
Správný způsob hodnocení prognostika není přesnost. Je to kalibrace. Prognostik, jehož 70% pravděpodobnostní tipy jsou správné v 70% případů (ne 90%, ne 50%), dělá svou práci. Prognostik, jehož 70% tipy jsou správné v 85% případů, je nedostatečně sebevědomý (pravděpodobně cenný), ale není kalibrovaný. Prognostik, jehož 70% tipy jsou správné v 55% případů, je hlučný (pravděpodobně nepoužitelný).
Brierovo skóre je metrika, která hodnotí kalibraci. Je standardem v akademickém výzkumu prognóz 75 let, a je to způsob, jakým se hodnotí každý fotbalový prognostik, který stojí za poslouchání, poctivě.
Tento článek prochází tím, co Brier skutečně měří, jak ho spočítat sami, jaké jsou benchmarky a proč je kalibrace signál, který byste měli vyžadovat od jakéhokoliv predikčního nástroje.
Co Brier skutečně měří
Brier je skóre čtvercové chyby mezi prognózou a realitou. Čím nižší, tím lépe kalibrované.
Pro tří-cestné fotbalové výsledky (výhra domácích, remíza, výhra hostů) každý zápas produkuje tři čísla prognózy, která se sčítají na 1,0. Skutečný výsledek produkuje tři 0-nebo-1 čísla (1 pro výsledek, který nastal, 0 pro ostatní).
Vzorec na zápas: Brier = Σ (prognóza - skutečnost)^2 / 3
Takže prognóza [0,60, 0,25, 0,15] pro domácí/remíza/hosté na zápase, který skončil výhrou domácích:
- Domácí: (0,60 - 1,00)^2 = 0,16
- Remíza: (0,25 - 0,00)^2 = 0,0625
- Hosté: (0,15 - 0,00)^2 = 0,0225
- Součet: 0,245
- Vydělit 3: 0,0817
Prognóza, která řekla [0,95, 0,03, 0,02] na stejném zápase (domácí vyhráli):
- Součet: 0,0025 + 0,0009 + 0,0004 = 0,0038
- Vydělit 3: ≈ 0,0013
Sebevědomá správná prognóza skóruje mnohem lépe. Ale sebevědomá špatná prognóza je tvrdě potrestána:
- [0,95, 0,03, 0,02] na zápase, který skončil remízou:
- Domácí: (0,95 - 0)^2 = 0,9025
- Remíza: (0,03 - 1)^2 = 0,9409
- Hosté: (0,02 - 0)^2 = 0,0004
- Součet: 1,8438
- Vydělit 3: ≈ 0,6146, katastrofa
Důvěra je odměňována, když je oprávněná, a trestána, když ne. Zprůměrováno přes stovky zápasů Brier automaticky odděluje kalibrované prognostiky od hlučných.
Proč na kalibraci záleží více než na přesnosti
Zvažte dva prognostiky.
Prognostik A vždy říká 95% domácí, 3% remíza, 2% hosté na každém domácím zápase top šestky. Trefí asi 60% z nich.
Prognostik B říká 62% domácí, 24% remíza, 14% hosté na stejných zápasech. Trefí 62% z nich.
Kdo je lepší? Přesnostně je A vepředu (60% vs. 62% je blízko). Kalibrovaně je B výrazně vepředu. 95% tipy A jdou špatně v 40% případů, což je hrozné. 62% tipy B jdou správně v 62% případů, což je poctivé.
Brierova skóre vám říkají, kdo z nich čte základní signál správně. Brier A bude příšerný, protože 95% pravděpodobnosti se umocňují, když se mýlí. Brier B bude vynikající, protože pravděpodobnosti odpovídají realitě.
To má význam ve třech praktických směrech:
Kalibrace rizika. Pokud používáte predikci k jakémukoliv následnému rozhodnutí (i ležérnímu "který zápas je nejzajímavější ke sledování"), záleží na tom, jak spolehlivá je pravděpodobnost ve skutečnosti. 95% od špatného prognostika má menší hodnotu než 62% od dobrého.
Srovnání mezi prognostiky. Nemůžete srovnávat dva prognostiky na hrubé přesnosti. Někdo, kdo vybírá pouze favority, bude vypadat "přesněji" než někdo, kdo zahrnuje outsidery do svých prognóz. Brier funguje bez ohledu na rozdělení pravděpodobností.
Poctivost. Kalibrovaní prognostici jsou méně lákáni přepalovat. Prognostik, který ví, že bude bodován Brierem, se nechvástá. Prognostik, který ví, že bude bodován pouze přesností, má motivaci volat pouze favority a pumpovat linii přesnosti.
Brierovy benchmarky pro fotbal
Hrubé benchmarky na Brieru pro tří-cestné fotbalové výsledky (domácí / remíza / hosté):
- Vždy-remíza základ (říká, že každý zápas je 33/33/33): asi 0,25
- Náhodný pravděpodobnostní základ: asi 0,25
- Základní model na bázi formy (pouze výhry-prohry): asi 0,225
- Slušný veřejný model používající xG + formu: 0,195 až 0,215
- Sázková kancelářská uzavírací linie: kolem 0,195
- Elitní model s daty událostí + pečlivou kalibrací: 0,185 až 0,195
Skóre pod 0,185 jsou vzácná; skóre nad 0,22 podávají podprůměrný výkon. Většina seriózní analytické práce žije v rozsahu 0,19 až 0,21, blízko, ale obvykle ne překonávajíce trhy sázkových kanceláří (které mají cenový tlak a ostré peníze jako svůj kalibrační mechanismus).
Jak Tactiq přemýšlí o Brieru a kalibraci
Tactiq provozuje interní sledování kalibrace napříč svým analytickým výstupem, aby potvrdil, že ukazatele důvěry na kartách zápasů odpovídají frekvencím skutečných výsledků s očekávanou rychlostí. Ukazatel důvěry, který říká "vysoká důvěra", by měl mapovat na zápasy, kde se top pravděpodobnost skutečně rozehrává s vysokou frekvencí. Ukazatel důvěry, který říká "těsné", by měl mapovat na zápasy, kde jsou výsledky skutečně variabilní.
Konkrétní hodnoty Brieru, kalibrační panely a kadence opětovného ladění zůstávají v rámci produktu. Co se dostává k uživateli, je analýza kvalifikovaná důvěrou, kde ukazatel důvěry byl kalibrován proti skutečným výsledkům spíše než vymýšlen jako marketingový signál. Zveřejněná metodika se kopíruje a špatně kalibruje během týdnů.
Co uživatel vidí na kartě zápasu:
- Trojice pravděpodobností pro výsledek, s viditelným ukazatelem důvěry, který mapuje na opravdové kalibrační pásmo.
- Očekávané góly pro každou stranu.
- Psaná analýza, která vysvětluje čtení běžným jazykem.
- Žádná externí tržní data nikde. Žádná přesměrování na platformy třetích stran. Žádná virtuální měna. Pouze statistická analýza.
Ukazatel důvěry je uživatelsky obrácená rukojeť kalibrace. "Vysoká důvěra" znamená, že signál je silný; "těsné" znamená, že výsledky byly skutečně variabilní.
Závěr
Brierovo skóre je způsob, jakým se prognostici skutečně hodnotí. Nástroj, který inzeruje přesnost bez ukazování kalibrace, vás žádá, abyste důvěřovali vzorci hlučného prognostika. Nástroj, který je ochotný být hodnocen na kalibraci, který zobrazuje ukazatele důvěry, jež skutečně odrážejí variabilitu výsledků, je ten, který obstojí v čase.
Můžete spočítat Brier sami na predikcích jakéhokoliv prognostika, pokud publikuje pravděpodobnosti vedle výsledků. Vzorec je jednoduchý, benchmarky jsou dobře známé a poctivá známka zabere několik minut tabulkové práce.
Tactiq staví kalibraci do uživatelsky obráceného ukazatele důvěry a interně ji ověřuje. Analýza čte každý zápas s důvěrou, která odpovídá základní nejistotě, spíše než hlasitými tvrzeními, která nepřežívají kontrolu vzorku. Přes 1.200 soutěží, lokalizace do 32 jazyků, bezplatná úroveň s osmi analýzami denně, bez karty.
Pokud sledujete sérii, slovník metrik nyní pokrývá jak AI předpovídá fotbalové zápasy, xG, xA, npxG, PPDA, Field Tilt, progresivní akce, SCA/GCA, xPts a Elo ratingy. Brier se k nim připojuje jako meta-metrika, která hodnotí poctivost každé další metriky.