Brier skóre vysvetlené: ako sa hodnotia futbalové predikcie

Od Tactiq AI · 2026-05-06 · 8 min čítania · AI a Futbal

Väčšina aplikácií na futbalovú predikciu predáva presnosť. "70% presnosť" znie pôsobivo. "80% našich top volieb prešlo" znie ešte pôsobivejšie. Tvrdenia o presnosti dominujú priestoru. Sú tiež takmer bezvýznamné.

Správny spôsob, ako hodnotiť predikátora, nie je presnosť. Je to kalibrácia. Predikátor, ktorého 70% pravdepodobnostné voľby majú pravdu v 70% prípadov (nie 90%, nie 50%), robí svoju prácu. Predikátor, ktorého 70% voľby majú pravdu v 85% prípadov, je podsebavedomý (pravdepodobne cenný), ale nekalibrovaný. Predikátor, ktorého 70% voľby majú pravdu v 55% prípadov, je hlasný (pravdepodobne neužitočný).

Brier skóre je metrika, ktorá hodnotí kalibráciu. Je štandardom v akademickom predikčnom výskume už 75 rokov a je to spôsob, akým sa každý futbalový predikátor hodný počúvania čestne hodnotí.

Tento článok prejde tým, čo Brier skutočne meria, ako si ho sami vypočítať, aké sú referenčné hodnoty, a prečo je kalibrácia signál, ktorý by ste mali požadovať od akéhokoľvek predikčného nástroja.

Čo Brier skutočne meria

Brier je skóre kvadrátu chyby medzi predikciou a realitou. Čím nižšie, tým lepšie kalibrované.

Pri trojcestných futbalových výsledkoch (výhra domácich, remíza, výhra hostí) každý zápas produkuje tri predikčné čísla, ktoré sa sčítajú do 1,0. Skutočný výsledok produkuje tri 0-alebo-1 čísla (1 pre výsledok, ktorý nastal, 0 pre ostatné).

Vzorec na zápas: Brier = Σ (predikcia - skutočnosť)^2 / 3

Takže predikcia [0,60, 0,25, 0,15] pre domáci/remíza/hostia na zápas, ktorý skončil výhrou domácich:

Domáci: (0,60 - 1,00)^2 = 0,16
Remíza: (0,25 - 0,00)^2 = 0,0625
Hostia: (0,15 - 0,00)^2 = 0,0225
Súčet: 0,245
Vydeliť 3: 0,0817

Predikcia, ktorá povedala [0,95, 0,03, 0,02] na ten istý zápas (domáci skutočne vyhrali):

Súčet: 0,0025 + 0,0009 + 0,0004 = 0,0038
Vydeliť 3: ≈ 0,0013

Sebaistá správna predikcia dostáva oveľa lepšie skóre. Ale sebaistá nesprávna predikcia je tvrdo potrestaná:

[0,95, 0,03, 0,02] na zápas, ktorý skončil remízou:
Domáci: (0,95 - 0)^2 = 0,9025
Remíza: (0,03 - 1)^2 = 0,9409
Hostia: (0,02 - 0)^2 = 0,0004
Súčet: 1,8438
Vydeliť 3: ≈ 0,6146, katastrofa

Sebaistota je odmenená, keď je oprávnená, a potrestaná, keď nie je. Spriemerovaná cez stovky zápasov, Brier oddeľuje kalibrovaných predikátorov od hlasných automaticky.

Prečo kalibrácia záleží viac ako presnosť

Zoberme si dvoch predikátorov.

Predikátor A vždy hovorí 95% domáci, 3% remíza, 2% hostia na každý domáci zápas tímu z top šestky. Trafí asi 60% z nich.

Predikátor B hovorí 62% domáci, 24% remíza, 14% hostia na rovnaké zápasy. Trafí 62% z nich.

Kto je lepší? Z hľadiska presnosti je A vpredu (60% vs 62% je blízko). Z hľadiska kalibrácie je B podstatne vpredu. 95% voľby A sa mýlia v 40% prípadov, čo je hrozné. 62% voľby B sú správne v 62% prípadov, čo je čestné.

Brier skóre vám povie, ktorý z nich číta podkladový signál správne. Brier A bude hrozné, pretože 95% pravdepodobnosti sa odčítajú do kvadrátu, keď sú nesprávne. Brier B bude vynikajúce, pretože pravdepodobnosti zodpovedajú realite.

Toto záleží v troch praktických smeroch:

Kalibrácia rizika. Ak používate predikciu na akékoľvek rozhodnutie následne (aj nenútené "ktorý zápas je najzaujímavejší na sledovanie"), vedieť, ako spoľahlivá pravdepodobnosť skutočne je, záleží. 95% od zlého predikátora má menšiu hodnotu ako 62% od dobrého.

Porovnanie medzi predikátormi. Nemôžete porovnávať dvoch predikátorov na surovej presnosti. Niekto, kto vyberá iba favoritov, bude vyzerať "presnejší" ako niekto, kto zahŕňa outsiderov vo svojich predikciách. Brier funguje bez ohľadu na rozdelenie pravdepodobností.

Čestnosť. Kalibrovaní predikátori sú menej pokúšaní preháňať. Predikátor, ktorý vie, že bude hodnotený podľa Brier, sa nechváli. Predikátor, ktorý vie, že bude hodnotený iba podľa presnosti, má motiváciu volať iba favoritov a tlačiť na líniu presnosti.

Brier referenčné hodnoty pre futbal

Hrubé referenčné hodnoty na Brier pre trojcestné futbalové výsledky (domáci / remíza / hostia):

Vždy-remíza základ (hovorí, že každý zápas je 33/33/33): asi 0,25
Náhodný pravdepodobnostný základ: asi 0,25
Základný model na báze formy (iba výhry-prehry): asi 0,225
Slušný verejný model používajúci xG + formu: 0,195 až 0,215
Záverečná línia stávkovej kancelárie: okolo 0,195
Elitný model s event dátami + starostlivá kalibrácia: 0,185 až 0,195

Skóre pod 0,185 sú vzácne; skóre nad 0,22 zaostáva. Väčšina serióznej analytickej práce žije v rozsahu 0,19 až 0,21, blízko, ale zvyčajne neporazí trhy stávkových kancelárií (ktoré majú cenový tlak a inteligentné peniaze ako svoj kalibračný mechanizmus).

Ako Tactiq myslí na Brier a kalibráciu

Tactiq prevádzkuje internú kalibračnú kontrolu cez svoj výstup analýzy, aby potvrdil, že indikátory istoty na kartách zápasov zodpovedajú skutočným výsledkovým frekvenciám v očakávanej miere. Indikátor istoty, ktorý hovorí "vysoká istota", by mal mapovať zápasy, kde sa top pravdepodobnosť skutočne realizuje vo vysokej miere. Indikátor istoty, ktorý hovorí "tesný", by mal mapovať zápasy, kde sú výsledky skutočne premenlivé.

Konkrétne hodnoty Brier, kalibračné dashboardy a kadencia preladenia zostávajú vnútri produktu. Čo sa dostáva k používateľovi, je istotou kvalifikovaná analýza, kde indikátor istoty bol kalibrovaný proti skutočným výsledkom, namiesto toho, aby bol vymyslený ako marketingový signál. Zverejnená metodológia sa skopíruje a zlej kalibrovaná v priebehu týždňov.

Čo používateľ vidí na karte zápasu:

Trojicu pravdepodobností pre výsledok s viditeľným indikátorom istoty, ktorý mapuje na skutočné kalibračné pásmo.
Očakávané góly pre každú stranu.
Písomnú analýzu, ktorá vysvetľuje čítanie v bežnom jazyku.
Žiadne externé trhové dáta nikde. Žiadne presmerovania na platformy tretích strán. Žiadna virtuálna mena. Iba štatistická analýza.

Indikátor istoty je rukoväť kalibrácie smerom k používateľovi. "Vysoká istota" znamená, že signál je silný; "tesný" znamená, že výsledky boli skutočne premenlivé.

Záver

Brier skóre je spôsob, ako sa predikátori skutočne hodnotia. Nástroj, ktorý inzeruje presnosť bez zobrazenia kalibrácie, vás žiada, aby ste dôverovali vzorcu hlasného predikátora. Nástroj, ktorý je ochotný byť hodnotený podľa kalibrácie, ktorý zobrazuje indikátory istoty, ktoré skutočne odrážajú výsledkovú premenlivosť, je ten, ktorý vydrží v čase.

Brier si môžete vypočítať sami na predikciách akéhokoľvek predikátora, ak publikuje pravdepodobnosti spolu s výsledkami. Vzorec je jednoduchý, referenčné hodnoty sú dobre známe a čestné hodnotenie zaberie pár minút práce v tabuľke.

Tactiq stavia kalibráciu do indikátora istoty smerujúceho k používateľovi a interne ho overuje. Analýza číta každý zápas s istotou, ktorá zodpovedá podkladovej neistote, namiesto hlasných tvrdení, ktoré neprežijú kontrolu vzorky. 1.200 a viac súťaží, lokalizácia do 32 jazykov, bezplatná úroveň ôsmich analýz denne, bez kreditnej karty.

Ak ste sledovali sériu, slovník metrík teraz pokrýva ako AI predikuje futbalové zápasy, xG, xA, npxG, PPDA, Field Tilt, progresívne akcie, SCA/GCA, xPts a Elo ratingy. Brier sa pripája k nim ako meta-metrika, ktorá hodnotí čestnosť každej inej metriky.

Časté otázky

Čo je Brier skóre v jednej vete?

Brier skóre meria, ako ďaleko sú odhady pravdepodobnosti predikátora od reality, spriemerované cez všetky jeho predikcie. Nižšie je lepšie. Dokonalý predikátor dostane Brier skóre 0; hlúpa minca dostane skóre okolo 0,25 pri trojcestných futbalových výsledkoch.

Ako sa skutočne počíta?

Pre každý zápas vezmite pravdepodobnosť predikátora pre každý výsledok (domáci, remíza, hostia) a skutočný výsledok (1 pre výsledok, ktorý nastal, 0 pre ostatné). Vypočítajte (predikcia - skutočnosť)^2 pre každý výsledok, sčítajte ich a vydeľte počtom výsledkov. Spriemerujte to cez všetky zápasy. Čím nižšie výsledné číslo, tým tesnejšie pravdepodobnosti predikátora mapujú to, čo sa skutočne stalo.

Prečo je kalibrácia dôležitejšia ako presnosť?

'Presný' predikátor môže trafiť top voľbu v 60% prípadov. Ale to, čo skutočne chcete, je predikátor, ktorého 70% voľby majú pravdu v 70% prípadov a ktorého 45% voľby majú pravdu v 45% prípadov. Predikátor, ktorý hovorí '90%' na všetko a má pravdu v 60% prípadov, je hlasný. Kalibrovaný predikátor zodpovedá svoju istotu realite.

Publikuje Tactiq svoje Brier skóre?

Tactiq prevádzkuje internú kalibračnú kontrolu cez svoj výstup analýzy, aby potvrdil, že indikátory istoty zodpovedajú skutočným výsledkom v očakávanej miere. Konkrétna metodológia a aktuálne hodnoty Brier skóre zostávajú vnútri produktu. Pre používateľa sa efekt prejavuje ako indikátor istoty na každej analýze, ktorý skutočne odráža, ako neistá je analýza.

Aké je dobré Brier skóre pre futbal?

Pre trojcestné výsledky zápasu naivná hodnota minca dosiahne asi 0,25 Brier. Trh stávkovej kancelárie dosahuje okolo 0,195. Dobre postavený futbalový model dosahuje v rozsahu 0,19 až 0,21. Čokoľvek nižšie ako 0,19 na veľkej vzorke je elitné. Čokoľvek nad 0,22 zaostáva. Toto sú približné hodnoty; presné prahy závisia od mixu líg a veľkosti vzorky.

Môžem si vypočítať vlastné Brier skóre na predikciách?

Áno. Potrebujete zoznam predikovaných pravdepodobností (domáci/remíza/hostia pre každý zápas) a skutočný výsledok. Aplikujte vzorec, spriemerujte cez zápasy, porovnajte s referenčnými hodnotami vyššie. Ak to robíte pravidelne proti akémukoľvek nástroju alebo tipérovi, dostanete čestné hodnotenie, ktoré sa nespolieha na marketingové tvrdenia.