Brier-piste selitettynä: kuinka jalkapalloennusteita arvioidaan
Useimmat jalkapalloennustesovellukset markkinoivat tarkkuutta. "70 prosenttia tarkka" kuulostaa vaikuttavalta. "80 prosenttia ykkösvalinnoistamme osui" kuulostaa vielä vaikuttavammalta. Tarkkuusväitteet hallitsevat tilaa. Ne ovat myös lähes merkityksettömiä.
Oikea tapa arvioida ennustajaa ei ole tarkkuus. Se on kalibrointi. Ennustaja jonka 70 prosentin todennäköisyysvalinnat osuvat 70 prosenttia ajasta (ei 90, ei 50) tekee työnsä. Ennustaja jonka 70 prosentin valinnat osuvat 85 prosenttia ajasta on aliluottavainen (luultavasti arvokas) mutta ei kalibroitu. Ennustaja jonka 70 prosentin valinnat osuvat 55 prosenttia ajasta on äänekäs (luultavasti hyödytön).
Brier-piste on mittari joka arvioi kalibroinnin. Se on ollut standardi akateemisessa ennustetutkimuksessa 75 vuotta, ja se on tapa, jolla mikä tahansa kuuntelemisen arvoinen jalkapalloennustaja arvioidaan rehellisesti.
Tämä artikkeli käy läpi mitä Brier todella mittaa, kuinka laskea se itse, mitkä vertailupisteet ovat, ja miksi kalibrointi on signaali jota tulisi vaatia mistä tahansa ennustetyökalusta.
Mitä Brier todella mittaa
Brier on neliövirhepisteet ennusteen ja todellisuuden välillä. Mitä pienempi, sitä paremmin kalibroitu.
Kolmen suunnan jalkapallotuloksissa (kotivoitto, tasapeli, vierasvoitto) jokainen ottelu tuottaa kolme ennusteluvun, jotka summautuvat 1,0:aan. Todellinen tulos tuottaa kolme 0-tai-1-lukua (1 toteutuneelle, 0 muille).
Per-ottelu kaava: Brier = Σ (ennuste - todellinen)^2 / 3
Joten ennuste [0,60, 0,25, 0,15] kotille/tasapelille/vieraalle ottelussa joka päättyi kotivoittoon:
- Koti: (0,60 - 1,00)^2 = 0,16
- Tasapeli: (0,25 - 0,00)^2 = 0,0625
- Vieras: (0,15 - 0,00)^2 = 0,0225
- Summa: 0,245
- Jaa 3:lla: 0,0817
Ennuste joka sanoi [0,95, 0,03, 0,02] samassa ottelussa (koti voitti):
- Summa: 0,0025 + 0,0009 + 0,0004 = 0,0038
- Jaa 3:lla: ≈ 0,0013
Itsevarma oikea ennuste saa paljon paremmat pisteet. Mutta itsevarma väärä ennuste rangaistaan kovasti:
- [0,95, 0,03, 0,02] ottelussa joka päättyi tasapeliin:
- Koti: (0,95 - 0)^2 = 0,9025
- Tasapeli: (0,03 - 1)^2 = 0,9409
- Vieras: (0,02 - 0)^2 = 0,0004
- Summa: 1,8438
- Jaa 3:lla: ≈ 0,6146, katastrofi
Luottamus palkitaan kun se on perusteltua ja rangaistaan kun ei. Keskiarvotettuna satojen otteluiden yli Brier erottaa kalibroidut ennustajat äänekkäistä automaattisesti.
Miksi kalibrointi merkitsee enemmän kuin tarkkuus
Mietitään kahta ennustajaa.
Ennustaja A sanoo aina 95% koti, 3% tasapeli, 2% vieras jokaisessa kuuden kärjen joukkueen kotipelissä. Saa noin 60% niistä oikein.
Ennustaja B sanoo 62% koti, 24% tasapeli, 14% vieras samoissa otteluissa. Saa 62% niistä oikein.
Kumpi on parempi? Tarkkuusmielessä A on edellä (60% vs 62% on tiukka). Kalibrointimielessä B on selkeästi edellä. A:n 95% valinnat menevät pieleen 40% ajasta, mikä on kauheaa. B:n 62% valinnat osuvat 62% ajasta, mikä on rehellistä.
Brier-pisteet kertovat kumpi lukee taustalla olevaa signaalia oikein. A:n Brier on hirveä koska 95% todennäköisyydet neliöityvät kun ne ovat väärin. B:n Brier on erinomainen koska todennäköisyydet vastaavat todellisuutta.
Tämä merkitsee kolmella käytännön tavalla:
Riskin kalibrointi. Jos käytät ennustetta tehdäksesi mitä tahansa päätöstä myöhemmin (jopa rentoa "mikä ottelu on mielenkiintoisin katsoa"), tieto siitä kuinka luotettava todennäköisyys oikeasti on, merkitsee. 95% huonolta ennustajalta on vähemmän arvokas kuin 62% hyvältä.
Vertailu ennustajien välillä. Et voi verrata kahta ennustajaa raakaan tarkkuuteen. Joku joka valitsee vain suosikkeja näyttää "tarkemmalta" kuin joku joka sisällyttää altavastaajia ennusteisiinsa. Brier toimii riippumatta todennäköisyysjakaumasta.
Rehellisyys. Kalibroidut ennustajat ovat vähemmän taipuvaisia liiottelemaan. Ennustaja joka tietää että hänet pisteytetään Brier-mittarilla ei kerskaile. Ennustaja joka tietää että hänet pisteytetään vain tarkkuudella, on motivoitunut valitsemaan vain suosikkeja ja pumppaamaan tarkkuuslukua.
Brier-vertailupisteet jalkapallossa
Karkeat vertailupisteet Brier:lle kolmen suunnan jalkapallotuloksissa (koti / tasapeli / vieras):
- Aina-tasapeli-perustaso (sanoo että jokainen ottelu on 33/33/33): noin 0,25
- Satunnaisen todennäköisyyden perustaso: noin 0,25
- Perus vire-pohjainen malli (vain voitot/häviöt): noin 0,225
- Kunnollinen julkinen malli xG + vireellä: 0,195 - 0,215
- Vedonlyöntimarkkinan sulkemisrivi: noin 0,195
- Eliittimalli tapahtumadatalla + huolellisella kalibroinnilla: 0,185 - 0,195
Pisteet alle 0,185 ovat harvinaisia; pisteet yli 0,22 alittavat odotukset. Suurin osa vakavasta analyyttisestä työstä elää 0,19 - 0,21 alueella, lähellä mutta yleensä ei voittaen vedonlyöntimarkkinoita (joilla on hinnoittelupaine ja terävä raha kalibrointimekanismina).
Kuinka Tactiq ajattelee Brier:ä ja kalibrointia
Tactiq ajaa sisäistä kalibrointiseurantaa analyysituotostensa yli vahvistaakseen, että ottelukorttien luottamusilmaisimet vastaavat todellisia lopputulostaajuuksia odotetulla tasolla. Luottamusilmaisin joka sanoo "korkea luottamus" tulisi vastata otteluita, joissa ykkös-todennäköisyys aidosti toteutuu korkealla taajuudella. Luottamusilmaisin joka sanoo "tiukka" tulisi vastata otteluita joissa lopputulokset ovat aidosti vaihtelevia.
Tarkat Brier-arvot, kalibrointitaulut ja uudelleenviritystahti pysyvät tuotteen sisällä. Mitä käyttäjälle päätyy on luottamuskvalifioitu analyysi, jossa luottamusilmaisin on kalibroitu todellisia lopputuloksia vasten, ei keksitty markkinointisignaalina. Julkaistu metodologia kopioidaan ja kalibroidaan väärin viikoissa.
Mitä käyttäjä näkee ottelukortilla:
- Todennäköisyyskolmikot lopputulokselle, näkyvällä luottamusilmaisimella joka vastaa aitoa kalibrointikaistaa.
- Odotetut maalit kummallekin puolelle.
- Kirjoitettu analyysi joka selittää luennan selkeällä kielellä.
- Ei ulkoista markkinadataa missään. Ei uudelleenohjauksia kolmansien osapuolien alustoille. Ei virtuaalivaluuttaa. Vain tilastollinen analyysi.
Luottamusilmaisin on käyttäjäpuolen kahva kalibrointiin. "Korkea luottamus" tarkoittaa että signaali on vahva; "tiukka" tarkoittaa että lopputulokset ovat olleet aidosti vaihtelevia.
Yhteenveto
Brier-piste on tapa, jolla ennustajia oikeasti arvioidaan. Työkalu joka mainostaa tarkkuutta näyttämättä kalibrointia pyytää sinua luottamaan äänekkään ennustajan kuvioon. Työkalu joka on valmis tulemaan arvioiduksi kalibroinnin perusteella, joka nostaa esiin luottamusilmaisimia, jotka aidosti heijastavat lopputuloksen vaihtelua, on se joka kestää ajan kuluessa.
Voit laskea Brierin itse minkä tahansa ennustajan ennusteille, jos he julkaisevat todennäköisyydet tulosten rinnalla. Kaava on yksinkertainen, vertailupisteet hyvin tunnettuja, ja rehellinen arvosana vie muutaman minuutin taulukkotyötä.
Tactiq rakentaa kalibroinnin käyttäjäpuolen luottamusilmaisimeen ja validoi sen sisäisesti. Analyysi lukee jokaisen ottelun luottamuksella, joka vastaa taustalla olevaa epävarmuutta, eikä äänekkäillä väitteillä jotka eivät selviä otosanalyysistä. Yli 1 200 sarjaa, 32-kielinen lokalisointi, ilmainen taso kahdeksalla analyysillä päivässä, ilman korttia.
Jos olet seurannut sarjaa, mittaristosanasto kattaa nyt kuinka AI ennustaa jalkapallo-otteluita, xG, xA, npxG, PPDA, Field Tilt, progressiiviset toimet, SCA/GCA, xPts ja Elo-arvot. Brier liittyy niihin meta-mittarina joka arvioi jokaisen muun mittarin rehellisyyttä.