Brier-poängen förklarad: hur fotbollsprognoser betygsätts
De flesta appar för fotbollsförutsägelser marknadsför noggrannhet. "70% noggrann" låter imponerande. "80% av våra topp-tipps gick igenom" låter mer imponerande. Noggrannhetspåståenden dominerar utrymmet. De är också nästan meningslösa.
Det rätta sättet att betygsätta en prognosmakare är inte noggrannhet. Det är kalibrering. En prognosmakare vars 70%-sannolikhets-tipps har rätt 70% av tiden (inte 90%, inte 50%) gör jobbet. En prognosmakare vars 70%-tipps har rätt 85% av tiden är underkonfident (förmodligen värdefull) men inte kalibrerad. En prognosmakare vars 70%-tipps har rätt 55% av tiden är högljudd (förmodligen värdelös).
Brier-poängen är måttet som betygsätter kalibrering. Den har varit standard i akademisk prognosforskning i 75 år, och det är så vilken fotbollsprognosmakare värd att lyssna på som helst betygsätts ärligt.
Den här artikeln går igenom vad Brier faktiskt mäter, hur man beräknar den själv, vad riktmärkena är, och varför kalibrering är signalen du bör kräva från vilket förutsägelseverktyg som helst.
Vad Brier faktiskt mäter
Brier är en kvadrat-fel-poäng mellan prognos och verklighet. Ju lägre, desto bättre kalibrerad.
För trevägs-fotbollsutfall (hemmaseger, oavgjort, bortaseger) producerar varje match tre prognosnummer som summerar till 1,0. Det faktiska resultatet producerar tre 0-eller-1-nummer (1 för utfallet som inträffade, 0 för de andra).
Per-match-formel: Brier = Σ (prognos - faktisk)^2 / 3
Så en prognos på [0,60, 0,25, 0,15] för hemma/oavgjort/borta i en match som slutade med hemmaseger:
- Hemma: (0,60 - 1,00)^2 = 0,16
- Oavgjort: (0,25 - 0,00)^2 = 0,0625
- Borta: (0,15 - 0,00)^2 = 0,0225
- Summa: 0,245
- Dividera med 3: 0,0817
En prognos som sade [0,95, 0,03, 0,02] på samma match (hemma vann):
- Summa: 0,0025 + 0,0009 + 0,0004 = 0,0038
- Dividera med 3: ≈ 0,0013
Den självsäkra korrekta prognosen får mycket bättre poäng. Men den självsäkra felaktiga prognosen straffas hårt:
- [0,95, 0,03, 0,02] på en match som slutade oavgjort:
- Hemma: (0,95 - 0)^2 = 0,9025
- Oavgjort: (0,03 - 1)^2 = 0,9409
- Borta: (0,02 - 0)^2 = 0,0004
- Summa: 1,8438
- Dividera med 3: ≈ 0,6146, en katastrof
Tilltro belönas när motiverad och straffas när inte. Genomsnittat över hundratals matcher separerar Brier kalibrerade prognosmakare från högljudda automatiskt.
Varför kalibrering spelar mer roll än noggrannhet
Tänk på två prognosmakare.
Prognosmakare A säger alltid 95% hemma, 3% oavgjort, 2% borta på varje hemmamatch för en topp-sex-sida. Får cirka 60% av dem rätt.
Prognosmakare B säger 62% hemma, 24% oavgjort, 14% borta på samma matcher. Får 62% av dem rätt.
Vem är bättre? Noggrannhetsmässigt är A före (60% mot 62% är nära). Kalibreringsmässigt är B vida före. As 95%-tipps går fel 40% av tiden, vilket är förfärligt. Bs 62%-tipps går rätt 62% av tiden, vilket är ärligt.
Brier-poäng berättar för dig vilken som läser den underliggande signalen korrekt. As Brier kommer vara förfärlig eftersom 95%-sannolikheterna kvadreras när de är fel. Bs Brier kommer vara utmärkt eftersom sannolikheterna matchar verkligheten.
Detta spelar roll på tre praktiska sätt:
Riskkalibrering. Om du använder en förutsägelse för att fatta något beslut nedströms (även ett avslappnat "vilken match är mest intressant att titta på") spelar det roll att veta hur tillförlitlig sannolikheten faktiskt är. En 95% från en dålig prognosmakare är värd mindre än en 62% från en bra.
Jämförelse mellan prognosmakare. Du kan inte jämföra två prognosmakare på rå noggrannhet. Någon som bara väljer favoriter kommer se mer "noggrann" ut än någon som inkluderar underdogs i sina prognoser. Brier fungerar oavsett sannolikhetsfördelningen.
Ärlighet. Kalibrerade prognosmakare frestas mindre att överpåstå. En prognosmakare som vet att de kommer Brier-betygsättas skryter inte. En prognosmakare som vet att de bara kommer noggrannhetsbetygsättas har incitament att bara kalla favoriter och pumpa noggrannhetslinjen.
Brier-riktmärken för fotboll
Ungefärliga riktmärken på Brier för trevägs-fotbollsutfall (hemma / oavgjort / borta):
- Alltid-oavgjort-baslinje (säger varje match är 33/33/33): cirka 0,25
- Slumpsannolikhets-baslinje: cirka 0,25
- Grundläggande formbaserad modell (bara segrar-förluster): cirka 0,225
- Anständig publik modell som använder xG + form: 0,195 till 0,215
- Spelmarknadens stängningslinje: runt 0,195
- Elitmodell med händelsedata + noggrann kalibrering: 0,185 till 0,195
Poäng under 0,185 är sällsynta; poäng över 0,22 underpresterar. Det mesta seriösa analytiska arbetet bor i 0,19 till 0,21-intervallet, nära men vanligen inte slående spelmarknader (som har prissättningstryck och skarpa pengar som sin kalibreringsmekanism).
Hur Tactiq tänker om Brier och kalibrering
Tactiq kör intern kalibreringsspårning över sitt analysutfall för att bekräfta att tilltrosindikatorerna på matchkort motsvarar verkliga utfallsfrekvenser vid förväntad takt. En tilltrosindikator som säger "hög tilltro" bör mappa till matcher där topp-sannolikheten genuint spelar ut vid hög takt. En tilltrosindikator som säger "tajt" bör mappa till matcher där utfall är genuint variabla.
De specifika Brier-värdena, kalibreringsdashboards och omjusteringskadens stannar inom produkten. Det som når användaren är en tilltrosbedömd analys där tilltrosindikatorn har kalibrerats mot faktiska utfall snarare än uppfunnits som marknadssignal. Publicerad metodik kopieras och felkalibreras inom veckor.
Vad användaren ser på matchkortet:
- Sannolikhetstripler för utfallet, med en synlig tilltrosindikator som mappar till ett genuint kalibreringsband.
- Förväntade mål för varje sida.
- En skriven analys som förklarar läsningen i klart språk.
- Inga externa marknadsdata någonstans. Inga omdirigeringar till tredjepartsplattformar. Ingen virtuell valuta. Endast statistisk analys.
Tilltrosindikatorn är användarens grepp om kalibrering. "Hög tilltro" betyder att signalen är stark; "tajt" betyder att utfall har varit genuint variabla.
Slutsatsen
Brier-poängen är hur prognosmakare faktiskt betygsätts. Ett verktyg som annonserar noggrannhet utan att visa kalibrering ber dig att lita på den högljudd-prognosmakar-mönstret. Ett verktyg som är villigt att betygsättas på kalibrering, som visar tilltrosindikatorer som genuint återspeglar utfallsvariabilitet, är det som kommer hålla över tid.
Du kan beräkna Brier själv på vilken prognosmakares förutsägelser som helst, om de publicerar sannolikheterna vid sidan av resultat. Formeln är enkel, riktmärkena är välkända och det ärliga betyget tar några minuters kalkylbladsarbete.
Tactiq bygger kalibrering in i den användarvända tilltrosindikatorn och validerar den internt. Analysen läser varje match med tilltro som matchar den underliggande osäkerheten, snarare än högljudda påståenden som inte överlever stickprovsgranskning. Över 1 200 tävlingar, 32-språks lokalisering, gratisnivå med åtta analyser per dag, inget kreditkort krävs.
Om du har följt serien täcker måttvokabulären nu hur AI förutsäger fotbollsmatcher, xG, xA, npxG, PPDA, Field Tilt, progressiva aktioner, SCA/GCA, xPts och Elo-rankningar. Brier sällar sig till dem som meta-måttet som betygsätter varje annat måtts ärlighet.