Brier-pontszám érthetően: hogyan értékelik a foci-előrejelzéseket

A legtöbb foci-előrejelző alkalmazás pontossággal hirdeti magát. A "70% pontosság" lenyűgözőnek hangzik. A "tippjeink 80%-a bejött" még lenyűgözőbben hangzik. A pontossági állítások uralják a területet. Szinte értelmetlenek is.

A helyes mód egy előrejelző értékelésére nem a pontosság. A kalibráció. Egy előrejelző, akinek a 70%-os valószínűségű tippjei az idő 70%-ában (nem 90%, nem 50%) találnak, végzi a munkát. Egy előrejelző, akinek a 70%-os tippjei az idő 85%-ában találnak, alulmagabiztos (valószínűleg értékes), de nem kalibrált. Egy előrejelző, akinek a 70%-os tippjei az idő 55%-ában találnak, hangos (valószínűleg haszontalan).

A Brier-pontszám az a mérőszám, amely a kalibrációt értékeli. 75 éve standard az akadémiai előrejelzés-kutatásban, és így értékelnek becsületesen bármely meghallgatandó foci-előrejelzőt.

Ez a cikk végigvezeti, mit mér valójában a Brier, hogyan számolhatod magad, mik a mércék, és miért a kalibráció az a jel, amit követelned kell bármely előrejelzési eszköztől.

Mit mér valójában a Brier

A Brier négyzetes hiba pontszám előrejelzés és valóság között. Minél alacsonyabb, annál jobban kalibrált.

Háromkimenetelű foci-eredményekhez (hazai győzelem, döntetlen, vendég győzelem) minden meccs három előrejelzési számot termel, amelyek 1,0-ra összegződnek. A tényleges eredmény három 0 vagy 1 számot termel (1 a megtörtént kimenetelre, 0 a többire).

Meccsenkénti képlet: Brier = Σ (előrejelzés, tényleges)^2 / 3

Tehát egy [0,60, 0,25, 0,15] előrejelzés hazai/döntetlen/vendég felé egy meccsen, ami hazai győzelemmel ért véget:

• Hazai: (0,60, 1,00)^2 = 0,16
• Döntetlen: (0,25, 0,00)^2 = 0,0625
• Vendég: (0,15, 0,00)^2 = 0,0225
• Összeg: 0,245
• Osztva 3-mal: 0,0817

Egy előrejelzés, ami [0,95, 0,03, 0,02]-t mondott ugyanazon a meccsen (hazai nyert):

• Összeg: 0,0025 + 0,0009 + 0,0004 = 0,0038
• Osztva 3-mal: ≈ 0,0013

A magabiztos helyes előrejelzés sokkal jobban pontoz. De a magabiztos rossz előrejelzés keményen büntetődik:

• [0,95, 0,03, 0,02] egy meccsen, ami döntetlennel ért véget:
• Hazai: (0,95, 0)^2 = 0,9025
• Döntetlen: (0,03, 1)^2 = 0,9409
• Vendég: (0,02, 0)^2 = 0,0004
• Összeg: 1,8438
• Osztva 3-mal: ≈ 0,6146, katasztrófa

A magabiztosság jutalmazódik, ha indokolt, és büntetődik, ha nem. Több száz meccsen átlagolva a Brier automatikusan elválasztja a kalibrált előrejelzőket a hangosaktól.

Miért számít többet a kalibráció mint a pontosság

Vegyél két előrejelzőt.

A előrejelző mindig 95% hazai, 3% döntetlen, 2% vendég-et mond minden hazai meccsen egy felső-hatos oldalnál. Körülbelül 60%-ukat találja el.

B előrejelző 62% hazai, 24% döntetlen, 14% vendég-et mond ugyanazokra a meccsekre. 62%-ukat találja el.

Ki a jobb? Pontosság szempontjából A vezet (60% vs 62% közel van). Kalibráció szempontjából B sokkal előrébb van. A 95%-os tippjei az idő 40%-ában tévednek, ami szörnyű. B 62%-os tippjei az idő 62%-ában találnak, ami becsületes.

A Brier-pontszámok megmondják, melyik olvassa helyesen az alapjelet. A Brier-je borzalmas lesz, mert a 95%-os valószínűségek négyzetre nőnek, amikor tévednek. B Brier-je kiváló lesz, mert a valószínűségek illeszkednek a valósághoz.

Ez három gyakorlati módon számít:

Kockázat-kalibráció. Ha egy előrejelzést használsz bármilyen későbbi döntéshez (még alkalmi "melyik meccs a legérdekesebb nézni" döntéshez is), számít, mennyire megbízható a valószínűség valójában. Egy 95% egy rossz előrejelzőtől kevesebbet ér mint egy 62% egy jótól.

Összehasonlítás előrejelzők között. Két előrejelzőt nem hasonlíthatsz össze nyers pontosság alapján. Aki csak esélyeseket választ, "pontosabbnak" fog tűnni mint aki esélyteleneket is bevon az előrejelzéseibe. A Brier a valószínűségek eloszlásától függetlenül működik.

Becsületesség. A kalibrált előrejelzők kevésbé csábulnak túlzásra. Egy előrejelző, aki tudja, hogy Brier-pontozni fogják, nem dicsekszik. Egy előrejelző, aki tudja, hogy csak pontossággal pontozzák, ösztönözve van arra, hogy csak esélyesekre tippeljen és pumpálja a pontossági sort.

Brier-mércék a fociban

Hozzávetőleges mércék a Brier-re háromkimenetelű foci-eredményekre (hazai / döntetlen / vendég):

• Mindig-döntetlen alapvonal (minden meccsre 33/33/33-at mond): körülbelül 0,25
• Véletlen valószínűség alapvonal: körülbelül 0,25
• Egyszerű forma-alapú modell (csak győzelem-vereség): körülbelül 0,225
• Tisztességes nyilvános modell xG + formával: 0,195-tól 0,215-ig
• Fogadóiroda záró sora: körülbelül 0,195
• Elit modell esemény-adattal + gondos kalibrációval: 0,185-tól 0,195-ig

A 0,185 alatti pontszámok ritkák; a 0,22 feletti pontszámok alulteljesítenek. A legtöbb komoly elemző munka a 0,19-tól 0,21-ig terjedő tartományban él, közel, de általában nem verve a fogadóirodai piacokat (amelyek árazási nyomást és okos pénzt kapnak kalibrációs mechanizmusként).

Hogyan gondolkodik a Tactiq a Brier-ről és a kalibrációról

A Tactiq belső kalibráció-követést futtat az elemzési kimenetén át, hogy megerősítse, a meccskártyákon lévő magabiztosság-jelzők megfelelnek a valós kimeneteli gyakoriságoknak a várt arányban. Egy magabiztosság-jelző, ami "magas magabiztosságot" mond, illeszkednie kell olyan meccsekhez, ahol a felső valószínűség valóban magas arányban játszódik le. Egy magabiztosság-jelző, ami "szorosat" mond, illeszkednie kell olyan meccsekhez, ahol a kimenetek valóban változóak.

A konkrét Brier-értékek, a kalibrációs panelek és az újrahangolási kadencia a terméken belül marad. Ami eljut a felhasználóhoz, az egy magabiztossággal minősített elemzés, ahol a magabiztosság-jelző tényleges kimenetekkel kalibrált, nem marketing-jelként kitalált. A publikált módszertan hetek alatt másolódik és helytelenül kalibrálódik.

Amit a felhasználó lát a meccskártyán:

• Valószínűség-hármasok a kimenetelhez, látható magabiztosság-jelzővel, ami valódi kalibrációs sávhoz illeszkedik.
• Várható gólok minden oldalra.
• Egy írott elemzés, amely egyszerű nyelven elmagyarázza az olvasatot.
• Sehol nincs külső piaci adat. Nincsenek átirányítások harmadik-fél platformokra. Nincs virtuális pénz. Csak statisztikai elemzés.

A magabiztosság-jelző a felhasználó-felé néző kalibrációs fogantyú. A "magas magabiztosság" azt jelenti, hogy a jel erős; a "szoros" azt jelenti, hogy a kimenetek valóban változóak voltak.

A lényeg

A Brier-pontszám az, ahogy az előrejelzőket valójában értékelik. Egy eszköz, amely pontosságot hirdet anélkül, hogy kalibrációt mutatna, arra kér, hogy bízz a hangos-előrejelző mintában. Egy eszköz, amely hajlandó kalibráción értékelődni, amely olyan magabiztosság-jelzőket mutat, amelyek valóban tükrözik a kimeneteli változékonyságot, az fog hosszú távon kitartani.

Te magad is kiszámolhatod a Brier-t bármely előrejelző tippjein, ha publikálják a valószínűségeket az eredmények mellett. A képlet egyszerű, a mércék jól ismertek, és a becsületes osztályzat néhány perces táblázatos munkát igényel.

A Tactiq a kalibrációt beépíti a felhasználó-felé néző magabiztosság-jelzőbe és belsőleg validálja. Az elemzés minden meccset olyan magabiztossággal olvas, ami illeszkedik az alapot képező bizonytalansághoz, nem hangos állításokkal, amelyek nem élnek túl mintavizsgálatot. Több mint 1.200 verseny, 32 nyelvű lokalizáció, ingyenes szint napi nyolc elemzéssel, kártya nélkül.

Ha követted a sorozatot, a mérőszám-szótár most lefedi hogyan jósol az MI foci meccseket, xG, xA, npxG, PPDA, Pálya-billenés, progresszív akciók, SCA/GCA, xPts és Elo-értékek. A Brier csatlakozik hozzájuk mint meta-mérőszám, amely minden más mérőszám becsületességét értékeli.