Brier rezultat objašnjen: kako se ocjenjuju nogometne prognoze
Većina aplikacija za nogometna predviđanja oglašava točnost. "70% točnost" zvuči impresivno. "80% naših top izbora prošlo je" zvuči impresivnije. Tvrdnje o točnosti dominiraju prostorom. Također su gotovo besmislene.
Ispravan način ocjenjivanja prognozera nije točnost. Kalibracija je. Prognozer čiji su izbori s vjerojatnošću od 70% u pravu 70% vremena (ne 90%, ne 50%) radi posao. Prognozer čiji su izbori od 70% u pravu 85% vremena je nesiguran (vjerojatno vrijedan), ali nije kalibriran. Prognozer čiji su izbori od 70% u pravu 55% vremena je glasan (vjerojatno beskoristan).
Brier rezultat je mjera koja ocjenjuje kalibraciju. Standard je u akademskom istraživanju prognoziranja već 75 godina i način je na koji se svaki nogometni prognozer vrijedan slušanja iskreno ocjenjuje.
Ovaj članak vodi kroz ono što Brier zapravo mjeri, kako ga sami izračunati, koje su reference i zašto je kalibracija signal koji biste trebali tražiti od bilo kojeg alata za predviđanje.
Što Brier zapravo mjeri
Brier je rezultat kvadratne pogreške između prognoze i stvarnosti. Što niže, to je bolje kalibrirano.
Za trostrane nogometne ishode (domaća pobjeda, neriješeno, gostujuća pobjeda), svaka utakmica proizvodi tri prognozirana broja koji zbrajaju do 1,0. Stvarni rezultat proizvodi tri broja 0 ili 1 (1 za ishod koji se dogodio, 0 za ostale).
Formula po utakmici: Brier = Σ (prognoza - stvarni)^2 / 3
Pa prognoza od [0,60, 0,25, 0,15] za domaće/neriješeno/gostujuće na utakmici koja je završila domaćom pobjedom:
- Domaći: (0,60 - 1,00)^2 = 0,16
- Neriješeno: (0,25 - 0,00)^2 = 0,0625
- Gostujući: (0,15 - 0,00)^2 = 0,0225
- Zbroj: 0,245
- Podijeljeno s 3: 0,0817
Prognoza koja je rekla [0,95, 0,03, 0,02] na istoj utakmici (domaći su pobijedili):
- Zbroj: 0,0025 + 0,0009 + 0,0004 = 0,0038
- Podijeljeno s 3: ≈ 0,0013
Sigurna ispravna prognoza postiže puno bolji rezultat. Ali sigurna pogrešna prognoza biva oštro kažnjena:
- [0,95, 0,03, 0,02] na utakmici koja je završila neriješeno:
- Domaći: (0,95 - 0)^2 = 0,9025
- Neriješeno: (0,03 - 1)^2 = 0,9409
- Gostujući: (0,02 - 0)^2 = 0,0004
- Zbroj: 1,8438
- Podijeljeno s 3: ≈ 0,6146, katastrofa
Sigurnost se nagrađuje kad je opravdana i kažnjava kad nije. Prosječeno preko stotina utakmica, Brier automatski razdvaja kalibrirane prognozere od glasnih.
Zašto kalibracija znači više od točnosti
Razmotrite dva prognozera.
Prognozer A uvijek kaže 95% domaći, 3% neriješeno, 2% gostujući na svakoj domaćoj utakmici strane iz top šestice. Pogađa otprilike 60%.
Prognozer B kaže 62% domaći, 24% neriješeno, 14% gostujući na istim utakmicama. Pogađa 62% njih.
Tko je bolji? Po točnosti, A je naprijed (60% naspram 62% je blisko). Po kalibraciji, B je daleko ispred. A-ovi izbori od 95% pogrešni su 40% vremena, što je strašno. B-ovi izbori od 62% u pravu su 62% vremena, što je iskreno.
Brier rezultati govore vam koji ispravno čita podležeći signal. A-ov Brier bit će užasan jer se vjerojatnosti od 95% kvadriraju kad su pogrešne. B-ov Brier bit će izvrstan jer vjerojatnosti odgovaraju stvarnosti.
Ovo je važno na tri praktična načina:
Kalibracija rizika. Ako koristite predviđanje za donošenje bilo kakve odluke nizvodno (čak i ležernu "koja je utakmica najzanimljivija za gledanje"), znati koliko je vjerojatnost zapravo pouzdana je važno. 95% lošeg prognozera vrijedi manje od 62% dobrog.
Usporedba između prognozera. Ne možete usporediti dva prognozera po sirovoj točnosti. Netko tko bira samo favorite izgledat će "točnije" od nekoga tko uključuje autsajdere u svoja predviđanja. Brier funkcionira bez obzira na raspodjelu vjerojatnosti.
Iskrenost. Kalibrirani prognozeri manje su u iskušenju da prekomjerno tvrde. Prognozer koji zna da će biti ocijenjen Brierom ne hvali se. Prognozer koji zna da će biti ocijenjen samo po točnosti ima poticaj da poziva samo favorite i pumpa liniju točnosti.
Brier reference za nogomet
Okvirne reference za Brier na trostranim nogometnim ishodima (domaći / neriješeno / gostujući):
- Osnovica uvijek-neriješeno (kaže da je svaka utakmica 33/33/33): oko 0,25
- Osnovica nasumične vjerojatnosti: oko 0,25
- Osnovni model na temelju forme (samo pobjede-porazi): oko 0,225
- Pristojan javni model koji koristi xG + formu: 0,195 do 0,215
- Kladionička zatvorena linija: oko 0,195
- Elitni model s event podacima + pažljivom kalibracijom: 0,185 do 0,195
Rezultati ispod 0,185 su rijetki; rezultati iznad 0,22 su ispod očekivanja. Većina ozbiljnog analitičkog rada živi u rasponu 0,19 do 0,21, blizu, ali obično ne pobjeđujući kladionička tržišta (koja imaju cjenovni pritisak i oštre ulagače kao mehanizam kalibracije).
Kako Tactiq razmišlja o Brier-u i kalibraciji
Tactiq vodi internu kalibracijsku provjeru izlaza analize kako bi potvrdio da indikatori pouzdanja na karticama utakmica odgovaraju stvarnim frekvencijama ishoda na očekivanoj stopi. Indikator pouzdanja koji kaže "visoko pouzdanje" trebao bi se mapirati na utakmice gdje se najviša vjerojatnost istinski ostvaruje na visokoj stopi. Indikator pouzdanja koji kaže "tijesno" trebao bi se mapirati na utakmice gdje su ishodi istinski varijabilni.
Specifične Brier vrijednosti, kalibracijske nadzorne ploče i ritam ponovnog podešavanja ostaju unutar proizvoda. Što stiže do korisnika je analiza kvalificirana pouzdanjem gdje je indikator pouzdanja kalibriran prema stvarnim ishodima, a ne izmišljen kao marketinški signal. Objavljena metodologija biva kopirana i kriva kalibrirana unutar tjedana.
Što korisnik vidi na kartici utakmice:
- Trojke vjerojatnosti za ishod, s vidljivim indikatorom pouzdanja koji se mapira na istinski kalibracijski pojas.
- Očekivani golovi za svaku stranu.
- Pisana analiza koja objašnjava čitanje jednostavnim jezikom.
- Bez vanjskih tržišnih podataka bilo gdje. Bez preusmjeravanja na platforme trećih strana. Bez virtualne valute. Samo statistička analiza.
Indikator pouzdanja je korisničko sučelje za kalibraciju. "Visoko pouzdanje" znači da je signal jak; "tijesno" znači da su ishodi bili istinski varijabilni.
Zaključak
Brier rezultat je način na koji se prognozeri zapravo ocjenjuju. Alat koji oglašava točnost bez prikaza kalibracije traži od vas da vjerujete obrascu glasnog prognozera. Alat koji je voljan biti ocijenjen po kalibraciji, koji prikazuje indikatore pouzdanja koji istinski odražavaju varijabilnost ishoda, jest onaj koji će izdržati vremenom.
Brier možete sami izračunati na predviđanjima bilo kojeg prognozera, ako objavljuje vjerojatnosti uz rezultate. Formula je jednostavna, reference su dobro poznate i iskrena ocjena traje nekoliko minuta rada s tablicom.
Tactiq ugrađuje kalibraciju u korisnički indikator pouzdanja i interno je validira. Analiza čita svaku utakmicu sa sigurnošću koja se poklapa s podležećom neizvjesnošću, umjesto glasnih tvrdnji koje ne preživljavaju nadzor uzorka. Više od 1.200 natjecanja, lokalizacija na 32 jezika, besplatna razina od osam analiza dnevno, bez kartice.
Ako pratite seriju, rječnik mjerila sad pokriva kako AI predviđa nogometne utakmice, xG, xA, npxG, PPDA, Field Tilt, progresivne akcije, SCA/GCA, xPts i Elo rejtinge. Brier im se pridružuje kao meta-mjera koja ocjenjuje iskrenost svake druge mjere.