Wynik Briera wyjaśniony: jak ocenia się prognozy piłkarskie
Większość aplikacji predykcyjnych do piłki nożnej reklamuje celność. „70% celności" brzmi imponująco. „80% naszych typów pierwszych wpadło" brzmi jeszcze bardziej imponująco. Twierdzenia o celności dominują przestrzeń. Są też niemal pozbawione znaczenia.
Właściwym sposobem oceny prognosty nie jest celność. To kalibracja. Prognosta, którego typy z prawdopodobieństwem 70% trafiają w 70% przypadków (nie w 90%, nie w 50%), wykonuje swoją pracę. Prognosta, którego typy 70% trafiają w 85%, jest niepewny siebie (prawdopodobnie wartościowy), ale nieskalibrowany. Prognosta, którego typy 70% trafiają w 55%, jest głośny (prawdopodobnie bezużyteczny).
Wynik Briera to miara, która ocenia kalibrację. Jest standardem w akademickich badaniach prognostycznych od 75 lat i to nim ocenia się uczciwie każdego prognostę piłkarskiego, który zasługuje na słuchanie.
Ten artykuł przeprowadzi was przez to, co Brier właściwie mierzy, jak go samodzielnie policzyć, jakie są benchmarki i dlaczego kalibracja jest sygnałem, którego powinniście wymagać od każdego narzędzia predykcyjnego.
Co Brier właściwie mierzy
Brier to wynik kwadratowego błędu między prognozą a rzeczywistością. Im niżej, tym lepsza kalibracja.
Dla trzech wyników meczu (zwycięstwo gospodarza, remis, zwycięstwo gości) każdy mecz produkuje trzy liczby prognozy sumujące się do 1,0. Rzeczywisty rezultat produkuje trzy liczby 0 lub 1 (1 dla wyniku, który padł, 0 dla pozostałych).
Wzór na mecz: Brier = Σ (prognoza minus rzeczywisty)^2 / 3
Więc prognoza [0,60, 0,25, 0,15] dla gospodarza/remisu/gości w meczu, który skończył się zwycięstwem gospodarza:
- Gospodarz: (0,60 minus 1,00)^2 = 0,16
- Remis: (0,25 minus 0,00)^2 = 0,0625
- Goście: (0,15 minus 0,00)^2 = 0,0225
- Suma: 0,245
- Dziel przez 3: 0,0817
Prognoza [0,95, 0,03, 0,02] na ten sam mecz (gospodarz wygrał):
- Suma: 0,0025 + 0,0009 + 0,0004 = 0,0038
- Dziel przez 3: ≈ 0,0013
Pewna trafna prognoza wypada znacznie lepiej. Ale pewna błędna prognoza zostaje surowo ukarana:
- [0,95, 0,03, 0,02] na meczu, który skończył się remisem:
- Gospodarz: (0,95 minus 0)^2 = 0,9025
- Remis: (0,03 minus 1)^2 = 0,9409
- Goście: (0,02 minus 0)^2 = 0,0004
- Suma: 1,8438
- Dziel przez 3: ≈ 0,6146, katastrofa
Pewność jest nagradzana, gdy uzasadniona, i karana, gdy nie. Uśrednione po setkach meczów Brier automatycznie oddziela skalibrowanych prognostów od głośnych.
Dlaczego kalibracja ma większe znaczenie niż celność
Rozważcie dwóch prognostów.
Prognosta A zawsze mówi 95% gospodarz, 3% remis, 2% goście dla każdego meczu domowego klubu z czołowej szóstki. Trafia około 60% z nich.
Prognosta B mówi 62% gospodarz, 24% remis, 14% goście dla tych samych spotkań. Trafia 62%.
Kto jest lepszy? Pod względem celności, A jest z przodu (60% vs 62% jest blisko). Pod względem kalibracji, B znacząco wyprzedza. Typy 95% A idą źle w 40% przypadków, co jest fatalne. Typy 62% B idą dobrze w 62%, co jest uczciwe.
Wyniki Briera mówią wam, kto poprawnie odczytuje sygnał bazowy. Brier A będzie okropny, bo prawdopodobieństwa 95% kwadratują się, gdy się mylą. Brier B będzie świetny, bo prawdopodobieństwa pasują do rzeczywistości.
Ma to znaczenie w trzech praktycznych sposobach:
Kalibracja ryzyka. Jeśli używacie predykcji do podjęcia jakiejkolwiek decyzji w dół strumienia (nawet swobodnego „który mecz najciekawiej obejrzeć"), wiedza o tym, jak naprawdę wiarygodne jest prawdopodobieństwo, ma znaczenie. 95% od złego prognosty jest warte mniej niż 62% od dobrego.
Porównanie między prognostami. Nie możecie porównywać dwóch prognostów na surowej celności. Ktoś, kto wybiera tylko faworytów, będzie wyglądał na bardziej „celnego" niż ktoś, kto włącza outsiderów do swoich prognoz. Brier działa niezależnie od rozkładu prawdopodobieństw.
Uczciwość. Skalibrowani prognoŝci są mniej skłonni przeszacowywać. Prognosta wiedzący, że będzie oceniany Brierem, się nie chwali. Prognosta wiedzący, że będzie oceniany tylko celnością, ma motywację, by typować jedynie faworytów i pompować linię celności.
Benchmarki Briera dla piłki nożnej
Orientacyjne benchmarki Briera dla trzech wyników (gospodarz / remis / goście):
- Bazowa zawsze-remis (mówi każdemu meczowi 33/33/33): około 0,25
- Bazowa losowe prawdopodobieństwo: około 0,25
- Podstawowy model formy (tylko zwycięstwa-porażki): około 0,225
- Przyzwoity publiczny model używający xG i formy: 0,195 do 0,215
- Linia zamknięcia bukmachera: około 0,195
- Elitarny model z danymi zdarzeniowymi i staranną kalibracją: 0,185 do 0,195
Wyniki poniżej 0,185 są rzadkie; wyniki powyżej 0,22 oznaczają słabe wyniki. Większość poważnej pracy analitycznej żyje w przedziale 0,19 do 0,21, blisko, ale zwykle nie pokonując rynków bukmacherskich (które mają presję cenową i ostre pieniądze jako mechanizm kalibracji).
Jak Tactiq myśli o Brierze i kalibracji
Tactiq prowadzi wewnętrzne śledzenie kalibracji wyników analizy, by potwierdzić, że wskaźniki pewności na kartach meczu odpowiadają rzeczywistym częstościom wyników w oczekiwanym tempie. Wskaźnik pewności mówiący „wysoka pewność" powinien mapować się do meczów, w których czołowe prawdopodobieństwo rzetelnie się sprawdza w wysokim tempie. Wskaźnik mówiący „bliski" powinien mapować się do meczów, w których wyniki są naprawdę zmienne.
Konkretne wartości Briera, dashboardy kalibracji i kadencja przestrajania pozostają wewnątrz produktu. To, co dociera do użytkownika, to analiza kwalifikowana pewnością, gdzie wskaźnik pewności został skalibrowany wobec rzeczywistych wyników, a nie wymyślony jako sygnał marketingowy. Opublikowana metodologia bywa kopiowana i źle kalibrowana w ciągu tygodni.
To, co użytkownik widzi na karcie meczu:
- Trójki prawdopodobieństw dla wyniku z widocznym wskaźnikiem pewności mapującym się na rzetelny pas kalibracji.
- Oczekiwane gole dla każdej strony.
- Pisemną analizę wyjaśniającą odczyt prostym językiem.
- Brak danych z rynków zewnętrznych. Brak przekierowań do platform zewnętrznych. Brak waluty wirtualnej. Tylko analiza statystyczna.
Wskaźnik pewności jest dla użytkownika uchwytem na kalibrację. „Wysoka pewność" znaczy, że sygnał jest silny; „bliski" znaczy, że wyniki były naprawdę zmienne.
Wnioski
Wynik Briera to sposób, w jaki naprawdę ocenia się prognostów. Narzędzie reklamujące celność bez pokazywania kalibracji prosi was o zaufanie wzorcowi głośnego prognosty. Narzędzie gotowe być oceniane na kalibracji, ujawniające wskaźniki pewności rzetelnie odzwierciedlające zmienność wyników, to to, które przetrwa próbę czasu.
Możecie sami policzyć Briera dla predykcji każdego prognosty, jeśli publikuje prawdopodobieństwa obok wyników. Wzór jest prosty, benchmarki dobrze znane, a uczciwa ocena zajmuje kilka minut pracy w arkuszu kalkulacyjnym.
Tactiq wbudowuje kalibrację we wskaźnik pewności widoczny dla użytkownika i waliduje ją wewnętrznie. Analiza odczytuje każdy mecz z pewnością pasującą do bazowej niepewności, zamiast głośnymi twierdzeniami nieprzeżywającymi próby. Ponad 1.200 rozgrywek, lokalizacja w 32 językach, darmowy poziom z ośmioma analizami dziennie, bez karty.
Jeśli śledziliście serię, słownictwo metryczne pokrywa teraz jak AI przewiduje mecze piłkarskie, xG, xA, npxG, PPDA, Field Tilt, progresywne akcje, SCA/GCA, xPts i ratingi Elo. Brier dołącza do nich jako meta-miara oceniająca uczciwość każdej innej miary.