Brier Score Dijelaskan: Bagaimana Analisis Bola Sepak Sebenarnya Dinilai
Kebanyakan aplikasi analisis bola sepak memasarkan ketepatan. "70% tepat" kedengaran mengagumkan. "80% pilihan utama kami menjadi" kedengaran lebih mengagumkan. Dakwaan ketepatan menguasai ruang ini. Ia juga hampir tiada makna.
Cara yang betul untuk menilai penganalisis bukan ketepatan. Ia kalibrasi. Penganalisis yang pilihan kebarangkalian 70%-nya betul 70% kali (bukan 90%, bukan 50%) sedang melaksanakan tugasnya. Penganalisis yang pilihan 70%-nya betul 85% kali kurang yakin (mungkin bernilai) tetapi tidak terkalibrasi. Penganalisis yang pilihan 70%-nya betul 55% kali ialah lantang (mungkin tidak berguna).
Brier score ialah metrik yang menilai kalibrasi. Ia telah menjadi piawaian dalam penyelidikan analisis akademik selama 75 tahun, dan ia cara mana-mana penganalisis bola sepak yang berbaloi didengar dinilai dengan jujur.
Artikel ini meneliti apa yang sebenarnya diukur oleh Brier, cara mengira sendiri, apakah penanda arasnya, dan mengapa kalibrasi ialah isyarat yang anda perlu tuntut daripada mana-mana alat analisis.
Apa yang sebenarnya diukur oleh Brier
Brier ialah skor ralat kuasa dua antara analisis dan realiti. Lebih rendah, lebih baik kalibrasinya.
Untuk hasil bola sepak tiga arah (kemenangan tuan rumah, seri, kemenangan pelawat), setiap perlawanan menghasilkan tiga nombor analisis yang berjumlah 1.0. Hasil sebenar menghasilkan tiga nombor 0-atau-1 (1 untuk hasil yang berlaku, 0 untuk yang lain).
Formula setiap perlawanan: Brier = Σ (analisis - sebenar)^2 / 3
Jadi analisis [0.60, 0.25, 0.15] untuk tuan rumah/seri/pelawat pada perlawanan yang berakhir dengan kemenangan tuan rumah:
- Tuan rumah: (0.60 - 1.00)^2 = 0.16
- Seri: (0.25 - 0.00)^2 = 0.0625
- Pelawat: (0.15 - 0.00)^2 = 0.0225
- Jumlah: 0.245
- Bahagi 3: 0.0817
Analisis yang berkata [0.95, 0.03, 0.02] pada perlawanan sama (tuan rumah memang menang):
- Jumlah: 0.0025 + 0.0009 + 0.0004 = 0.0038
- Bahagi 3: ≈ 0.0013
Analisis yakin yang betul mendapat skor jauh lebih baik. Tetapi analisis yakin yang salah dihukum dengan keras:
- [0.95, 0.03, 0.02] pada perlawanan yang berakhir seri:
- Tuan rumah: (0.95 - 0)^2 = 0.9025
- Seri: (0.03 - 1)^2 = 0.9409
- Pelawat: (0.02 - 0)^2 = 0.0004
- Jumlah: 1.8438
- Bahagi 3: ≈ 0.6146, satu bencana
Keyakinan diberi ganjaran apabila dijustifikasi dan dihukum apabila tidak. Dipuratakan ke atas beratus perlawanan, Brier secara automatik memisahkan penganalisis yang dikalibrasi daripada yang lantang.
Mengapa kalibrasi lebih penting daripada ketepatan
Pertimbangkan dua penganalisis.
Penganalisis A sentiasa berkata 95% tuan rumah, 3% seri, 2% pelawat pada setiap perlawanan kandang pasukan enam teratas. Mendapat sekitar 60% betul.
Penganalisis B berkata 62% tuan rumah, 24% seri, 14% pelawat pada perlawanan sama. Mendapat 62% betul.
Siapa yang lebih baik? Dari segi ketepatan, A mendahului (60% vs 62% rapat). Dari segi kalibrasi, B jauh lebih baik. Pilihan 95% A salah 40% kali, sangat teruk. Pilihan 62% B betul 62% kali, jujur.
Brier score memberitahu anda yang mana sebenarnya membaca isyarat dasar dengan betul. Brier A akan dahsyat kerana kebarangkalian 95% dikuasaduakan apabila salah. Brier B akan cemerlang kerana kebarangkalian sepadan dengan realiti.
Ini penting dalam tiga cara praktikal:
Kalibrasi risiko. Jika anda menggunakan analisis untuk membuat sebarang keputusan hiliran (walaupun santai "perlawanan mana yang paling menarik untuk ditonton"), mengetahui sejauh mana kebarangkalian itu boleh dipercayai adalah penting. 95% daripada penganalisis buruk bernilai kurang daripada 62% daripada penganalisis baik.
Perbandingan antara penganalisis. Anda tidak boleh membandingkan dua penganalisis pada ketepatan mentah. Seseorang yang hanya memilih kegemaran akan kelihatan lebih "tepat" daripada seseorang yang memasukkan calon bawahan dalam analisisnya. Brier berfungsi tanpa mengira pengagihan kebarangkalian.
Kejujuran. Penganalisis yang dikalibrasi kurang tergoda untuk mendakwa berlebihan. Penganalisis yang tahu mereka akan dinilai Brier tidak menunjuk-nunjuk. Penganalisis yang tahu mereka hanya akan dinilai ketepatan mempunyai insentif untuk hanya memilih kegemaran dan memompa angka ketepatan.
Penanda aras Brier untuk bola sepak
Penanda aras kasar pada Brier untuk hasil bola sepak tiga arah (tuan rumah / seri / pelawat):
- Asas sentiasa-seri (berkata setiap perlawanan ialah 33/33/33): kira-kira 0.25
- Asas kebarangkalian rawak: kira-kira 0.25
- Model berasaskan bentuk asas (menang-kalah sahaja): kira-kira 0.225
- Model awam yang baik menggunakan xG + bentuk: 0.195 hingga 0.215
- Garisan akhir sumber data umum: sekitar 0.195
- Model elit dengan data peristiwa + kalibrasi teliti: 0.185 hingga 0.195
Skor di bawah 0.185 jarang berlaku; skor di atas 0.22 prestasi rendah. Kebanyakan kerja analitikal serius berada dalam julat 0.19 hingga 0.21, hampir tetapi biasanya tidak mengatasi sumber data pasaran umum (yang mempunyai tekanan penentuan harga sebagai mekanisme kalibrasi mereka).
Bagaimana Tactiq memikirkan Brier dan kalibrasi
Tactiq menjalankan penjejakan kalibrasi dalaman merentas hasil analisis untuk mengesahkan bahawa penunjuk keyakinan pada kad perlawanan sepadan dengan kekerapan hasil dunia sebenar pada kadar yang dijangkakan. Penunjuk keyakinan yang berkata "keyakinan tinggi" perlu sepadan dengan perlawanan di mana kebarangkalian utama benar-benar terjadi pada kadar tinggi. Penunjuk keyakinan yang berkata "rapat" perlu sepadan dengan perlawanan di mana hasilnya benar-benar berubah-ubah.
Nilai Brier khusus, papan pemuka kalibrasi, dan kadens penalaan semula kekal dalam produk. Apa yang sampai kepada pengguna ialah analisis dengan kelayakan keyakinan di mana penunjuk keyakinan telah dikalibrasi terhadap hasil sebenar dan bukan dicipta sebagai isyarat pemasaran. Metodologi yang diterbitkan disalin dan tersalah kalibrasi dalam beberapa minggu.
Apa yang pengguna lihat pada kad perlawanan:
- Tiga kebarangkalian untuk hasil, dengan penunjuk keyakinan yang nyata yang sepadan dengan jalur kalibrasi sebenar.
- Jangkaan gol untuk setiap pasukan.
- Analisis bertulis yang menjelaskan bacaan dalam bahasa biasa.
- Tiada data pasaran luar di mana-mana. Tiada pengalihan ke platform pihak ketiga. Tiada mata wang maya. Analisis statistik sahaja.
Penunjuk keyakinan ialah pegangan kalibrasi yang berhadapan dengan pengguna. "Keyakinan tinggi" bermakna isyarat kuat; "rapat" bermakna hasilnya benar-benar berubah-ubah.
Pengajaran utama
Brier score ialah cara penganalisis sebenarnya dinilai. Alat yang mengiklankan ketepatan tanpa menunjukkan kalibrasi meminta anda mempercayai corak penganalisis lantang. Alat yang sanggup dinilai pada kalibrasi, yang menonjolkan penunjuk keyakinan yang benar-benar mencerminkan kebolehubahan hasil, ialah yang akan bertahan dari masa ke masa.
Anda boleh mengira Brier sendiri pada analisis mana-mana penganalisis, jika mereka menerbitkan kebarangkalian bersama keputusan. Formulanya mudah, penanda arasnya terkenal, dan penilaian jujur mengambil beberapa minit kerja hamparan.
Tactiq membina kalibrasi ke dalam penunjuk keyakinan yang berhadapan dengan pengguna dan mengesahkannya secara dalaman. Analisis membaca setiap perlawanan dengan keyakinan yang sepadan dengan ketidakpastian asas, bukan dakwaan lantang yang tidak bertahan dalam penelitian sampel. 1,200 lebih pertandingan, penyetempatan 32 bahasa, peringkat percuma lapan analisis sehari, tiada kad kredit diperlukan.
Jika anda telah mengikuti siri ini, perbendaharaan kata metrik kini meliputi bagaimana AI menganalisis perlawanan bola sepak, xG, xA, npxG, PPDA, Field Tilt, aksi progresif, SCA/GCA, xPts dan penarafan Elo. Brier menyertainya sebagai meta-metrik yang menilai kejujuran setiap metrik lain.