Brier Score Dijelaskan: Bagaimana Ramalan Sepak Bola Dinilai

Oleh Tactiq AI · 2026-05-06 · Baca 8 menit · AI & Sepak Bola

Sebagian besar aplikasi prediksi sepak bola memasarkan akurasi. "70% akurat" terdengar mengesankan. "80% pilihan teratas kami berhasil" terdengar lebih mengesankan. Klaim akurasi mendominasi ruang ini. Mereka juga hampir tidak berarti.

Cara yang tepat untuk menilai peramal bukan akurasi. Itu kalibrasi. Peramal yang pilihan probabilitas 70%-nya benar 70% dari waktu (bukan 90%, bukan 50%) sedang melakukan tugasnya. Peramal yang pilihan 70%-nya benar 85% dari waktu kurang yakin (mungkin berharga) tetapi tidak terkalibrasi. Peramal yang pilihan 70%-nya benar 55% dari waktu berisik (mungkin tidak berguna).

Brier score adalah metrik yang menilai kalibrasi. Ia telah menjadi standar dalam riset peramalan akademis selama 75 tahun, dan ini adalah cara peramal sepak bola mana pun yang layak didengarkan dinilai dengan jujur.

Artikel ini membahas apa yang sebenarnya diukur Brier, cara menghitungnya sendiri, apa tolok ukurnya, dan mengapa kalibrasi adalah sinyal yang harus Anda tuntut dari alat analisis mana pun.

Apa yang sebenarnya diukur Brier

Brier adalah skor selisih kuadrat antara ramalan dan kenyataan. Semakin rendah, semakin baik kalibrasi.

Untuk hasil sepak bola tiga arah (menang kandang, imbang, menang tandang), setiap pertandingan menghasilkan tiga angka ramalan yang berjumlah 1.0. Hasil sebenarnya menghasilkan tiga angka 0-atau-1 (1 untuk hasil yang terjadi, 0 untuk yang lain).

Rumus per pertandingan: Brier = Σ (ramalan - sebenarnya)^2 / 3

Jadi ramalan [0.60, 0.25, 0.15] untuk kandang/imbang/tandang pada pertandingan yang berakhir dengan kemenangan kandang:

Kandang: (0.60 - 1.00)^2 = 0.16
Imbang: (0.25 - 0.00)^2 = 0.0625
Tandang: (0.15 - 0.00)^2 = 0.0225
Jumlah: 0.245
Bagi dengan 3: 0.0817

Ramalan yang mengatakan [0.95, 0.03, 0.02] pada pertandingan yang sama (kandang memang menang):

Jumlah: 0.0025 + 0.0009 + 0.0004 = 0.0038
Bagi dengan 3: ≈ 0.0013

Ramalan yakin yang benar mendapat skor jauh lebih baik. Tetapi ramalan yakin yang salah dihukum keras:

[0.95, 0.03, 0.02] pada pertandingan yang berakhir imbang:
Kandang: (0.95 - 0)^2 = 0.9025
Imbang: (0.03 - 1)^2 = 0.9409
Tandang: (0.02 - 0)^2 = 0.0004
Jumlah: 1.8438
Bagi dengan 3: ≈ 0.6146, sebuah bencana

Keyakinan dihargai saat dibenarkan dan dihukum saat tidak. Dirata-ratakan selama ratusan pertandingan, Brier memisahkan peramal terkalibrasi dari yang berisik secara otomatis.

Mengapa kalibrasi lebih penting daripada akurasi

Pertimbangkan dua peramal.

Peramal A selalu mengatakan 95% kandang, 3% imbang, 2% tandang pada setiap pertandingan kandang tim enam besar. Benar sekitar 60% dari waktu.

Peramal B mengatakan 62% kandang, 24% imbang, 14% tandang pada fixture yang sama. Benar 62% dari waktu.

Siapa yang lebih baik? Akurasi-bijak, A unggul (60% vs 62% dekat). Kalibrasi-bijak, B jauh lebih unggul. Pilihan 95% A salah 40% dari waktu, yang mengerikan. Pilihan 62% B benar 62% dari waktu, yang jujur.

Brier score memberi tahu Anda yang mana yang membaca sinyal mendasar dengan benar. Brier A akan mengerikan karena probabilitas 95% berkuadrat saat salah. Brier B akan luar biasa karena probabilitas cocok dengan kenyataan.

Ini penting dalam tiga cara praktis:

Kalibrasi risiko. Jika Anda menggunakan prediksi untuk membuat keputusan apa pun selanjutnya (bahkan "pertandingan mana yang paling menarik untuk ditonton" yang santai), mengetahui seberapa andal probabilitas itu sebenarnya itu penting. 95% dari peramal buruk lebih sedikit nilainya daripada 62% dari peramal baik.

Perbandingan antar peramal. Anda tidak bisa membandingkan dua peramal pada akurasi mentah. Seseorang yang hanya memilih favorit akan tampak lebih "akurat" daripada seseorang yang memasukkan underdog dalam ramalannya. Brier bekerja terlepas dari distribusi probabilitas.

Kejujuran. Peramal terkalibrasi kurang tergoda untuk mengklaim berlebihan. Peramal yang tahu mereka akan dinilai Brier tidak bermegah. Peramal yang tahu mereka hanya akan dinilai akurasi memiliki insentif untuk hanya menyebut favorit dan memompa garis akurasi.

Tolok ukur Brier untuk sepak bola

Tolok ukur kasar Brier untuk hasil sepak bola tiga arah (kandang / imbang / tandang):

Garis dasar selalu-imbang (mengatakan setiap pertandingan adalah 33/33/33): sekitar 0.25
Garis dasar probabilitas acak: sekitar 0.25
Model dasar berbasis performa (hanya menang-kalah): sekitar 0.225
Model publik layak menggunakan xG + performa: 0.195 sampai 0.215
Garis penutupan bandar: sekitar 0.195
Model elit dengan data event + kalibrasi cermat: 0.185 sampai 0.195

Skor di bawah 0.185 jarang; skor di atas 0.22 underperforming. Sebagian besar pekerjaan analitis serius hidup di rentang 0.19 sampai 0.21, mendekati tetapi biasanya tidak mengalahkan pasar bandar (yang memiliki tekanan harga dan uang tajam sebagai mekanisme kalibrasi).

Bagaimana Tactiq berpikir tentang Brier dan kalibrasi

Tactiq menjalankan pelacakan kalibrasi internal di seluruh output analisisnya untuk memastikan indikator keyakinan pada kartu pertandingan sesuai dengan frekuensi hasil dunia nyata pada tingkat yang diharapkan. Indikator keyakinan yang mengatakan "keyakinan tinggi" seharusnya memetakan ke pertandingan di mana probabilitas teratas benar-benar berlaku pada tingkat tinggi. Indikator keyakinan yang mengatakan "ketat" seharusnya memetakan ke pertandingan di mana hasilnya benar-benar bervariasi.

Nilai Brier spesifik, dasbor kalibrasi, dan irama penyetelan ulang tetap berada di dalam produk. Yang sampai ke pengguna adalah analisis yang dikualifikasi tingkat keyakinan di mana indikator keyakinan telah dikalibrasi terhadap hasil sebenarnya alih-alih diciptakan sebagai sinyal pemasaran. Metodologi yang dipublikasikan akan disalin dan dimiskalibrasi dalam hitungan minggu.

Apa yang dilihat pengguna pada kartu pertandingan:

Triple probabilitas untuk hasil, dengan indikator keyakinan terlihat yang dipetakan ke pita kalibrasi sebenarnya.
Expected goals untuk masing-masing tim.
Analisis tertulis yang menjelaskan bacaan dalam bahasa lugas.
Tidak ada data pasar eksternal di mana pun. Tidak ada pengalihan ke platform pihak ketiga. Tidak ada mata uang virtual. Hanya analisis statistik.

Indikator keyakinan adalah pegangan kalibrasi yang menghadap pengguna. "Keyakinan tinggi" berarti sinyalnya kuat; "ketat" berarti hasilnya benar-benar bervariasi.

Inti

Brier score adalah cara peramal sebenarnya dinilai. Alat yang mengiklankan akurasi tanpa menunjukkan kalibrasi meminta Anda mempercayai pola peramal-berisik. Alat yang bersedia dinilai pada kalibrasi, yang menampilkan indikator keyakinan yang benar-benar mencerminkan variabilitas hasil, adalah alat yang akan bertahan seiring waktu.

Anda dapat menghitung Brier sendiri pada prediksi peramal mana pun, jika mereka menerbitkan probabilitas di samping hasil. Rumusnya sederhana, tolok ukurnya terkenal, dan nilai jujur memerlukan beberapa menit pekerjaan spreadsheet.

Tactiq membangun kalibrasi ke dalam indikator keyakinan yang menghadap pengguna dan memvalidasinya secara internal. Analisis membaca setiap pertandingan dengan keyakinan yang sesuai ketidakpastian mendasar, alih-alih klaim berisik yang tidak bertahan dalam pengamatan sampel. Lebih dari 1,200 kompetisi, lokalisasi 32 bahasa, kuota gratis delapan analisis per hari, tanpa kartu kredit.

Jika Anda mengikuti seri ini, kosakata metrik kini mencakup bagaimana AI menganalisis pertandingan sepak bola, xG, xA, npxG, PPDA, Field Tilt, aksi progresif, SCA/GCA, xPts dan peringkat Elo. Brier bergabung dengan mereka sebagai meta-metrik yang menilai kejujuran setiap metrik lain.

Pertanyaan yang Sering Diajukan

Apa itu Brier score dalam satu kalimat?

Brier score mengukur seberapa jauh estimasi probabilitas peramal dari kenyataan, dirata-ratakan di seluruh ramalannya. Lebih rendah lebih baik. Peramal sempurna mendapat Brier score 0; peramal asal-coba mendapat skor sekitar 0.25 pada hasil sepak bola tiga arah.

Bagaimana ia sebenarnya dihitung?

Untuk setiap pertandingan, ambil probabilitas peramal untuk setiap hasil (kandang, imbang, tandang), dan hasil sebenarnya (1 untuk hasil yang terjadi, 0 untuk yang lain). Hitung (ramalan - sebenarnya)^2 untuk setiap hasil, jumlahkan, dan bagi dengan jumlah hasil. Rata-ratakan itu di semua pertandingan. Semakin rendah angka yang dihasilkan, semakin ketat probabilitas peramal memetakan apa yang sebenarnya terjadi.

Mengapa kalibrasi lebih penting daripada akurasi?

Peramal yang 'akurat' mungkin benar pada pilihan teratas 60% dari waktu. Tetapi yang sebenarnya Anda inginkan adalah peramal yang pilihan 70%-nya benar 70% dari waktu dan pilihan 45%-nya benar 45% dari waktu. Peramal yang mengatakan '90%' pada semuanya dan benar 60% dari waktu itu berisik. Peramal terkalibrasi mencocokkan keyakinannya dengan kenyataan.

Apakah Tactiq menerbitkan Brier score-nya?

Tactiq menjalankan pelacakan kalibrasi internal di seluruh output analisisnya untuk memastikan indikator keyakinan sesuai dengan hasil dunia nyata pada tingkat yang diharapkan. Metodologi spesifik dan nilai Brier score saat ini tetap berada di dalam produk. Bagi pengguna, efeknya muncul sebagai indikator keyakinan pada setiap analisis yang benar-benar mencerminkan seberapa tidak pasti bacaannya.

Apa Brier score yang baik untuk sepak bola?

Untuk hasil pertandingan tiga arah, tolok ukur lemparan koin naif mendapat skor sekitar 0.25 Brier. Pasar bandar taruhan mendapat sekitar 0.195. Model sepak bola yang dibangun baik mendapat skor di rentang 0.19-0.21. Apa pun di bawah 0.19 pada sampel besar adalah elit. Apa pun di atas 0.22 underperforming. Ini angka kasar; ambang tepat tergantung campuran liga dan ukuran sampel.

Bisakah saya menghitung Brier score sendiri pada prediksi?

Ya. Anda butuh daftar probabilitas yang diramalkan (kandang/imbang/tandang untuk setiap pertandingan) dan hasil sebenarnya. Terapkan rumus, rata-ratakan di seluruh pertandingan, bandingkan dengan tolok ukur di atas. Jika Anda melakukan ini secara teratur terhadap alat atau penebak mana pun, Anda mendapat nilai jujur yang tidak bergantung pada klaim pemasaran.