Brierスコア解説:サッカー予測はどう採点されるか

よくある質問

Brierスコアを一文で言うと?
Brierスコアは、予測者の確率推定が現実からどれくらい離れているかを、すべての予測の平均で測定します。低いほど良い。完璧な予測者はBrierスコア0を得ます。コインを投げる愚か者は、3方向のサッカー結果で約0.25のスコアを得ます。
実際どう計算しますか?
各試合について、各結果(ホーム、引き分け、アウェイ)に対する予測者の確率と、実際の結果(起きた結果には1、他には0)を取ります。各結果について(予測 - 実際)^2を計算し、それらを合計し、結果の数で割ります。すべての試合でそれを平均します。結果の数値が低いほど、予測者の確率が実際に起きたことに密接にマップされます。
なぜ校正は正確性より重要ですか?
「正確な」予測者は、トップピックを60%の時間正しく当てるかもしれません。しかし、本当に欲しいのは、70%のピックが70%の時間正しく、45%のピックが45%の時間正しい予測者です。すべてに「90%」と言って60%の時間正しい予測者は声が大きい。校正された予測者は、確信度を現実に合わせます。
TactiqはBrierスコアを公開しますか?
Tactiqは分析出力全体で内部校正追跡を実行し、確信度指標が期待される率で実世界の結果と一致することを確認します。具体的な方法論と現在のBrierスコア値は製品内部に留まります。ユーザーにとって、効果は読みがどれくらい不確実かを真に反映する各分析の確信度指標として現れます。
サッカーで良いBrierスコアは?
3方向の試合結果について、単純なコイン投げのベンチマークは約0.25 Brierを記録します。ブックメーカー市場は約0.195を記録します。よく作られたサッカーモデルは0.19から0.21の範囲を記録します。大きなサンプルで0.19より低いものはエリートです。0.22より上は不振です。これらは大まかな数値です。正確な閾値はリーグの組み合わせとサンプルサイズに依存します。
予測について自分のBrierスコアを計算できますか?
はい。予測された確率のリスト(各試合のホーム/引き分け/アウェイ)と実際の結果が必要です。公式を適用し、試合間で平均し、上記のベンチマークと比較します。任意のツールやヒンターに対してこれを定期的に行えば、マーケティング主張に依存しない誠実な評価が得られます。