Brierスコア解説:サッカー予測はどう採点されるか
ほとんどのサッカー予測アプリは正確性をマーケティングします。「70%正確」は印象的に聞こえます。「我々のトップピックの80%が当たった」はもっと印象的に聞こえます。正確性の主張がスペースを支配しています。それらはまたほとんど無意味です。
予測者を評価する正しい方法は正確性ではありません。校正です。70%の確率ピックが70%の時間正しい(90%でも50%でもない)予測者は仕事をしています。70%のピックが85%の時間正しい予測者は控えめ(おそらく価値がある)ですが校正されていません。70%のピックが55%の時間正しい予測者は声が大きい(おそらく役に立たない)です。
Brierスコアは校正を採点する指標です。学術予測研究で75年間標準でした。これは聞く価値のある任意のサッカー予測者が誠実に採点される方法です。
この記事は、Brierが実際に何を測るか、どう自分で計算するか、ベンチマークが何か、そしてなぜ校正がどんな予測ツールにも要求すべき信号なのかを解説します。
Brierが実際に測るもの
Brierは予測と現実の間の二乗誤差スコアです。低いほど校正されています。
3方向のサッカー結果(ホーム勝、引き分け、アウェイ勝)について、各試合は1.0に合計される3つの予測数値を生成します。実際の結果は3つの0または1の数値を生成します(起きた結果には1、他には0)。
1試合あたりの公式: Brier = Σ (予測 - 実際)^2 / 3
ホーム勝で終わった試合のホーム/引き分け/アウェイの[0.60, 0.25, 0.15]の予測の場合。
- ホーム:(0.60 - 1.00)^2 = 0.16
- 引き分け:(0.25 - 0.00)^2 = 0.0625
- アウェイ:(0.15 - 0.00)^2 = 0.0225
- 合計:0.245
- 3で割る:0.0817
同じ試合で[0.95, 0.03, 0.02]と言った予測(ホームが勝った場合)。
- 合計:0.0025 + 0.0009 + 0.0004 = 0.0038
- 3で割る:≈ 0.0013
確信のある正しい予測ははるかに良いスコアを得ます。しかし確信のある誤った予測は厳しく罰せられます。
- 引き分けで終わった試合の[0.95, 0.03, 0.02]の場合。
- ホーム:(0.95 - 0)^2 = 0.9025
- 引き分け:(0.03 - 1)^2 = 0.9409
- アウェイ:(0.02 - 0)^2 = 0.0004
- 合計:1.8438
- 3で割る:≈ 0.6146、災害
確信は正当化されたときに報酬を得て、そうでないときに罰せられます。何百もの試合で平均化すると、Brierは校正された予測者を声の大きい予測者から自動的に分離します。
なぜ校正が正確性より重要か
2人の予測者を考えます。
予測者A は、トップシックスサイドの全ホーム試合について常に95%ホーム、3%引き分け、2%アウェイと言います。約60%を当てます。
予測者B は、同じ試合について62%ホーム、24%引き分け、14%アウェイと言います。62%を当てます。
どちらが優れていますか?正確性的にはAが先行(60%対62%は近い)。校正的にはBがはるかに先行。Aの95%ピックは40%の時間で誤り、これはひどい。Bの62%ピックは62%の時間で正しく、これは誠実です。
Brierスコアは、どちらが基礎的な信号を正しく読んでいるかを伝えます。AのBrierは恐ろしくなります。なぜなら95%の確率は誤りのとき二乗されるからです。BのBrierは優れています。なぜなら確率が現実と一致するからです。
これは3つの実用的な方法で重要です。
リスク校正。 予測を使って下流で何らかの決定を下す場合(カジュアルな「どの試合が見るのに最も興味深いか」でさえも)、確率が実際にどれくらい信頼できるかを知ることが重要です。悪い予測者からの95%は良い予測者からの62%より価値が低いです。
予測者間の比較。 生の正確性で2人の予測者を比較することはできません。本命だけをピックする人は、アンダードッグを予測に含める人より「正確」に見えます。Brierは確率の分布に関係なく機能します。
誠実さ。 校正された予測者は過剰主張する誘惑が少ない。Brierスコア化されることを知る予測者は自慢しません。正確性スコアだけ化されることを知る予測者は、本命だけをコールして正確性を膨らませるインセンティブを持ちます。
サッカーのBrierベンチマーク
3方向のサッカー結果(ホーム/引き分け/アウェイ)のBrierの大まかなベンチマーク。
- 常に引き分けベースライン(すべての試合を33/33/33とする):約0.25
- ランダム確率ベースライン: 約0.25
- 基本的なフォームベースモデル(勝敗のみ):約0.225
- xG + フォームを使う適切な公開モデル: 0.195から0.215
- ブックメーカーのクロージングライン: 約0.195
- イベントデータ + 慎重な校正を持つエリートモデル: 0.185から0.195
0.185以下のスコアは稀です。0.22以上のスコアは不振です。ほとんどの真剣な分析作業は0.19から0.21の範囲に住み、ブックメーカー市場(価格圧力とシャープマネーをキャリブレーションメカニズムとして持つ)に近いがそれを通常上回りません。
TactiqがBrierと校正についてどう考えるか
Tactiqは、試合カードの確信度指標が期待される率で実世界の結果頻度に対応することを確認するために、分析出力全体で内部校正追跡を実行します。「高確信度」と言う確信度指標は、トップ確率が真に高い率で実現する試合にマップする必要があります。「接戦」と言う確信度指標は、結果が真に変動的な試合にマップする必要があります。
具体的なBrier値、校正ダッシュボード、再チューニングのケイデンスは製品内部に留まります。ユーザーに届くのは、確信度指標がマーケティング信号として発明されるのではなく、実際の結果に対して校正された確信度修飾された分析です。公開された方法論は数週間でコピーされて誤校正されます。
ユーザーが試合カードで見るもの。
- 結果の確率の三つ組と、本物の校正バンドにマップする目に見える確信度指標。
- 各サイドの期待ゴール。
- 平易な言葉で読みを説明する書かれた分析。
- 外部市場データはどこにもありません。第三者プラットフォームへのリダイレクトもなし。仮想通貨もなし。統計分析のみ。
確信度指標は、校正に対するユーザー向けのハンドルです。「高確信度」は信号が強いことを意味します。「接戦」は結果が真に変動的であることを意味します。
まとめ
Brierスコアは予測者が実際にどう採点されるかです。校正を示さずに正確性を宣伝するツールは、声の大きな予測者パターンを信頼するように頼んでいます。校正で採点される意思があり、結果の変動性を真に反映する確信度指標を表面化するツールが、時間の経過とともに持ちこたえるものです。
予測者の予測について自分でBrierを計算できます。確率を結果と並んで公開していれば。公式は単純で、ベンチマークはよく知られており、誠実な評価は数分のスプレッドシート作業で済みます。
Tactiqはユーザー向けの確信度指標に校正を組み込み、内部で検証します。分析は、サンプルの精査に耐えない大きな主張ではなく、基礎的な不確実性に一致する確信度で各試合を読みます。1,200以上のリーグ、32言語のローカライゼーション、1日8回の分析の無料層、カード不要。
シリーズに従ってきたなら、指標の語彙は今やAIがサッカー試合を予測する方法、xG、xA、npxG、PPDA、Field Tilt、プログレッシブアクション、SCA/GCA、xPts、Eloレーティングをカバーしています。Brierは他のすべての指標の誠実さを採点するメタ指標としてそれらに加わります。