Brier 分數詳解:足球預測如何被評分
大多數足球預測應用行銷準確率。「70% 準確」聽起來令人印象深刻。「我們的首選有 80% 應驗」聽起來更令人印象深刻。準確率宣稱主導這個領域。它們也幾乎毫無意義。
評分預測者的正確方式不是準確率,而是校準。一個其 70% 機率選擇有 70% 時間對的預測者(不是 90%、不是 50%)正在做這份工作。一個其 70% 選擇有 85% 時間對的預測者是信心不足(可能有價值)但未校準。一個其 70% 選擇有 55% 時間對的預測者是大聲喧嘩(可能無用)。
Brier 分數是評分校準的指標。它在學術預測研究中已是 75 年的標準,是任何值得聆聽的足球預測者誠實獲得評分的方式。
本文將介紹 Brier 實際衡量什麼、如何自行計算、基準是什麼,以及為什麼校準是你應該對任何預測工具要求的訊號。
Brier 實際衡量什麼
Brier 是預測與現實之間的平方誤差分數。越低,校準越好。
對於三向足球結果(主勝、平、客勝),每場比賽產生三個總和為 1.0 的預測數字。實際結果產生三個 0 或 1 的數字(發生的結果為 1,其他為 0)。
每場公式: Brier = Σ(預測 − 實際)^2 / 3
所以對於以主勝結束的比賽,預測為 [0.60, 0.25, 0.15]:
- 主:(0.60 − 1.00)^2 = 0.16
- 平:(0.25 − 0.00)^2 = 0.0625
- 客:(0.15 − 0.00)^2 = 0.0225
- 加總:0.245
- 除以 3:0.0817
對同一場比賽說 [0.95, 0.03, 0.02] 的預測(主隊確實贏了):
- 加總:0.0025 + 0.0009 + 0.0004 = 0.0038
- 除以 3:≈ 0.0013
自信正確的預測得分好得多。但自信錯誤的預測會被嚴重懲罰:
- 對以平局結束的比賽說 [0.95, 0.03, 0.02]:
- 主:(0.95 − 0)^2 = 0.9025
- 平:(0.03 − 1)^2 = 0.9409
- 客:(0.02 − 0)^2 = 0.0004
- 加總:1.8438
- 除以 3:≈ 0.6146,一場災難
當有理由時信心被獎勵,當沒有時被懲罰。在數百場比賽上平均,Brier 自動將校準的預測者與大聲喧嘩者分開。
為什麼校準比準確率更重要
考慮兩名預測者。
預測者 A 對前六球隊每場主場比賽都說 95% 主、3% 平、2% 客。約 60% 時間對。
預測者 B 對同樣比賽說 62% 主、24% 平、14% 客。62% 時間對。
誰更好?準確率上,A 領先(60% 對 62% 接近)。校準上,B 大幅領先。A 的 95% 選擇 40% 時間錯,這很糟糕。B 的 62% 選擇 62% 時間對,這是誠實的。
Brier 分數告訴你哪一個正確讀取底層訊號。A 的 Brier 將很糟糕,因為錯誤時 95% 機率被平方。B 的 Brier 將優秀,因為機率匹配現實。
這在三個實際方面很重要:
風險校準。 如果你用預測做任何下游決定(即使是普通的「哪場比賽最有趣看」),知道機率實際有多可靠很重要。壞預測者的 95% 比好預測者的 62% 價值少。
預測者之間的比較。 你不能在原始準確率上比較兩名預測者。只選熱門的人會看起來比把弱方納入預測的人更「準確」。Brier 無論機率分布如何都有效。
誠實。 校準的預測者較不誘人去過度宣稱。知道會被 Brier 評分的預測者不吹噓。只會被準確率評分的預測者有動機只選熱門並抬高準確率。
足球的 Brier 基準
三向足球結果(主/平/客)的 Brier 大致基準:
- 總是平局基線(每場比賽說 33/33/33):約 0.25
- 隨機機率基線: 約 0.25
- 基本狀態基礎模型(僅勝負):約 0.225
- 使用 xG 加狀態的不錯公開模型: 0.195 至 0.215
- 莊家收盤線: 約 0.195
- 使用事件資料加仔細校準的頂級模型: 0.185 至 0.195
低於 0.185 的分數罕見;高於 0.22 的分數表現不佳。大多數嚴肅的分析工作生活在 0.19 至 0.21 範圍內,接近但通常不超過莊家市場(其有定價壓力與精明資金作為校準機制)。
Tactiq 如何思考 Brier 與校準
Tactiq 在分析輸出上運行內部校準追蹤,以確認比賽卡片上的信心指示在預期比率上對應於真實世界結果頻率。說「高信心」的信心指示應對應於頂部機率真正以高比率展開的比賽。說「緊湊」的信心指示應對應於結果真正可變的比賽。
具體 Brier 值、校準儀表板與重新調整節奏留在產品內部。到達使用者手上的,是信心指示已針對實際結果校準而不是作為行銷訊號發明的、信心限定的分析。發布的方法在數週內就會被複製和錯誤校準。
使用者在比賽卡片上看到的:
- 結果的三機率組,附映射到真正校準帶的可見信心指示。
- 雙方的預期進球。
- 一段以平實語言解釋判讀的書面分析。
- 任何外部市場資料都沒有。沒有重新導向到第三方平台。沒有虛擬貨幣。僅統計分析。
信心指示是面向使用者的校準把手。「高信心」意味著訊號強;「緊湊」意味著結果真正可變。
結語
Brier 分數是預測者實際被評分的方式。在不顯示校準的情況下宣傳準確率的工具,是要求你信任大聲喧嘩者模式。願意在校準上被評分、呈現真正反映結果可變性的信心指示的工具,是會在時間中堅持下去的那個。
如果他們發布機率連同結果,你可以自行計算任何預測者的 Brier。公式簡單,基準眾所周知,誠實的成績只需幾分鐘的試算表工作。
Tactiq 把校準構建到面向使用者的信心指示中並在內部驗證它。分析以匹配底層不確定性的信心閱讀每場比賽,而不是無法在樣本檢驗下倖存的大聲宣稱。覆蓋超過 1,200 個賽事,32 種語言本地化,免費檔每天 8 次分析,無需信用卡。
如果你一直在追這個系列,指標詞彙現在涵蓋 AI 如何預測足球比賽、xG、xA、npxG、PPDA、場地傾斜、推進性動作、SCA/GCA、xPts 與 Elo 評分。Brier 加入它們,作為評分每個其他指標誠實性的元指標。