Brier 점수 설명: 축구 예측이 어떻게 평가되는가
대부분의 축구 예측 앱은 정확도를 마케팅합니다. "70% 정확"은 인상적으로 들립니다. "최상위 선택의 80%가 적중했습니다"는 더 인상적으로 들립니다. 정확도 주장이 이 분야를 지배합니다. 그것들은 또한 거의 무의미합니다.
예측가를 평가하는 올바른 방법은 정확도가 아닙니다. 보정입니다. 70% 확률 선택이 70%의 시간 옳은(90%도 50%도 아닌) 예측가는 일을 잘하고 있는 것입니다. 70% 선택이 85%의 시간 옳은 예측가는 자신감 부족(아마도 가치 있음)이지만 보정되지 않았습니다. 70% 선택이 55%의 시간 옳은 예측가는 시끄럽습니다(아마도 쓸모 없음).
Brier 점수는 보정을 평가하는 지표입니다. 75년 동안 학술 예측 연구의 표준이었으며, 들을 가치가 있는 모든 축구 예측가가 정직하게 평가되는 방법입니다.
이 기사는 Brier가 실제로 무엇을 측정하는지, 직접 계산하는 방법, 기준점은 무엇인지, 그리고 왜 보정이 모든 예측 도구에서 요구해야 할 신호인지 살펴봅니다.
Brier가 실제로 측정하는 것
Brier는 예측과 현실 사이의 제곱 오차 점수입니다. 낮을수록 더 잘 보정되었습니다.
세 가지 결과 축구 결과(홈 승, 무승부, 원정 승)에 대해, 각 경기는 합이 1.0인 세 가지 예측 숫자를 생성합니다. 실제 결과는 세 개의 0 또는 1 숫자(일어난 결과는 1, 다른 결과는 0)를 생성합니다.
경기당 공식: Brier = Σ (예측 - 실제)^2 / 3
따라서 홈 승으로 끝난 경기에 대해 홈/무/원정에 대한 [0.60, 0.25, 0.15] 예측은:
- 홈: (0.60 - 1.00)^2 = 0.16
- 무: (0.25 - 0.00)^2 = 0.0625
- 원정: (0.15 - 0.00)^2 = 0.0225
- 합: 0.245
- 3으로 나눔: 0.0817
같은 경기(홈이 이김)에서 [0.95, 0.03, 0.02]라고 말한 예측:
- 합: 0.0025 + 0.0009 + 0.0004 = 0.0038
- 3으로 나눔: 약 0.0013
자신감 있고 옳은 예측은 훨씬 더 좋은 점수를 받습니다. 그러나 자신감 있고 틀린 예측은 호되게 처벌받습니다:
- 무승부로 끝난 경기에 대한 [0.95, 0.03, 0.02]:
- 홈: (0.95 - 0)^2 = 0.9025
- 무: (0.03 - 1)^2 = 0.9409
- 원정: (0.02 - 0)^2 = 0.0004
- 합: 1.8438
- 3으로 나눔: 약 0.6146, 재앙
자신감은 정당화되었을 때 보상받고 그렇지 않을 때 처벌받습니다. 수백 경기에 걸쳐 평균을 내면, Brier는 보정된 예측가와 시끄러운 예측가를 자동으로 분리합니다.
왜 보정이 정확도보다 더 중요한가
두 명의 예측가를 고려해 보세요.
예측가 A는 상위 6위 팀의 모든 홈 경기에서 항상 95% 홈, 3% 무, 2% 원정이라고 말합니다. 그 중 약 60%를 맞춥니다.
예측가 B는 같은 경기에서 62% 홈, 24% 무, 14% 원정이라고 말합니다. 그 중 62%를 맞춥니다.
누가 더 나을까요? 정확도 측면에서 A가 앞서 있습니다(60% 대 62%는 가깝습니다). 보정 측면에서 B가 훨씬 앞서 있습니다. A의 95% 선택은 40%의 시간 틀리며, 이는 끔찍합니다. B의 62% 선택은 62%의 시간 옳으며, 이는 정직합니다.
Brier 점수는 어느 쪽이 기본 신호를 올바르게 읽고 있는지 알려줍니다. A의 Brier는 95% 확률이 틀릴 때 제곱되기 때문에 끔찍할 것입니다. B의 Brier는 확률이 현실과 일치하기 때문에 훌륭할 것입니다.
이는 세 가지 실용적인 면에서 중요합니다:
위험 보정. 예측을 사용해 다운스트림에서 어떤 결정을 내린다면(심지어 캐주얼한 "어느 경기가 보기에 가장 흥미로운가"라도), 확률이 실제로 얼마나 신뢰할 만한지 아는 것이 중요합니다. 나쁜 예측가의 95%는 좋은 예측가의 62%보다 가치가 적습니다.
예측가 간 비교. 두 예측가를 원시 정확도로 비교할 수 없습니다. 우승 후보만 선택하는 사람은 약자를 예측에 포함시키는 사람보다 더 "정확하게" 보일 것입니다. Brier는 확률 분포와 무관하게 작동합니다.
정직성. 보정된 예측가는 과대 주장의 유혹이 적습니다. Brier로 평가될 것을 아는 예측가는 자랑하지 않습니다. 정확도로만 평가될 것을 아는 예측가는 우승 후보만 선택하고 정확도 라인을 부풀리려는 동기가 있습니다.
축구 Brier 기준점
세 가지 결과 축구 결과(홈/무/원정)에 대한 Brier의 대략적인 기준점:
- 항상 무승부 기준선 (모든 경기를 33/33/33으로 말함): 약 0.25
- 무작위 확률 기준선: 약 0.25
- 기본 폼 기반 모델 (승패만): 약 0.225
- xG + 폼을 사용하는 괜찮은 공개 모델: 0.195에서 0.215
- 북메이커 종가 라인: 약 0.195
- 이벤트 데이터 + 신중한 보정을 가진 엘리트 모델: 0.185에서 0.195
0.185 미만의 점수는 드물고, 0.22 초과는 저성과입니다. 대부분의 진지한 분석 작업은 0.19에서 0.21 범위에 있으며, 보통 북메이커 시장(가격 책정 압력과 샤프 머니를 보정 메커니즘으로 가짐)을 이기지는 못하지만 가깝습니다.
Tactiq가 Brier와 보정에 대해 생각하는 방식
Tactiq는 분석 출력 전반에 내부 보정 추적을 실행하여 경기 카드의 신뢰도 표시기가 예상 비율로 실제 결과 빈도와 일치하는지 확인합니다. "높은 신뢰도"라고 말하는 신뢰도 표시기는 최상위 확률이 정말로 높은 비율로 실현되는 경기에 매핑되어야 합니다. "근접"이라고 말하는 신뢰도 표시기는 결과가 정말로 가변적인 경기에 매핑되어야 합니다.
구체적인 Brier 값, 보정 대시보드, 재조정 주기는 제품 내부에 머무릅니다. 사용자에게 도달하는 것은 신뢰도 표시기가 마케팅 신호로 발명된 것이 아니라 실제 결과에 대해 보정된 신뢰도 자격이 있는 분석입니다. 공개된 방법론은 몇 주 안에 복사되고 잘못 보정됩니다.
사용자가 경기 카드에서 보는 것:
- 결과에 대한 확률 삼중항, 진정한 보정 밴드에 매핑되는 보이는 신뢰도 표시기와 함께.
- 양 팀의 기대 득점.
- 평이한 언어로 판독을 설명하는 서면 분석.
- 외부 시장 데이터 없음. 제3자 플랫폼으로의 리디렉션 없음. 가상 화폐 없음. 통계 분석만.
신뢰도 표시기는 보정에 대한 사용자 대면 핸들입니다. "높은 신뢰도"는 신호가 강하다는 의미이며, "근접"은 결과가 정말로 가변적이었다는 의미입니다.
핵심 정리
Brier 점수는 예측가가 실제로 평가되는 방법입니다. 보정을 보여주지 않고 정확도를 광고하는 도구는 시끄러운 예측가 패턴을 신뢰하라고 요청하는 것입니다. 보정으로 평가받기를 기꺼이 하고, 결과 가변성을 진정으로 반영하는 신뢰도 표시기를 표면화하는 도구는 시간이 지나도 견딜 도구입니다.
예측가가 결과와 함께 확률을 게시한다면 그들의 예측에 대해 직접 Brier를 계산할 수 있습니다. 공식은 간단하고, 기준점은 잘 알려져 있으며, 정직한 평가는 스프레드시트 작업으로 몇 분 걸립니다.
Tactiq는 사용자 대면 신뢰도 표시기에 보정을 구축하고 내부적으로 검증합니다. 분석은 표본 정밀 검사를 견디지 못하는 시끄러운 주장이 아니라 기본 불확실성과 일치하는 신뢰도로 각 경기를 읽습니다. 1,200개 이상의 대회, 32개 언어 현지화, 하루 8회 분석의 무료 등급, 신용카드 불필요.
이 시리즈를 따라왔다면, 지표 어휘는 이제 AI가 축구 경기를 예측하는 방법, xG, xA, npxG, PPDA, Field Tilt, 점진적 액션, SCA/GCA, xPts 및 Elo 등급을 다룹니다. Brier는 모든 다른 지표의 정직성을 평가하는 메타 지표로 그들과 합류합니다.