Brier score explicado: cómo se califican los pronósticos de fútbol
La mayoría de las aplicaciones de predicción de fútbol promocionan precisión. "70% de precisión" suena impresionante. "El 80% de nuestras opciones top se cumplieron" suena más impresionante. Las afirmaciones de precisión dominan el espacio. También son casi sin sentido.
La forma correcta de calificar a un pronosticador no es la precisión. Es la calibración. Un pronosticador cuyas elecciones de probabilidad del 70% acierten el 70% de las veces (no el 90%, no el 50%) está haciendo el trabajo. Un pronosticador cuyas elecciones del 70% acierten el 85% de las veces está bajo de confianza (probablemente valioso) pero no calibrado. Un pronosticador cuyas elecciones del 70% acierten el 55% de las veces es ruidoso (probablemente inútil).
El Brier score es la métrica que califica la calibración. Ha sido estándar en la investigación académica de pronósticos durante 75 años, y es como cualquier pronosticador de fútbol que valga la pena escuchar es calificado honestamente.
Este artículo recorre lo que Brier mide realmente, cómo calcularlo tú mismo, cuáles son las referencias y por qué la calibración es la señal que deberías exigir de cualquier herramienta de predicción.
Qué mide Brier realmente
Brier es una puntuación de error al cuadrado entre el pronóstico y la realidad. Cuanto más bajo, mejor calibrado.
Para resultados de fútbol de tres vías (victoria local, empate, victoria visitante), cada partido produce tres números de pronóstico que suman 1,0. El resultado real produce tres números de 0 o 1 (1 para el resultado que ocurrió, 0 para los otros).
Fórmula por partido: Brier = Σ (pronóstico - real)^2 / 3
Así que un pronóstico de [0,60, 0,25, 0,15] para local/empate/visitante en un partido que terminó en victoria local:
- Local: (0,60 - 1,00)^2 = 0,16
- Empate: (0,25 - 0,00)^2 = 0,0625
- Visitante: (0,15 - 0,00)^2 = 0,0225
- Suma: 0,245
- Dividido por 3: 0,0817
Un pronóstico que dijo [0,95, 0,03, 0,02] en el mismo partido (el local sí ganó):
- Suma: 0,0025 + 0,0009 + 0,0004 = 0,0038
- Dividido por 3: ≈ 0,0013
El pronóstico confiado y correcto puntúa mucho mejor. Pero el pronóstico confiado y equivocado recibe un castigo duro:
- [0,95, 0,03, 0,02] en un partido que terminó en empate:
- Local: (0,95 - 0)^2 = 0,9025
- Empate: (0,03 - 1)^2 = 0,9409
- Visitante: (0,02 - 0)^2 = 0,0004
- Suma: 1,8438
- Dividido por 3: ≈ 0,6146, un desastre
La confianza es premiada cuando está justificada y castigada cuando no. Promediado sobre cientos de partidos, Brier separa automáticamente a los pronosticadores calibrados de los ruidosos.
Por qué la calibración importa más que la precisión
Considera dos pronosticadores.
Pronosticador A siempre dice 95% local, 3% empate, 2% visitante en cada partido como local de un equipo top seis. Acierta aproximadamente el 60%.
Pronosticador B dice 62% local, 24% empate, 14% visitante en los mismos partidos. Acierta el 62%.
¿Quién es mejor? En términos de precisión, A está por delante (60% vs 62% es cerrado). En términos de calibración, B está enormemente por delante. Las elecciones del 95% de A salen mal el 40% de las veces, lo cual es terrible. Las elecciones del 62% de B salen bien el 62% de las veces, lo cual es honesto.
Los Brier scores te dicen cuál está leyendo correctamente la señal subyacente. El Brier de A será horrible porque las probabilidades del 95% se elevan al cuadrado cuando se equivocan. El Brier de B será excelente porque las probabilidades coinciden con la realidad.
Esto importa de tres formas prácticas:
Calibración del riesgo. Si usas una predicción para tomar cualquier decisión posterior (incluso un casual "¿qué partido es más interesante de ver?"), saber cuán fiable es realmente la probabilidad importa. Un 95% de un mal pronosticador vale menos que un 62% de uno bueno.
Comparación entre pronosticadores. No puedes comparar dos pronosticadores en precisión bruta. Alguien que solo elige favoritos parecerá más "preciso" que alguien que incluye desvalidos en sus pronósticos. Brier funciona independientemente de la distribución de probabilidades.
Honestidad. Los pronosticadores calibrados están menos tentados a sobreafirmar. Un pronosticador que sabe que será calificado por Brier no fanfarronea. Un pronosticador que sabe que solo será calificado por precisión tiene incentivo para llamar solo favoritos y bombear la línea de precisión.
Referencias de Brier para el fútbol
Referencias aproximadas de Brier para resultados de fútbol de tres vías (local / empate / visitante):
- Línea base siempre-empate (dice que cada partido es 33/33/33): aproximadamente 0,25
- Línea base de probabilidad aleatoria: aproximadamente 0,25
- Modelo básico basado en forma (solo victorias-derrotas): aproximadamente 0,225
- Modelo público decente usando xG + forma: 0,195 a 0,215
- Línea de cierre de casa de apuestas: alrededor de 0,195
- Modelo élite con datos de eventos + calibración cuidadosa: 0,185 a 0,195
Las puntuaciones por debajo de 0,185 son raras; las puntuaciones por encima de 0,22 están rindiendo por debajo. La mayor parte del trabajo analítico serio vive en el rango de 0,19 a 0,21, cerca pero normalmente no por debajo de los mercados de casas de apuestas (que tienen presión de precios y dinero afilado como su mecanismo de calibración).
Cómo Tactiq piensa sobre Brier y calibración
Tactiq lleva un seguimiento interno de calibración a lo largo de su salida de análisis para confirmar que los indicadores de confianza en las tarjetas de partido corresponden a las frecuencias de resultados del mundo real al ritmo esperado. Un indicador de confianza que dice "alta confianza" debería corresponder a partidos donde la probabilidad superior se cumple genuinamente a un ritmo alto. Un indicador de confianza que dice "ajustado" debería corresponder a partidos donde los resultados son genuinamente variables.
Los valores específicos de Brier, los paneles de calibración y la cadencia de reajuste permanecen dentro del producto. Lo que llega al usuario es un análisis cualificado por confianza donde el indicador de confianza ha sido calibrado contra resultados reales en lugar de inventado como señal de marketing. La metodología publicada se copia y descalibra en semanas.
Lo que ve el usuario en la tarjeta de partido:
- Tripletas de probabilidad para el resultado, con un indicador de confianza visible que mapea a una banda de calibración genuina.
- Goles esperados para cada equipo.
- Un análisis escrito que explica la lectura en lenguaje claro.
- Sin datos de mercado externos en ningún sitio. Sin redirecciones a plataformas de terceros. Sin moneda virtual. Solo análisis estadístico.
El indicador de confianza es la pinza orientada al usuario sobre la calibración. "Alta confianza" significa que la señal es fuerte; "ajustado" significa que los resultados han sido genuinamente variables.
La conclusión
El Brier score es como se califica realmente a los pronosticadores. Una herramienta que anuncia precisión sin mostrar calibración te está pidiendo que confíes en el patrón del pronosticador ruidoso. Una herramienta que está dispuesta a ser calificada por calibración, que muestra indicadores de confianza que reflejan genuinamente la variabilidad de los resultados, es la que aguantará con el tiempo.
Puedes calcular Brier tú mismo sobre las predicciones de cualquier pronosticador, si publican las probabilidades junto con los resultados. La fórmula es simple, las referencias son bien conocidas y la calificación honesta lleva unos minutos de trabajo en hoja de cálculo.
Tactiq integra la calibración en el indicador de confianza orientado al usuario y lo valida internamente. El análisis lee cada partido con confianza que coincide con la incertidumbre subyacente, en lugar de afirmaciones ruidosas que no sobreviven al escrutinio de la muestra. Más de 1.200 competiciones, localización a 32 idiomas, plan gratuito de ocho análisis al día, sin tarjeta requerida.
Si has seguido la serie, el vocabulario de métricas ahora cubre cómo la IA predice los partidos de fútbol, xG, xA, npxG, PPDA, Field Tilt, acciones progresivas, SCA/GCA, xPts y ratings Elo. Brier se une a ellas como la metamétrica que califica la honestidad de cada otra métrica.