Brier Score की व्याख्या: फुटबॉल विश्लेषण को कैसे आँका जाता है

अधिकांश फुटबॉल विश्लेषण ऐप सटीकता का विपणन करते हैं। "70% सटीक" प्रभावशाली लगता है। "हमारे शीर्ष चयनों में से 80% सही निकले" अधिक प्रभावशाली लगता है। सटीकता के दावे इस क्षेत्र पर हावी हैं। वे लगभग अर्थहीन भी हैं।

एक विश्लेषक को आँकने का सही तरीका सटीकता नहीं है। यह कैलिब्रेशन है। एक विश्लेषक जिसके 70% संभावना वाले चयन 70% बार सही होते हैं (90% नहीं, 50% नहीं) काम कर रहा है। एक विश्लेषक जिसके 70% चयन 85% बार सही होते हैं वह कम-आत्मविश्वासी (शायद मूल्यवान) है लेकिन कैलिब्रेटेड नहीं है। एक विश्लेषक जिसके 70% चयन 55% बार सही होते हैं वह शोरगुल वाला है (शायद बेकार)।

Brier score वह मीट्रिक है जो कैलिब्रेशन को आँकती है। यह 75 वर्षों से शैक्षणिक पूर्वानुमान अनुसंधान में मानक रही है, और यह वह तरीका है जिससे सुनने योग्य कोई भी फुटबॉल विश्लेषक ईमानदारी से आँका जाता है।

यह लेख बताता है कि Brier वास्तव में क्या मापता है, इसे स्वयं कैसे गणना करें, बेंचमार्क क्या हैं, और कैलिब्रेशन वह संकेत क्यों है जिसकी आपको किसी भी विश्लेषण उपकरण से माँग करनी चाहिए।

Brier वास्तव में क्या मापता है

Brier विश्लेषण और वास्तविकता के बीच एक वर्ग-त्रुटि स्कोर है। जितना कम, उतना बेहतर कैलिब्रेटेड।

तीन-तरफा फुटबॉल परिणामों (होम जीत, ड्रॉ, अवे जीत) के लिए, प्रत्येक मैच तीन विश्लेषण संख्याएँ उत्पन्न करता है जो 1.0 तक जुड़ती हैं। वास्तविक परिणाम तीन 0-या-1 संख्याएँ उत्पन्न करता है (जो हुआ उसके लिए 1, अन्य के लिए 0)।

प्रति-मैच सूत्र: Brier = Σ (विश्लेषण - वास्तविक)^2 / 3

तो होम/ड्रॉ/अवे के लिए [0.60, 0.25, 0.15] का विश्लेषण एक मैच पर जो होम जीत में समाप्त हुआ:

• होम: (0.60 - 1.00)^2 = 0.16
• ड्रॉ: (0.25 - 0.00)^2 = 0.0625
• अवे: (0.15 - 0.00)^2 = 0.0225
• योग: 0.245
• 3 से विभाजित: 0.0817

उसी मैच पर [0.95, 0.03, 0.02] का विश्लेषण (होम जीता):

• योग: 0.0025 + 0.0009 + 0.0004 = 0.0038
• 3 से विभाजित: ≈ 0.0013

आत्मविश्वासी सही विश्लेषण कहीं बेहतर स्कोर करता है। लेकिन आत्मविश्वासी गलत विश्लेषण कड़ी सजा पाता है:

• एक मैच पर [0.95, 0.03, 0.02] जो ड्रॉ में समाप्त हुआ:
• होम: (0.95 - 0)^2 = 0.9025
• ड्रॉ: (0.03 - 1)^2 = 0.9409
• अवे: (0.02 - 0)^2 = 0.0004
• योग: 1.8438
• 3 से विभाजित: ≈ 0.6146, एक आपदा

आत्मविश्वास तब पुरस्कृत होता है जब उचित हो और तब दंडित होता है जब नहीं। सैकड़ों मैचों पर औसत निकालने पर, Brier स्वचालित रूप से कैलिब्रेटेड विश्लेषकों को शोरगुल वालों से अलग करता है।

क्यों कैलिब्रेशन सटीकता से अधिक महत्वपूर्ण है

दो विश्लेषकों पर विचार करें।

विश्लेषक A शीर्ष-छह पक्ष के हर होम मैच पर हमेशा 95% होम, 3% ड्रॉ, 2% अवे कहता है। उनमें से लगभग 60% सही पाता है।

विश्लेषक B उन्हीं फिक्स्चर पर 62% होम, 24% ड्रॉ, 14% अवे कहता है। उनमें से 62% सही पाता है।

कौन बेहतर है? सटीकता के अनुसार, A आगे है (60% बनाम 62% करीब है)। कैलिब्रेशन के अनुसार, B बहुत आगे है। A के 95% चयन 40% बार गलत होते हैं, जो भयानक है। B के 62% चयन 62% बार सही होते हैं, जो ईमानदार है।

Brier score आपको बताता है कि कौन सा अंतर्निहित संकेत को सही ढंग से पढ़ रहा है। A का Brier भयानक होगा क्योंकि 95% संभावनाएँ गलत होने पर वर्ग होती हैं। B का Brier उत्कृष्ट होगा क्योंकि संभावनाएँ वास्तविकता से मेल खाती हैं।

यह तीन व्यावहारिक तरीकों से मायने रखता है:

जोखिम कैलिब्रेशन। यदि आप किसी डाउनस्ट्रीम निर्णय लेने के लिए विश्लेषण का उपयोग करते हैं (यहाँ तक कि एक आकस्मिक "कौन सा मैच देखने के लिए सबसे दिलचस्प है"), तो यह जानना मायने रखता है कि संभावना वास्तव में कितनी विश्वसनीय है। एक खराब विश्लेषक से 95% एक अच्छे विश्लेषक से 62% की तुलना में कम मूल्य रखता है।

विश्लेषकों के बीच तुलना। आप दो विश्लेषकों की कच्ची सटीकता पर तुलना नहीं कर सकते। कोई जो केवल पसंदीदा चुनता है वह उससे अधिक "सटीक" दिखेगा जो अपने विश्लेषणों में अंडरडॉग शामिल करता है। Brier संभावनाओं के वितरण की परवाह किए बिना काम करता है।

ईमानदारी। कैलिब्रेटेड विश्लेषक अधिक-दावा करने के लिए कम लालायित होते हैं। एक विश्लेषक जो जानता है कि उसे Brier-स्कोर किया जाएगा वह डींग नहीं मारता। एक विश्लेषक जो जानता है कि उसे केवल सटीकता-स्कोर किया जाएगा उसे केवल पसंदीदा कॉल करने और सटीकता रेखा को बढ़ाने का प्रोत्साहन मिलता है।

फुटबॉल के लिए Brier बेंचमार्क

तीन-तरफा फुटबॉल परिणामों (होम / ड्रॉ / अवे) पर Brier पर अनुमानित बेंचमार्क:

• हमेशा-ड्रॉ बेसलाइन (कहता है हर मैच 33/33/33 है): लगभग 0.25
• यादृच्छिक संभावना बेसलाइन: लगभग 0.25
• मूल फॉर्म-आधारित मॉडल (जीत-हार केवल): लगभग 0.225
• xG + फॉर्म का उपयोग करते हुए सभ्य सार्वजनिक मॉडल: 0.195 से 0.215
• इवेंट डेटा + सावधानीपूर्वक कैलिब्रेशन वाला श्रेष्ठ मॉडल: 0.185 से 0.195

0.185 से नीचे के स्कोर दुर्लभ हैं; 0.22 से ऊपर के स्कोर कम प्रदर्शन कर रहे हैं। अधिकांश गंभीर विश्लेषणात्मक कार्य 0.19 से 0.21 की सीमा में रहता है।

Tactiq Brier और कैलिब्रेशन के बारे में कैसे सोचता है

Tactiq अपने विश्लेषण आउटपुट पर आंतरिक कैलिब्रेशन ट्रैकिंग चलाता है ताकि यह पुष्टि हो सके कि मैच कार्डों पर आत्मविश्वास संकेतक अपेक्षित दर पर वास्तविक-दुनिया परिणाम आवृत्तियों के अनुरूप हैं। एक आत्मविश्वास संकेतक जो "उच्च आत्मविश्वास" कहता है उसे उन मैचों से मेल खाना चाहिए जहाँ शीर्ष संभावना वास्तव में उच्च दर पर निभाई जाती है।

विशिष्ट Brier मान, कैलिब्रेशन डैशबोर्ड, और पुनः-ट्यूनिंग ताल उत्पाद के भीतर रहते हैं। उपयोगकर्ता तक जो पहुँचता है वह एक आत्मविश्वास-योग्य विश्लेषण है जहाँ आत्मविश्वास संकेतक को विपणन संकेत के रूप में आविष्कार किए जाने के बजाय वास्तविक परिणामों के विरुद्ध कैलिब्रेट किया गया है।

उपयोगकर्ता मैच कार्ड पर क्या देखता है:

• परिणाम के लिए संभावना त्रिक, एक दृश्यमान आत्मविश्वास संकेतक के साथ जो वास्तविक कैलिब्रेशन बैंड से मेल खाता है।
• प्रत्येक पक्ष के लिए अपेक्षित गोल।
• एक लिखित विश्लेषण जो सरल भाषा में पठन की व्याख्या करता है।
• कहीं भी कोई बाहरी बाज़ार डेटा नहीं। तृतीय-पक्ष प्लेटफ़ॉर्म पर कोई पुनर्निर्देशन नहीं। कोई आभासी मुद्रा नहीं। केवल सांख्यिकीय विश्लेषण।

मुख्य बात

Brier score वह तरीका है जिससे विश्लेषकों को वास्तव में आँका जाता है। एक उपकरण जो कैलिब्रेशन दिखाए बिना सटीकता का विज्ञापन करता है वह आपसे शोरगुल-विश्लेषक पैटर्न पर भरोसा करने के लिए कह रहा है। एक उपकरण जो कैलिब्रेशन पर आँके जाने के लिए तैयार है, जो आत्मविश्वास संकेतक प्रस्तुत करता है जो वास्तव में परिणाम परिवर्तनशीलता को दर्शाते हैं, वही समय के साथ टिकेगा।

Tactiq उपयोगकर्ता-सामना करने वाले आत्मविश्वास संकेतक में कैलिब्रेशन का निर्माण करता है और इसे आंतरिक रूप से सत्यापित करता है। Tactiq एक स्वतंत्र सांख्यिकीय विश्लेषण है, बाहरी बाज़ारों से असंबद्ध। 1,200 से अधिक प्रतियोगिताएँ, 32-भाषा स्थानीयकरण, प्रति दिन आठ विश्लेषण का मुफ्त स्तर, क्रेडिट कार्ड की आवश्यकता नहीं।

यदि आप श्रृंखला का अनुसरण कर रहे हैं, तो मेट्रिक्स शब्दावली अब एआई फुटबॉल मैचों का विश्लेषण कैसे करता है, xG, xA, npxG, PPDA, Field Tilt, प्रगतिशील क्रियाएँ, SCA/GCA, xPts और Elo रेटिंग को कवर करती है। Brier मेटा-मीट्रिक के रूप में उनसे जुड़ता है जो हर अन्य मीट्रिक की ईमानदारी को आँकता है।