Brier Score อธิบายชัด: การวิเคราะห์ฟุตบอลถูกให้คะแนนอย่างไร
แอปวิเคราะห์ฟุตบอลส่วนใหญ่โฆษณาความแม่นยำ "แม่น 70%" ฟังดูน่าประทับใจ "80% ของตัวเลือกอันดับต้นของเราเป็นจริง" ฟังดูน่าประทับใจกว่า คำกล่าวอ้างเรื่องความแม่นยำครอบงำพื้นที่นี้ มันยังแทบไม่มีความหมาย
วิธีที่ถูกต้องในการให้คะแนนนักวิเคราะห์ไม่ใช่ความแม่นยำ แต่เป็นการคาลิเบรต นักวิเคราะห์ที่การเลือก 70% ถูก 70% ของเวลา (ไม่ใช่ 90%, ไม่ใช่ 50%) คือคนที่ทำงานได้ นักวิเคราะห์ที่การเลือก 70% ถูก 85% ของเวลามีความมั่นใจต่ำเกินไป (คงมีคุณค่า) แต่ไม่ได้คาลิเบรต นักวิเคราะห์ที่การเลือก 70% ถูก 55% ของเวลาคือคนเสียงดัง (คงไร้ประโยชน์)
Brier score คือเมตริกที่ให้คะแนนการคาลิเบรต มันเป็นมาตรฐานในงานวิจัยการวิเคราะห์เชิงวิชาการมา 75 ปีแล้ว และเป็นวิธีที่นักวิเคราะห์ฟุตบอลใด ๆ ที่ควรค่าฟังถูกให้คะแนนอย่างซื่อสัตย์
บทความนี้พาคุณเดินผ่านสิ่งที่ Brier วัดจริง ๆ วิธีคำนวณด้วยตนเอง ค่าอ้างอิงคืออะไร และทำไมการคาลิเบรตคือสัญญาณที่คุณควรเรียกร้องจากเครื่องมือวิเคราะห์ใด ๆ
Brier วัดอะไรจริง ๆ
Brier เป็นคะแนนความผิดพลาดยกกำลังสองระหว่างค่าที่คาดการณ์กับความเป็นจริง ค่ายิ่งต่ำ การคาลิเบรตยิ่งดี
สำหรับผลฟุตบอลสามทาง (เจ้าบ้านชนะ, เสมอ, ทีมเยือนชนะ) แต่ละแมตช์สร้างตัวเลขคาดการณ์สามค่าที่รวมกันได้ 1.0 ผลจริงสร้างตัวเลข 0-หรือ-1 สามค่า (1 สำหรับสิ่งที่เกิดขึ้น, 0 สำหรับอื่น ๆ)
สูตรต่อแมตช์: Brier = Σ (forecast - actual)^2 / 3
ดังนั้นการคาดการณ์ [0.60, 0.25, 0.15] สำหรับ เจ้าบ้าน/เสมอ/ทีมเยือน บนแมตช์ที่จบด้วยเจ้าบ้านชนะ:
- เจ้าบ้าน: (0.60 - 1.00)^2 = 0.16
- เสมอ: (0.25 - 0.00)^2 = 0.0625
- ทีมเยือน: (0.15 - 0.00)^2 = 0.0225
- ผลรวม: 0.245
- หารด้วย 3: 0.0817
การคาดการณ์ที่บอก [0.95, 0.03, 0.02] บนแมตช์เดียวกัน (เจ้าบ้านชนะ):
- ผลรวม: 0.0025 + 0.0009 + 0.0004 = 0.0038
- หารด้วย 3: ≈ 0.0013
การคาดการณ์ที่มั่นใจและถูกต้องได้คะแนนดีกว่ามาก แต่การคาดการณ์ที่มั่นใจและผิดถูกลงโทษอย่างหนัก:
- [0.95, 0.03, 0.02] บนแมตช์ที่จบด้วยผลเสมอ:
- เจ้าบ้าน: (0.95 - 0)^2 = 0.9025
- เสมอ: (0.03 - 1)^2 = 0.9409
- ทีมเยือน: (0.02 - 0)^2 = 0.0004
- ผลรวม: 1.8438
- หารด้วย 3: ≈ 0.6146 หายนะ
ความมั่นใจถูกให้รางวัลเมื่อมีเหตุผล และถูกลงโทษเมื่อไม่มี เฉลี่ยข้ามหลายร้อยแมตช์ Brier แยกนักวิเคราะห์ที่คาลิเบรตจากคนเสียงดังโดยอัตโนมัติ
ทำไมการคาลิเบรตสำคัญกว่าความแม่นยำ
ลองพิจารณานักวิเคราะห์สองคน
นักวิเคราะห์ A บอก 95% เจ้าบ้าน, 3% เสมอ, 2% ทีมเยือน บนทุกแมตช์เหย้าของทีมท็อปซิกซ์ ถูกราว 60%
นักวิเคราะห์ B บอก 62% เจ้าบ้าน, 24% เสมอ, 14% ทีมเยือน บนแมตช์เดียวกัน ถูก 62%
ใครดีกว่า? ในแง่ความแม่นยำ A นำหน้า (60% เทียบ 62% ใกล้เคียง) ในแง่การคาลิเบรต B ดีกว่ามาก การเลือก 95% ของ A ผิด 40% ของเวลาซึ่งแย่ การเลือก 62% ของ B ถูก 62% ของเวลาซึ่งซื่อสัตย์
Brier score บอกคุณว่าใครอ่านสัญญาณพื้นฐานได้ถูกต้อง Brier ของ A จะแย่เพราะค่าความน่าจะเป็น 95% ยกกำลังสองเมื่อผิด Brier ของ B จะดีเยี่ยมเพราะค่าความน่าจะเป็นตรงกับความเป็นจริง
เรื่องนี้สำคัญในสามทางที่ใช้ได้จริง:
การคาลิเบรตความเสี่ยง หากคุณใช้การวิเคราะห์เพื่อตัดสินใจใด ๆ (แม้แต่ "แมตช์ไหนน่าดูที่สุด") การรู้ว่าค่าความน่าจะเป็นเชื่อถือได้แค่ไหนสำคัญ 95% จากนักวิเคราะห์แย่มีค่าน้อยกว่า 62% จากคนดี
การเปรียบเทียบระหว่างนักวิเคราะห์ คุณไม่สามารถเปรียบเทียบนักวิเคราะห์สองคนบนความแม่นยำดิบ คนที่เลือกแค่เต็งจะดู "แม่น" กว่าคนที่รวมรองในการวิเคราะห์ Brier ทำงานได้ไม่ว่าการกระจายของค่าความน่าจะเป็นจะเป็นอย่างไร
ความซื่อสัตย์ นักวิเคราะห์ที่คาลิเบรตได้ดีจะถูกล่อลวงให้พูดเกินจริงน้อยลง นักวิเคราะห์ที่รู้ว่าจะถูกให้คะแนนด้วย Brier ไม่อวดอ้าง นักวิเคราะห์ที่รู้ว่าจะถูกให้คะแนนแค่ความแม่นยำมีแรงจูงใจให้เลือกแค่เต็งและสูบตัวเลขความแม่นยำ
ค่าอ้างอิง Brier สำหรับฟุตบอล
ค่าอ้างอิงคร่าว ๆ ของ Brier สำหรับผลฟุตบอลสามทาง (เจ้าบ้าน / เสมอ / ทีมเยือน):
- บรรทัดฐานเสมอเสมอ (บอก 33/33/33 ทุกแมตช์): ราว 0.25
- บรรทัดฐานความน่าจะเป็นสุ่ม: ราว 0.25
- โมเดลพื้นฐานตามฟอร์ม (แค่ ชนะ-แพ้): ราว 0.225
- โมเดลสาธารณะที่ใช้ xG + ฟอร์ม: 0.195 ถึง 0.215
- โมเดลระดับยอด: 0.185 ถึง 0.195
คะแนนต่ำกว่า 0.185 หาได้ยาก คะแนนเหนือ 0.22 คือด้อยประสิทธิภาพ งานวิเคราะห์จริงจังส่วนใหญ่อยู่ในช่วง 0.19 ถึง 0.21
Tactiq คิดเกี่ยวกับ Brier และการคาลิเบรตอย่างไร
Tactiq เป็นการวิเคราะห์ทางสถิติอิสระ ไม่เกี่ยวข้องกับตลาดภายนอก ระบบติดตามการคาลิเบรตภายในทั่วผลลัพธ์การวิเคราะห์เพื่อยืนยันว่าตัวบ่งชี้ความมั่นใจบนการ์ดแมตช์สอดคล้องกับความถี่ของผลลัพธ์ในโลกจริงตามอัตราที่คาดหวัง ตัวบ่งชี้ความมั่นใจที่บอก "ความมั่นใจสูง" ควรตรงกับแมตช์ที่ค่าความน่าจะเป็นอันดับต้นเกิดขึ้นจริงในอัตราสูง ตัวบ่งชี้ความมั่นใจที่บอก "ใกล้เคียง" ควรตรงกับแมตช์ที่ผลลัพธ์มีความผันแปรจริง
ค่า Brier เฉพาะ แดชบอร์ดการคาลิเบรต และจังหวะการปรับใหม่ยังคงอยู่ในผลิตภัณฑ์ สิ่งที่เข้าถึงผู้ใช้คือการวิเคราะห์ที่มีคุณสมบัติด้านความมั่นใจซึ่งตัวบ่งชี้ความมั่นใจถูกคาลิเบรตเทียบกับผลลัพธ์จริง ไม่ใช่ประดิษฐ์ขึ้นเป็นสัญญาณการตลาด
สิ่งที่ผู้ใช้เห็นบนการ์ดแมตช์:
- ค่าความน่าจะเป็นสามค่าสำหรับผลลัพธ์ พร้อมตัวบ่งชี้ความมั่นใจที่ตรงกับแถบการคาลิเบรตที่แท้จริง
- ค่าประตูคาดหวัง (xG) สำหรับแต่ละฝั่ง
- การวิเคราะห์ที่เขียนซึ่งอธิบายการอ่านในภาษาเรียบ ๆ
- ไม่มีข้อมูลตลาดภายนอกที่ใดเลย ไม่มีการเปลี่ยนเส้นทางไปยังแพลตฟอร์มของบุคคลที่สาม ไม่มีสกุลเงินเสมือน การวิเคราะห์ทางสถิติเท่านั้น
ตัวบ่งชี้ความมั่นใจคือมือจับด้านผู้ใช้สำหรับการคาลิเบรต "ความมั่นใจสูง" หมายความว่าสัญญาณแข็งแกร่ง "ใกล้เคียง" หมายความว่าผลลัพธ์มีความผันแปรจริง
บทสรุป
Brier score คือวิธีที่นักวิเคราะห์ถูกให้คะแนนจริง ๆ เครื่องมือที่โฆษณาความแม่นยำโดยไม่แสดงการคาลิเบรตกำลังขอให้คุณเชื่อรูปแบบของนักวิเคราะห์ที่เสียงดัง เครื่องมือที่ยินดีถูกให้คะแนนจากการคาลิเบรต ที่แสดงตัวบ่งชี้ความมั่นใจซึ่งสะท้อนความผันแปรของผลลัพธ์อย่างแท้จริง คือสิ่งที่จะคงทนตามกาลเวลา
คุณคำนวณ Brier ด้วยตัวเองบนการคาดการณ์ของนักวิเคราะห์คนใดก็ได้ หากพวกเขาเผยแพร่ค่าความน่าจะเป็นพร้อมผลลัพธ์ สูตรง่าย ค่าอ้างอิงเป็นที่รู้จัก และคะแนนที่ซื่อสัตย์ใช้เวลาทำงานสเปรดชีตไม่กี่นาที
Tactiq สร้างการคาลิเบรตเข้ากับตัวบ่งชี้ความมั่นใจด้านผู้ใช้ และยืนยันภายใน การวิเคราะห์อ่านแต่ละแมตช์ด้วยความมั่นใจที่ตรงกับความไม่แน่นอนพื้นฐาน ไม่ใช่คำกล่าวอ้างเสียงดังที่ไม่รอดจากการตรวจสอบตัวอย่าง การแข่งขันกว่า 1,200 รายการ การแปล 32 ภาษา ระดับฟรี 8 การวิเคราะห์ต่อวัน ไม่ต้องใช้บัตรเครดิต
หากคุณติดตามชุดบทความนี้ คำศัพท์เมตริกตอนนี้ครอบคลุม AI วิเคราะห์การแข่งขันฟุตบอลอย่างไร, xG, xA, npxG, PPDA, Field Tilt, การกระทำที่ก้าวหน้า, SCA/GCA, xPts และ Elo ratings Brier เข้าร่วมเป็นเมตริกระดับเมตาที่ให้คะแนนความซื่อสัตย์ของเมตริกอื่นทุกตัว