Επεξήγηση του Brier Score: Πώς Βαθμολογούνται οι Ποδοσφαιρικές Προβλέψεις
Οι περισσότερες εφαρμογές πρόβλεψης ποδοσφαίρου διαφημίζουν ακρίβεια. Το "70% ακρίβεια" ακούγεται εντυπωσιακό. Το "80% των κορυφαίων επιλογών μας έβγαλαν" ακούγεται πιο εντυπωσιακό. Οι ισχυρισμοί ακρίβειας κυριαρχούν στον χώρο. Είναι επίσης σχεδόν χωρίς νόημα.
Ο σωστός τρόπος να βαθμολογηθεί ένας προγνώστης δεν είναι η ακρίβεια. Είναι η βαθμονόμηση. Ένας προγνώστης του οποίου οι επιλογές πιθανότητας 70% είναι σωστές 70% των φορών (όχι 90%, όχι 50%) κάνει τη δουλειά. Ένας προγνώστης του οποίου οι 70% επιλογές είναι σωστές 85% των φορών είναι υπο-σίγουρος (πιθανώς πολύτιμος) αλλά όχι βαθμονομημένος. Ένας προγνώστης του οποίου οι 70% επιλογές είναι σωστές 55% των φορών είναι θορυβώδης (πιθανώς άχρηστος).
Το Brier score είναι το μέτρο που βαθμολογεί τη βαθμονόμηση. Είναι πρότυπο στην ακαδημαϊκή έρευνα προβλέψεων εδώ και 75 χρόνια, και είναι ο τρόπος με τον οποίο κάθε ποδοσφαιρικός προγνώστης που αξίζει ακρόασης βαθμολογείται τίμια.
Αυτό το άρθρο διατρέχει τι μετράει πραγματικά το Brier, πώς να το υπολογίσετε μόνοι σας, ποια είναι τα σημεία αναφοράς και γιατί η βαθμονόμηση είναι το σήμα που πρέπει να απαιτείτε από κάθε εργαλείο πρόβλεψης.
Τι μετράει πραγματικά το Brier
Το Brier είναι ένα τετραγωνικό σκορ σφάλματος μεταξύ πρόβλεψης και πραγματικότητας. Όσο χαμηλότερο, τόσο καλύτερα βαθμονομημένο.
Για ποδοσφαιρικές εκβάσεις τριών δρόμων (νίκη γηπεδούχου, ισοπαλία, νίκη εκτός έδρας), κάθε αγώνας παράγει τρεις αριθμούς πρόβλεψης που αθροίζουν 1,0. Το πραγματικό αποτέλεσμα παράγει τρεις αριθμούς 0 ή 1 (1 για την έκβαση που συνέβη, 0 για τις άλλες).
Τύπος ανά αγώνα: Brier = Σ (πρόβλεψη - πραγματικό)^2 / 3
Έτσι μια πρόβλεψη [0,60, 0,25, 0,15] για γηπεδούχο/ισοπαλία/εκτός σε έναν αγώνα που τελείωσε σε νίκη γηπεδούχου:
- Γηπεδούχος: (0,60 - 1,00)^2 = 0,16
- Ισοπαλία: (0,25 - 0,00)^2 = 0,0625
- Εκτός: (0,15 - 0,00)^2 = 0,0225
- Άθροισμα: 0,245
- Διαιρώντας με 3: 0,0817
Μια πρόβλεψη που είπε [0,95, 0,03, 0,02] στον ίδιο αγώνα (ο γηπεδούχος όντως κέρδισε):
- Άθροισμα: 0,0025 + 0,0009 + 0,0004 = 0,0038
- Διαιρώντας με 3: ≈ 0,0013
Η σίγουρη σωστή πρόβλεψη σκοράρει πολύ καλύτερα. Όμως η σίγουρη λάθος πρόβλεψη τιμωρείται σκληρά:
- [0,95, 0,03, 0,02] σε αγώνα που τελείωσε ισόπαλος:
- Γηπεδούχος: (0,95 - 0)^2 = 0,9025
- Ισοπαλία: (0,03 - 1)^2 = 0,9409
- Εκτός: (0,02 - 0)^2 = 0,0004
- Άθροισμα: 1,8438
- Διαιρώντας με 3: ≈ 0,6146, καταστροφή
Η εμπιστοσύνη ανταμείβεται όταν δικαιολογείται και τιμωρείται όταν δεν δικαιολογείται. Σε μέσο όρο εκατοντάδων αγώνων, το Brier διαχωρίζει αυτόματα τους βαθμονομημένους προγνώστες από τους θορυβώδεις.
Γιατί η βαθμονόμηση μετράει περισσότερο από την ακρίβεια
Σκεφτείτε δύο προγνώστες.
Προγνώστης Α λέει πάντα 95% γηπεδούχος, 3% ισοπαλία, 2% εκτός σε κάθε αγώνα έδρας μιας ομάδας top 6. Βγάζει περίπου 60% από αυτές σωστά.
Προγνώστης Β λέει 62% γηπεδούχος, 24% ισοπαλία, 14% εκτός στις ίδιες αναμετρήσεις. Βγάζει 62% από αυτές σωστά.
Ποιος είναι καλύτερος; Από άποψη ακρίβειας, ο Α είναι μπροστά (60% έναντι 62% είναι κοντά). Από άποψη βαθμονόμησης, ο Β είναι πολύ μπροστά. Οι 95% επιλογές του Α πάνε λάθος 40% των φορών, που είναι τρομερό. Οι 62% επιλογές του Β πάνε σωστά 62% των φορών, που είναι τίμιο.
Τα Brier scores σας λένε ποιος διαβάζει σωστά το υποκείμενο σήμα. Το Brier του Α θα είναι απαίσιο γιατί οι πιθανότητες 95% τετραγωνίζονται όταν είναι λάθος. Το Brier του Β θα είναι εξαιρετικό γιατί οι πιθανότητες ταιριάζουν με την πραγματικότητα.
Αυτό έχει σημασία με τρεις πρακτικούς τρόπους:
Βαθμονόμηση κινδύνου. Αν χρησιμοποιείτε μια πρόβλεψη για να πάρετε οποιαδήποτε απόφαση μετέπειτα (ακόμη και ένα περιστασιακό "ποιος αγώνας είναι ο πιο ενδιαφέρον για παρακολούθηση"), έχει σημασία να ξέρετε πόσο αξιόπιστη είναι πραγματικά η πιθανότητα. Ένα 95% από έναν κακό προγνώστη αξίζει λιγότερο από ένα 62% από έναν καλό.
Σύγκριση μεταξύ προγνωστών. Δεν μπορείτε να συγκρίνετε δύο προγνώστες σε ακατέργαστη ακρίβεια. Κάποιος που επιλέγει μόνο φαβορί θα φαίνεται πιο ακριβής από κάποιον που περιλαμβάνει αουτσάιντερ στις προβλέψεις του. Το Brier λειτουργεί ανεξάρτητα από την κατανομή των πιθανοτήτων.
Ειλικρίνεια. Οι βαθμονομημένοι προγνώστες δελεάζονται λιγότερο να υπερισχυρίζονται. Ένας προγνώστης που ξέρει ότι θα βαθμολογηθεί με Brier δεν καυχιέται. Ένας προγνώστης που ξέρει ότι θα βαθμολογηθεί μόνο με ακρίβεια έχει κίνητρο να καλεί μόνο φαβορί και να φουσκώνει τη γραμμή ακρίβειας.
Σημεία αναφοράς Brier για το ποδόσφαιρο
Πρόχειρα σημεία αναφοράς για Brier σε ποδοσφαιρικές εκβάσεις τριών δρόμων (γηπεδούχος / ισοπαλία / εκτός):
- Βάση πάντα-ισοπαλία (λέει ότι κάθε αγώνας είναι 33/33/33): περίπου 0,25
- Τυχαία βάση πιθανότητας: περίπου 0,25
- Βασικό μοντέλο φόρμας (μόνο νίκες-ήττες): περίπου 0,225
- Αξιοπρεπές δημόσιο μοντέλο που χρησιμοποιεί xG + φόρμα: 0,195 έως 0,215
- Γραμμή κλεισίματος πρακτορείου: γύρω στο 0,195
- Κορυφαίο μοντέλο με δεδομένα συμβάντων + προσεκτική βαθμονόμηση: 0,185 έως 0,195
Σκορ κάτω από 0,185 είναι σπάνια, σκορ πάνω από 0,22 υπολειτουργούν. Η περισσότερη σοβαρή αναλυτική εργασία ζει στο εύρος 0,19 έως 0,21, κοντά στις αγορές πρακτορείων αλλά συνήθως όχι ξεπερνώντας τες (που έχουν πίεση τιμολόγησης και "έξυπνα" χρήματα ως μηχανισμό βαθμονόμησης).
Πώς σκέφτεται το Tactiq για το Brier και τη βαθμονόμηση
Το Tactiq εκτελεί εσωτερική παρακολούθηση βαθμονόμησης σε όλη την έξοδο της ανάλυσης για να επιβεβαιώσει ότι οι δείκτες βεβαιότητας στις κάρτες αγώνων αντιστοιχούν στις συχνότητες πραγματικών εκβάσεων στον αναμενόμενο ρυθμό. Ένας δείκτης βεβαιότητας που λέει "υψηλή βεβαιότητα" πρέπει να αντιστοιχεί σε αγώνες όπου η κορυφαία πιθανότητα γνήσια εκπληρώνεται με υψηλό ρυθμό. Ένας δείκτης βεβαιότητας που λέει "σφιχτό" πρέπει να αντιστοιχεί σε αγώνες όπου οι εκβάσεις είναι γνήσια μεταβλητές.
Οι συγκεκριμένες τιμές Brier, τα πάνελ βαθμονόμησης και ο ρυθμός εκ νέου ρύθμισης παραμένουν εντός του προϊόντος. Αυτό που φτάνει στον χρήστη είναι μια ανάλυση με δείκτη βεβαιότητας όπου ο δείκτης βεβαιότητας έχει βαθμονομηθεί έναντι πραγματικών εκβάσεων αντί να εφευρεθεί ως διαφημιστικό σήμα. Η δημοσιευμένη μεθοδολογία αντιγράφεται και απο-βαθμονομείται μέσα σε εβδομάδες.
Τι βλέπει ο χρήστης στην κάρτα αγώνα:
- Τριάδες πιθανοτήτων για την έκβαση, με ορατό δείκτη βεβαιότητας που αντιστοιχεί σε γνήσια ζώνη βαθμονόμησης.
- Αναμενόμενα γκολ για κάθε πλευρά.
- Μια γραπτή ανάλυση που εξηγεί την ανάγνωση σε απλή γλώσσα.
- Καμία εξωτερική δεδομένα αγοράς πουθενά. Καμία ανακατεύθυνση σε πλατφόρμες τρίτων. Κανένα εικονικό νόμισμα. Μόνο στατιστική ανάλυση.
Ο δείκτης βεβαιότητας είναι η λαβή προς τον χρήστη για τη βαθμονόμηση. "Υψηλή βεβαιότητα" σημαίνει ότι το σήμα είναι ισχυρό, "σφιχτό" σημαίνει ότι οι εκβάσεις ήταν γνήσια μεταβλητές.
Το συμπέρασμα
Το Brier score είναι ο τρόπος με τον οποίο πραγματικά βαθμολογούνται οι προγνώστες. Ένα εργαλείο που διαφημίζει ακρίβεια χωρίς να δείχνει βαθμονόμηση σας ζητά να εμπιστευτείτε το μοτίβο του θορυβώδη προγνώστη. Ένα εργαλείο που είναι πρόθυμο να βαθμολογηθεί με βαθμονόμηση, που εμφανίζει δείκτες βεβαιότητας οι οποίοι γνήσια αντικατοπτρίζουν τη μεταβλητότητα των εκβάσεων, είναι αυτό που θα αντέξει στον χρόνο.
Μπορείτε να υπολογίσετε Brier μόνοι σας στις προβλέψεις οποιουδήποτε προγνώστη, αν δημοσιεύει τις πιθανότητες μαζί με τα αποτελέσματα. Ο τύπος είναι απλός, τα σημεία αναφοράς είναι γνωστά, και η τίμια βαθμολογία παίρνει λίγα λεπτά εργασίας σε λογιστικό φύλλο.
Το Tactiq ενσωματώνει τη βαθμονόμηση στον δείκτη βεβαιότητας προς τον χρήστη και την επικυρώνει εσωτερικά. Η ανάλυση διαβάζει κάθε αγώνα με βεβαιότητα που ταιριάζει με την υποκείμενη αβεβαιότητα, αντί για θορυβώδεις ισχυρισμούς που δεν επιβιώνουν στον έλεγχο δείγματος. Πάνω από 1.200 διοργανώσεις, μετάφραση σε 32 γλώσσες, δωρεάν επίπεδο οχτώ αναλύσεων ανά ημέρα, χωρίς κάρτα.
Αν παρακολουθείτε τη σειρά, το λεξιλόγιο μετρικών τώρα καλύπτει πώς η Τεχνητή Νοημοσύνη προβλέπει ποδοσφαιρικούς αγώνες, xG, xA, npxG, PPDA, Field Tilt, προοδευτικές ενέργειες, SCA/GCA, xPts και βαθμολογίες Elo. Το Brier προστίθεται σε αυτά ως η μετα-μετρική που βαθμολογεί την ειλικρίνεια κάθε άλλης μετρικής.