Quand le modèle indique qu'un autre choix était meilleur, quelle part se concrétise ?
Publié le 5 octobre 2026 · 90 408 états de draft issus de 12 000 parties classées
Ce que nous avons découvert
- Question posée
- Un outil de draft qui affirme que « Garen était meilleur de 3,9 points » formule une hypothèse vérifiable. Nous avons testé si les écarts établis par le modèle entre les choix se vérifient sur de nombreuses configurations où différents joueurs ont fait des choix différents.
- Résultat
- Sur 90 408 configurations réelles de draft, les choix mieux notés par le modèle ont bel et bien gagné davantage : à hauteur de 0,82 de l'écart annoncé en ne connaissant que les champions, et de 0,83 en connaissant le joueur qui choisit.
- Niveau de certitude
- 90 408 configurations de draft issues de 12 000 parties classées : quatre jours, une région, un modèle. Les intervalles à 95 % sont de 0,66–0,98 en ne connaissant que les champions et de 0,55–1,12 en connaissant le joueur qui choisit. Il s'agit d'une observation : un étalonnage, pas la preuve qu'un changement de champion aurait modifié l'issue de votre partie.
Lire l'étude complète : la méthode, tous les tableaux et ses limites
Un outil de draft affirmant que « Garen était 3,9 points meilleur » avance une affirmation vérifiable. Sur 90 408 états réels de draft, les sélections mieux évaluées par le modèle ont effectivement davantage gagné : de 0,82 de l'écart annoncé lorsque seuls les champions sont connus, et de 0,83 lorsque le joueur sélectionneur est connu. KayLoL affiche chaque coût selon cette proportion, avec sa marge d'incertitude, et qualifie cela d'étalonnage : ce n'est pas la preuve que changer de champion aurait à lui seul changé l'issue de votre partie.
Comment cela a été mesuré
Seul le choix réellement effectué produit un résultat, ainsi le scénario « et si vous aviez choisi X » n'est jamais directement observé. En revanche, on peut vérifier si les écarts prédits par le modèle entre sélections se confirment à travers de multiples situations où des joueurs différents ont fait des choix différents.
- Pour chaque état réel de draft, chaque champion éligible est noté par un modèle entraîné exclusivement sur des parties antérieures. La moyenne des candidats constitue la valeur globale de la draft ; la valeur propre du choix correspond à son score diminué de cette moyenne.
- L'issue de la partie fait l'objet d'une régression sur la valeur de la draft et sur la valeur propre du choix. Le second coefficient représente la proportion : 1 signifie que les écarts du modèle entre sélections se retrouvent intégralement, 0 signifie qu'ils n'ont aucun effet.
- Chaque partie a été disputée après la construction du modèle qui l'a notée, et les historiques des joueurs utilisés ont été figés avant le début de la journée.
- Les erreurs sont regroupées par partie, car les différents états d'une même partie partagent une seule et même issue.
La proportion, selon trois populations
Le chiffre basé uniquement sur les champions regroupe deux mesures du même modèle effectuées à des jours différents. La première indiquait 0,675 ± 0,118 ; la seconde indiquait 0,969 ± 0,118. Leur écart est inférieur au double de leur marge d'erreur combinée, de sorte qu'aucune des deux ne constitue à elle seule le chiffre définitif.
| Population | États de draft | Proportion | Fourchette à 95 % | |
|---|---|---|---|---|
| Champions uniquement | 90 408 | 0,82 ± 0,08 | 0,66–0,98 | |
| Joueur sélectionneur connu, tous les candidats | 13 312 | 0,83 ± 0,15 | 0,55–1,12 | |
| Joueur sélectionneur connu, uniquement les champions déjà joués par ce joueur | 50 597 | 0,56 ± 0,07 | 0,42–0,70 |
Jusqu'au 5 octobre 2026, le site utilisait 0,29 pour la lecture avec joueur connu. Ce chiffre provenait du pool propre au joueur (dernière ligne) et s'appliquait à chaque candidat. Mesurée là où elle s'applique, la proportion est de 0,83.
S'agit-il d'une ligne droite ?
Si les petits écarts n'étaient que du bruit et seuls les grands étaient réels, une proportion unique serait trompeuse. En classant les états avec champions seuls en dix groupes égaux selon la valeur annoncée du choix, ce qui s'est concrétisé suit l'annonce sur toute la plage, et le terme de courbure est indiscernable de zéro.
| Annoncé (points) | États de draft | Observé (points) | Fourchette à 95 % | |
|---|---|---|---|---|
| −3,16 | 4 516 | −2,96 | −4,42 – −1,67 | |
| −1,43 | 4 515 | −2,14 | −3,42 – −0,78 | |
| −0,71 | 4 515 | −1,18 | −2,75 – +0,13 | |
| −0,18 | 4 516 | −0,49 | −1,85 – +0,84 | |
| +0,26 | 4 515 | −1,72 | −3,26 – −0,27 | |
| +0,67 | 4 515 | +0,55 | −0,73 – +1,87 | |
| +1,09 | 4 516 | +0,63 | −0,70 – +2,03 | |
| +1,58 | 4 527 | +1,32 | 0,00 – +2,74 | |
| +2,25 | 4 503 | +2,81 | +1,54 – +4,23 | |
| +3,89 | 4 516 | +3,20 | +1,85 – +4,43 |
Les fourchettes sont larges : le résultat de chaque groupe présente une incertitude de plus d'un point. L'ensemble soutient une ligne droite passant par l'origine, sans courbure particulière.
La mise à l'échelle améliore-t-elle la prévision ?
Sur les mêmes états, trois prévisions de victoire : la draft seule, la draft plus l'écart complet du modèle pour le choix effectué, et la draft plus l'écart selon la proportion précédemment utilisée par le site. Connaître le choix bat la draft seule en AUC, log loss et score de Brier. Réduire l'écart n'a pas surpassé l'écart intégral sur ces parties.
| Prévision | AUC | Log loss | Brier | Précision | ECE |
|---|---|---|---|---|---|
| Draft seule | 0,5391 | 0,6903 | 0,2486 | 52,64 % | 0,0074 |
| Draft + écart intégral du modèle | 0,5445 | 0,6895 | 0,2482 | 53,08 % | 0,0062 |
| Draft + écart selon l'ancienne proportion (0,675) | 0,5440 | 0,6896 | 0,2482 | 53,12 % | 0,0055 |
Ce que cela change sur le site
Les rapports Arena et les revues de match affichent un coût exprimé en résultats observés : l'écart du modèle multiplié par la proportion, avec une fourchette à 95 % issue de l'incertitude de la proportion elle-même. Une alternative n'est considérée comme probablement meilleure que lorsque la borne basse de cette fourchette dépasse encore un demi-point.
Les classements, notes et évaluations se basent sur l'ordre des choix, qu'une proportion commune ne modifie pas. L'arène de draft et la revue de partie utilisent les mêmes chiffres.
Ce que cela ne montre pas
- Il s'agit d'une observation empirique. Les joueurs choisissent des champions pour des motifs que le modèle ne discerne que partiellement, donc une proportion proche de 1 est nécessaire pour que le conseil soit pertinent, sans être la preuve formelle qu'un autre choix aurait garanti la victoire.
- Quatre jours, une seule région, un seul modèle. Le site dessert désormais un modèle plus récent entraîné sur les trois régions, qui n'a pas été mesuré de cette façon.
- Les données ne comportent pas d'ordre de sélection observé, donc l'ordre de chaque camp est attribué de la même manière qu'à l'entraînement.
- Le chiffre avec joueur connu ne connaît que le joueur qui choisit ; l'évaluation « tous les joueurs connus » de la revue connaît les dix.
- Au sein du propre pool d'un joueur, les choix évalués jusqu'à environ deux points au-dessus de la draft n'ont presque rien montré ; l'effet se situait dans les extrémités.
Que devrions-nous mesurer ensuite ? Posez votre question sur la page Recherche. Les questions les plus plébiscitées auxquelles nos données peuvent répondre feront l'objet de futures études.