← Investigación

Cuando el modelo dice que otra elección era mejor, ¿cuánto de eso se ve?

Publicado el 5 de octubre de 2026 · 90.408 estados de draft de 12.000 partidas clasificatorias

Cómo se midió

Solo la elección que se hizo tiene resultado, así que «qué habría pasado con X» nunca se observa. Lo que sí se puede probar es si las diferencias del modelo entre elecciones aparecen a lo largo de muchos estados en los que distintos jugadores eligieron distinto.

• Para cada estado de draft real, un modelo entrenado solo con partidas anteriores puntúa cada candidato legal. La media de los candidatos es el valor del tablero; el valor propio de la elección es su puntuación menos esa media.
• El resultado de la partida se ajusta sobre el valor del tablero y sobre el valor propio de la elección. El segundo coeficiente es la proporción: 1 significa que las diferencias del modelo se ven por completo, 0 que no aportan nada.
• Todas las partidas se jugaron después de construir el modelo que las puntuó, y los historiales de jugador usados se congelaron antes de empezar el día.
• Los errores se agrupan por partida, porque los estados de una partida comparten un resultado.

La proporción, en tres poblaciones

La cifra de solo campeones es la combinación de dos mediciones del mismo modelo en días distintos. La primera, por sí sola, dio 0,675 ± 0,118; la segunda, 0,969 ± 0,118. Difieren en menos del doble de su error combinado, así que ninguna de las dos por separado es la cifra.

Hasta el 5 de octubre de 2026 el sitio usaba 0,29 para la lectura con jugador conocido. Esa cifra venía del repertorio propio del jugador, la última fila, y se aplicaba a todos los candidatos. Medida donde se aplica, la proporción es 0,83.

¿Es una sola recta?

Si las diferencias pequeñas fueran ruido y solo las grandes fueran reales, una única proporción engañaría. Al ordenar los estados de solo campeones en diez grupos iguales según el valor prometido de la elección, lo observado sigue a lo prometido en todo el rango, y un término de curvatura no se distingue de cero.

Los rangos son anchos: el resultado de cada grupo tiene una incertidumbre de más de un punto. La imagen respalda una recta que pasa por cero, no una curva concreta.

¿Mejora el pronóstico al escalar?

Sobre los mismos estados, tres pronósticos de quién gana: el tablero solo, el tablero más la diferencia completa del modelo para la elección hecha, y el tablero más la diferencia en la proporción que usaba el sitio. Conocer la elección supera al tablero solo en AUC, log loss y Brier. Reducir la diferencia no superó a la diferencia completa en estas partidas.

Qué cambia esto en el sitio

Los informes de la arena y las revisiones de partida muestran un coste en resultados observados: la diferencia del modelo por la proporción, con un rango del 95 % que viene de la incertidumbre de la propia proporción. Una alternativa solo se llama probablemente mejor cuando el extremo bajo de ese rango sigue por encima de medio punto.

Las clasificaciones, las notas y las puntuaciones leen el orden de las elecciones, que una proporción común no puede cambiar. La arena de draft y la revisión de partida usan las mismas cifras.

Lo que no demuestra

• Es observacional. Los jugadores eligen campeón por razones que el modelo solo ve en parte, así que una proporción cercana a 1 es necesaria para que el consejo sea correcto, no una prueba de que otra elección habría ganado.
• Cuatro días, una región, un modelo. El sitio sirve ahora un modelo posterior entrenado con las tres regiones, que no se ha medido así.
• Los datos no tienen un orden de elección observado, así que el orden de cada lado se asigna como lo asigna el entrenamiento.
• La cifra con jugador conocido conoce solo al jugador que elige; la lectura «todos conocidos» de la revisión conoce a los diez.
• Dentro del repertorio propio de un jugador, las elecciones valoradas hasta unos dos puntos por encima del tablero casi no mostraron nada; el efecto estaba en los extremos.