¿Esto funciona de verdad?

Tres tipos de evidencia, ordenados por lo difícil que es falsear cada uno. El primero es lo que publica cualquier herramienta de draft. El segundo casi nadie lo publica. El tercero son predicciones hechas antes de jugar la partida, puntuadas contra lo que ocurrió — y es el único que no se puede producir eligiendo una división favorable.

Cargando…

El AUC es la probabilidad de que el modelo ordene un draft ganador aleatorio por encima de uno perdedor aleatorio; 0,5 es lanzar una moneda. La predicción previa a la partida tiene un techo bajo por naturaleza — diez jugadores y treinta minutos de juego ocurren después del draft — así que el número a comparar entre herramientas no es lo alto que sea, sino si se midió sobre partidas que el modelo no había visto nunca. El ECE es el error medio de calibración: cuánto se aleja la probabilidad predicha del winrate observado, que es lo que decide si un «56%» significa algo. El log loss y el Brier castigan más un fallo confiado que uno prudente (más bajo es mejor; 0,693 y 0,25 equivalen a una moneda); la accuracy es la proporción de partidas acertadas al 50%. Todas las tablas de esta página llevan las cinco, así que un modelo que ordena mejor pero calibra peor se lee exactamente así.