Quando o modelo diz que outra escolha era melhor, quanto disso se confirma na prática?

Como foi medido

Apenas a escolha de fato realizada possui um resultado, logo “e se você tivesse escolhido X” nunca é observado. O que pode ser testado é se as diferenças entre escolhas calculadas pelo modelo se manifestam ao longo de muitos estados onde jogadores diferentes fizeram escolhas diferentes.

• Para cada estado real de draft, todos os candidatos válidos recebem uma pontuação de um modelo treinado apenas em partidas anteriores. A média entre os candidatos é o valor do tabuleiro; o valor próprio da escolha é sua pontuação menos essa média.
• O resultado da partida é submetido a uma regressão com base no valor do tabuleiro e no valor próprio da escolha. O segundo coeficiente é a taxa de realização: 1 significa que as diferenças do modelo entre escolhas se confirmam integralmente, 0 significa que não trazem efeito algum.
• Todas as partidas foram disputadas após a criação do modelo que as pontuou, e os históricos dos jogadores utilizados foram congelados antes do início do dia.
• Os erros são agrupados por partida, já que os estados de um mesmo jogo compartilham o mesmo desfecho.

A taxa de realização em três populações

O número considerando apenas campeões resulta da combinação de duas medições do mesmo modelo em dias distintos. A primeira, isolada, apontou 0,675 ± 0,118; a segunda, 0,969 ± 0,118. A diferença entre elas é inferior ao dobro do erro combinado, de modo que nenhuma delas sozinha representa o número definitivo.

Até 5 de outubro de 2026, o site utilizava 0,29 para a medição com jogador conhecido. Esse número vinha da pool do próprio jogador, a última linha, e vinha sendo aplicado a todos os candidatos. Medida onde é de fato aplicada, a taxa de realização é de 0,83.

Trata-se de uma linha reta?

Se pequenas diferenças fossem apenas ruído e somente as grandes fossem reais, uma única taxa seria enganosa. Ao dividir os estados com apenas campeões em dez grupos iguais pelo valor alegado da escolha, o que se confirmou acompanhou a alegação em toda a extensão, e um termo de curvatura mostrou-se indistinguível de zero.

Os intervalos são amplos: o resultado de cada grupo tem incerteza superior a um ponto. O panorama favorece uma linha reta passando pelo zero, e não uma curvatura específica.

Ajustar a escala melhora a previsão?

Nos mesmos estados, três previsões de vitória: apenas o tabuleiro, o tabuleiro mais a vantagem integral calculada pelo modelo para a escolha feita, e o tabuleiro mais a vantagem ajustada pela taxa que o site vinha usando. Conhecer a escolha supera apenas o tabuleiro em AUC, log loss e Brier score. Reduzir a escala da vantagem não superou a vantagem integral nestas partidas.

O que isso altera no site

Relatórios de Arena e análises de partida exibem um custo baseado em resultados observados: a diferença calculada pelo modelo multiplicada pela taxa de realização, com faixa de 95% derivada da incerteza dessa taxa. Uma alternativa só é considerada provavelmente melhor quando o limite inferior dessa faixa ainda supera meio ponto.

Rankings, notas e avaliações consideram a ordem das escolhas, que não é alterada por uma taxa proporcional comum. A arena de draft e a análise de partida utilizam esses mesmos números.

O que estes dados não mostram

• Trata-se de um estudo observacional. Jogadores escolhem campeões por motivos que o modelo capta apenas parcialmente, portanto uma taxa próxima de 1 é necessária para que o conselho seja válido, não sendo prova definitiva de que outra escolha teria garantido a vitória.
• Quatro dias, uma região, um modelo. O site atualmente utiliza um modelo posterior treinado nas três regiões, que ainda não foi avaliado dessa forma.
• Os dados não possuem ordem de escolha observada, de modo que a ordem de cada lado é atribuída da mesma forma que no treinamento.
• A estatística com jogador conhecido considera apenas quem fez a escolha; a leitura de “todos conhecidos” da análise considera os dez jogadores.
• Dentro da pool pessoal de um jogador, escolhas avaliadas até cerca de dois pontos acima do tabuleiro quase não mostraram efeito; a diferença concentrou-se nas extremidades da distribuição.