O quanto uma partida ranqueada é previsível antes da seleção de campeões?

O que o modelo tem permissão de ver

Tudo o que existe no instante em que a fila chama, e nada depois disso: nenhum campeão, nenhum banimento, nada da partida em si.

• O Elo e PDL dos dez jogadores, além da nossa própria avaliação calculada a partir do histórico de partidas.
• As últimas 50 partidas ranqueadas de cada jogador: vitórias ou derrotas, desempenho individual, duração das partidas, resultado da rota e nível dos oponentes. Apenas partidas encerradas antes do início da atual.
• A função que cada jogador recebeu, quanto do seu histórico recente é nessa função e se caíram no autofill.
• Os campeões que cada jogador costuma jogar naquela função: o que é provável que escolham, nunca o que de fato escolheram.

O modelo foi treinado em patches anteriores e testado em 457.284 partidas do NA no patch 16.18 nunca vistas antes. Todos os números do NA abaixo provêm dessas partidas.

Com que frequência ele acerta

As mesmas 457.284 partidas de teste, adicionando progressivamente mais dados do histórico de cada jogador, nas cinco métricas que relatamos para cada modelo (a página de precisão explica cada uma). Uma moeda para o alto equivale a 50% de acurácia e AUC de 0,5.

O Elo isolado não leva a nada. A diferença entre as duas equipes na nossa própria avaliação não prevê o vencedor melhor do que uma moeda (AUC 0,502; todas as cinco métricas estão em o estudo sobre a loser’s queue), porque é exatamente isso que o matchmaking equilibra. Quase tudo o que o modelo sabe vem das partidas recentes dos jogadores. A última linha representa o mesmo modelo com a confiança corrigida em partidas reservadas para essa finalidade; as seções abaixo o utilizam.

O Elo baixo é muito mais previsível

No Ferro, o modelo acerta o vencedor 69,4% das vezes antes da seleção de campeões. No Ouro, são 61,6%, e do Platina para cima cerca de 60%. Não testamos a causa. Uma interpretação plausível: o Elo diz menos sobre o jogador quanto menos consolidada for a conta, e os Elos mais baixos concentram mais contas cujo nível ainda está se ajustando à habilidade real.

Quando ele aponta um favorito, esse favorito vence com a frequência esperada

Um modelo pode acertar frequentemente e ainda assim superestimar sua certeza. Este modelo não faz isso: saguões que ele avalia em 60–65% são vencidos 62,3% das vezes, e os 17,4% avaliados em 70% ou mais são vencidos 77,5% das vezes. Apenas 26,5% dos saguões ficam a menos de cinco pontos percentuais de uma moeda para o alto.

Equilibrados em Elo, desiguais no momento recente

Decompusemos cada previsão nas partes que a originaram. Esta é a parcela da diferença entre os saguões atribuída a cada componente:

O Elo quase não explica nada, porque é exatamente o Elo que o matchmaking equilibra, e equilibra muito bem. O que sobra é o que o Elo demora demais para refletir: quem está embalado, quem está em má fase, quem acabou de retornar após uma pausa.

Interprete “partidas recentes” com cautela. O matchmaking da Riot usa um MMR oculto que não temos como ver. As partidas recentes de um jogador são justamente onde a defasagem entre esse MMR e seu Elo visível se manifestaria, de modo que parte disso pode ser diferença de MMR que o modelo captura, e não apenas sequências boas ou ruins. Os dados não conseguem distinguir as duas coisas.

Jogadores fora da função alteram o resultado

Um jogador é considerado fora da função quando a posição atribuída representa menos de 20% de suas partidas recentes. Quando uma equipe tem mais jogadores nessa situação do que a outra, isso se reflete no resultado:

Cada jogador fora da função adicional custa à equipe cerca de três pontos de taxa de vitória, e apenas 37,9% dos saguões têm a mesma quantidade de ambos os lados.

Metade dos saguões não consegue colocar todos em uma função que dominam

Também investigamos se os dez jogadores de um saguão poderiam ser distribuídos de forma que todos jogassem em uma função familiar, ou seja, presente em pelo menos 20% de suas últimas 50 partidas. Apenas 20,3% dos saguões reais no NA já estavam nessa condição. Uma distribuição totalmente familiar é possível em 50,2% dos saguões; no restante, o histórico dos dez jogadores simplesmente não cobre cada posição duas vezes. Ter todos em sua função principal só é viável em 5,7%. Essa é uma limitação de quem está na fila naquele instante, e não uma escolha arbitrária.

EUW e Coreia: uma leitura preliminar

O modelo de histórico, treinado apenas no NA, também avaliou 18 dias de partidas da Europa Ocidental e Coreia. Ele conhece esses jogadores muito menos (8 a 10 partidas prévias cada, contra meses no NA), de modo que identifica menos favoritos lá. Trata-se de um instrumento mais fraco, e não de um matchmaking mais justo. A tabela usa apenas o modelo de histórico em todas as regiões, incluindo o NA, de modo que sua linha do NA fica ligeiramente abaixo da do modelo completo.

Ainda nenhuma evidência de loser’s queue

Executamos novamente o estudo sobre a loser’s queue com este modelo mais robusto, e nada se alterou. Após cinco ou mais vitórias seguidas, os jogadores venceram a partida seguinte 53,0% das vezes; após cinco ou mais derrotas, 47,9%. O modelo previa ambos os cenários, e um jogador em sequência de vitórias continua recebendo companheiros ligeiramente mais fortes, e não mais fracos.

O que estes dados não conseguem dizer

• Uma região em profundidade, um patch. NA, patch 16.18. EUW e Coreia são leituras preliminares de um modelo que não foi treinado com os dados delas.
• Este não é o MMR da Riot e não é uma inspeção interna do matchmaking. Mede os saguões conforme eles ocorreram, a partir de históricos de partidas públicos. O matchmaking equilibra algo que não podemos ver e, pela nossa avaliação, equilibra com precisão quase perfeita.
• O modelo lê todas as partidas até a que está prevendo, incluindo jogos anteriores no mesmo dia. Um sistema atualizado apenas uma vez ao dia teria um pouco menos de informação.
• As preferências de função são inferidas a partir do que cada jogador jogou. As funções que escolheram ao entrar na fila não são públicas.
• Nenhum jogador é identificado ou avaliado individualmente aqui. Todos os números são médias obtidas em centenas de milhares de partidas; seu próprio saguão é apenas um sorteio aleatório.