← 연구

챔피언 선택 전에 랭크 게임의 승패를 얼마나 맞힐 수 있을까?

모델이 볼 수 있는 것

게임이 잡히는 순간에 존재하는 모든 것, 그리고 그 뒤의 것은 아무것도 보지 않습니다. 챔피언도, 밴도, 그 게임 자체의 어떤 정보도 없습니다.

모델은 이전 패치들로 학습했고, 한 번도 본 적 없는 16.18 패치의 북미 게임 457,284판으로 시험했습니다. 아래의 북미 수치는 모두 이 게임들에서 나왔습니다.

얼마나 자주 맞히는가

같은 시험 게임 457,284판에 각 플레이어의 기록을 한 단계씩 더해 가며, 모든 모델에 공개하는 다섯 가지 지표로 비교했습니다(각 지표의 뜻은 정확도 페이지 참고). 동전 던지기는 정확도 50%, AUC 0.5입니다.

모델이 보는 것AUC로그 손실브라이어정확도ECE60% 이상 우세 팀이 있는 게임
랭크, LP, 레이팅, 최근 7일, 자동 배정, 듀오0.59650.67660.242056.57%0.002820.4%
+ 배정된 포지션에서의 각 플레이어 기록0.61080.67210.239957.69%0.002626.7%
+ 각 플레이어의 최근 50판을 한 판씩 읽음0.65710.65220.230561.03%0.006742.8%
+ 게임별 세부 정보와 예상 챔피언 (전체 모델)0.66890.64610.227761.91%0.010847.4%
전체 모델, 별도 게임으로 재보정0.66890.64570.227661.95%0.002349.9%

랭크만으로는 아무것도 맞히지 못합니다. 두 팀의 우리 레이팅 차이는 동전 던지기보다 나을 것이 없습니다(AUC 0.502, 다섯 가지 지표는 패배 큐 연구에 있습니다). 매치메이킹이 맞추는 것이 바로 그것이기 때문입니다. 모델이 아는 것의 거의 전부는 플레이어들의 최근 게임에서 나옵니다. 마지막 행은 같은 모델의 확신 정도를 따로 떼어 둔 게임으로 보정한 것이며, 아래 절들은 이 행을 사용합니다.

낮은 티어일수록 훨씬 예측하기 쉽습니다

아이언에서는 챔피언 선택 전에 승자를 69.4% 맞힙니다. 골드에서는 61.6%, 플래티넘 이상에서는 약 60%입니다. 이유는 검증하지 않았습니다. 들어맞는 해석 하나는, 계정이 덜 자리 잡았을수록 랭크가 그 플레이어를 덜 설명하고, 낮은 티어에는 랭크가 아직 실력을 따라가지 못한 계정이 더 많다는 것입니다.

50%55%60%65%70%아이언69.4%브론즈64.9%실버62.9%골드61.6%플래티넘60.3%에메랄드59.8%다이아몬드59.7%마스터59.8%챔피언 선택 전에 승자를 맞힌 게임
챔피언을 하나도 고르기 전에 모델이 승자를 맞힌 게임의 비율을 게임의 티어별로 나타냈습니다. 축은 동전 던지기인 50%에서 시작합니다. 모든 값은 아래 표에 있습니다.
티어게임 수AUC로그 손실브라이어정확도ECE
아이언24,6890.76190.57600.197069.38%0.0094
브론즈52,5300.70940.62090.216364.90%0.0070
실버85,1780.68140.63910.224462.85%0.0047
골드101,6810.66050.65140.230061.61%0.0059
플래티넘89,3800.64550.65900.233560.26%0.0055
에메랄드60,0110.63590.66350.235659.75%0.0054
다이아몬드25,6710.63350.66470.236259.71%0.0066
마스터18,1440.64020.66100.234559.81%0.0110

우세 팀을 지목하면, 그 팀은 그만큼 이깁니다

모델은 자주 맞히면서도 자신의 확신을 과장할 수 있습니다. 이 모델은 그렇지 않습니다. 60–65%로 본 게임은 실제로 62.3% 이겼고, 70% 이상으로 본 17.4%의 게임은 77.5% 이겼습니다. 동전 던지기에서 5%p 이내인 게임은 26.5%뿐입니다.

챔피언 선택 전 우세 팀의 승리 확률게임 비율모델 예상우세 팀 승률 (95% 구간)
50–55%26.5%52.5%52.6% (52.3%–52.8%)
55–60%23.5%57.4%57.6% (57.3%–57.9%)
60–65%19.3%62.4%62.3% (62.0%–62.7%)
65–70%13.2%67.3%67.5% (67.1%–67.8%)
70% 이상17.4%77.3%77.5% (77.2%–77.8%)

랭크는 균형, 폼은 불균형

모든 예측을 그것을 이루는 부분들로 나눴습니다. 게임과 게임 사이의 차이 중 각 부분이 차지하는 몫은 다음과 같습니다.

예측이 사용한 것게임 간 차이에서 차지하는 몫
랭크 너머의 최근 게임 (결과, 경기력, 흐름)93.5%
챔피언 풀2.1%
포지션 (비주력 포지션, 포지션 경험)1.7%
랭크, LP, 레이팅1.7%
게임의 그 밖의 정보0.9%
듀오와 사전 구성 팀0.1%
시간대0.0%

랭크는 거의 아무것도 설명하지 못합니다. 랭크가 바로 매치메이킹이 맞추는 것이기 때문이고, 매치메이킹은 그것을 잘 맞춥니다. 남는 것은 랭크가 너무 느리게 움직여 보여 주지 못하는 것입니다. 누가 상승세인지, 누가 부진한지, 누가 막 복귀했는지.

“최근 게임”은 조심해서 읽어야 합니다. Riot은 우리가 볼 수 없는 숨겨진 MMR로 매칭합니다. 그 MMR과 보이는 랭크 사이의 차이가 드러나는 곳이 바로 플레이어의 최근 게임이므로, 이 몫의 일부는 연승·연패만이 아니라 모델이 되찾아낸 MMR 차이일 수 있습니다. 이 데이터로는 둘을 구분할 수 없습니다.

비주력 포지션 플레이어는 보정되지 않습니다

배정된 포지션이 최근 게임의 20% 미만이면 비주력 포지션으로 셉니다. 한 팀에 그런 플레이어가 더 많으면 승패에 드러납니다.

비주력 포지션 플레이어 수, 블루 대 레드게임 비율블루 승률 (95% 구간)모델 예상
블루가 2명 이상 적음8.4%56.6% (56.1%–57.1%)56.4%
블루가 1명 적음22.5%53.4% (53.0%–53.7%)53.3%
양 팀이 같음37.9%50.2% (49.9%–50.4%)50.2%
블루가 1명 많음22.7%47.2% (46.9%–47.5%)47.4%
블루가 2명 이상 많음8.5%43.8% (43.3%–44.3%)44.2%

비주력 포지션 플레이어가 한 명 늘 때마다 팀 승률이 약 3%p 떨어지며, 양 팀의 수가 같은 게임은 37.9%뿐입니다.

같은 열 명으로 더 균형 잡힌 게임을 만들 수 있었을까?

모든 게임에서 열 명의 플레이어와 포지션은 그대로 두고, 두 팀으로 나누는 다른 모든 방법을 모델에게 물었습니다. 같은 포지션의 두 플레이어가 서로 팀을 바꿀 수 있으므로 가능한 조합은 32가지입니다. 그런 다음 실제 조합이 그중 몇 번째인지 봤습니다.

실제 조합은 한가운데에 있습니다. 55.3%의 게임에서 32가지의 평균보다 균형이 좋았고, 전형적인 순위는 32가지 중 16번째입니다. 이 모델이 볼 수 있는 범위에서는, 게임이 받은 팀 구성은 같은 열 명을 무작위로 나눈 것과 비슷한 정도로 균형 잡혀 있습니다.

표는 가장 균형 잡힌 선택지로 게임을 했다면 60% 이상 우세 팀이 여전히 있었을 북미 게임의 비율입니다. “듀오 유지”는 이전에 함께 큐를 돌린 두 플레이어를 절대 갈라놓지 않습니다. 그런 쌍이 있는 게임은 71.4%입니다.

바꿀 수 있는 것모든 조합듀오 유지
없음 (실제 게임)48.6%48.6%
같은 포지션의 한 쌍이 팀을 바꿈4.2%10.7%
같은 포지션의 여러 쌍이 팀을 바꿈 (32가지 중 가장 균형 잡힌 것)2.0%5.2%
…그리고 최대 3명이 자신이 하는 다른 포지션으로 이동1.2%3.0%
같은 시각, 같은 랭크대에 시작한 다른 게임 하나와 플레이어를 교환0.4%2.8%

계산상으로는 한 쌍만 바꿔도 한쪽으로 기운 게임이 48.6%에서 4.2%로, 듀오를 유지하면 10.7%로 줄어듭니다.

이것은 모델이 자기 시험지를 직접 채점한 것이므로, 상한선으로 읽어야 합니다. 32개의 추정치 중 가장 균형 잡힌 것은 실제보다 좋게 보입니다. 추정이 빗나간 곳에서만 균형 잡혀 보이는 조합이 있기 때문입니다. 그 게임들은 실제로 치러지지 않았으므로 누구도 확인할 수 없습니다. 그리고 조건이 하나 늘 때마다 실제 매치메이킹은 대기 시간을 치러야 하는데, 여기서는 그것을 고려하지 않았습니다. 이 표가 보여 주는 것은, 한쪽으로 기운 게임을 알아볼 정보가 챔피언 선택 전에 이미 존재한다는 점입니다.

게임의 절반은 모두를 익숙한 포지션에 세울 수 없습니다

열 명 모두가 익숙한 포지션, 즉 최근 50판 중 20% 이상을 플레이한 포지션에 설 수 있는지도 물었습니다. 실제 북미 게임 중 이미 그런 게임은 20.3%뿐입니다. 모두가 익숙한 포지션에 서는 배치가 아예 존재하는 게임은 50.2%이고, 나머지는 열 명의 포지션이 모든 자리를 두 번씩 채우지 못합니다. 모두가 주 포지션에 서는 것은 5.7%에서만 가능합니다. 이 한계는 팀을 어떻게 나누느냐가 아니라 누가 그 게임에 들어왔느냐가 정합니다. 익숙한 배치가 존재하는 경우, 그것을 골라도 균형은 거의 손해 보지 않습니다.

유럽 서부와 한국: 초기 측정

북미 데이터로만 학습한 전적 모델로 유럽 서부와 한국의 18일치 게임도 채점했습니다. 이 모델은 그 플레이어들을 훨씬 덜 압니다(북미는 몇 달치인 데 비해 한 명당 이전 게임 8~10판). 그래서 그곳에서는 우세 팀을 더 적게 찾아냅니다. 이는 측정 도구가 약한 것이지, 매치메이킹이 더 공정한 것이 아닙니다. 그대로 옮겨지는 것은 각 게임 안에서의 비교입니다. 세 지역 모두에서 실제 조합은 대체로 32가지 중 16번째입니다. 이 표는 북미를 포함한 모든 지역에서 전적 모델만 사용하므로, 북미 행은 전체 모델보다 약간 낮습니다.

지역게임 수AUC로그 손실브라이어정확도ECE60% 이상 우세 팀이 있는 게임실제 조합이 평균 조합보다 균형 잡힌 비율듀오를 유지한 채 포지션별로 가장 균형 있게 나눠도 60% 이상인 비율모두가 익숙한 포지션에 설 수 있는 게임
북미457,2840.66300.64900.229061.50%0.001648.6%55.3%5.2%50.2%
유럽 서부1,508,4320.64650.65880.233560.29%0.020330.6%54.4%3.1%51.4%
한국1,208,8300.63500.66410.236059.53%0.018927.3%55.1%2.2%50.9%

여전히 패배 큐는 없습니다

더 강한 이 모델로 패배 큐 연구를 다시 돌렸고, 달라진 것은 없었습니다. 5연승 이상 뒤의 다음 게임 승률은 53.0%, 5연패 이상 뒤에는 47.9%였습니다. 모델은 둘 다 예상했고, 연승 중인 플레이어는 여전히 더 약한 팀원이 아니라 조금 더 강한 팀원을 만납니다.

이 연구가 말해 줄 수 없는 것

이런 질문이 있나요? 연구 페이지에서 질문하기. 우리 데이터로 답할 수 있는 질문 중 가장 많은 표를 받은 것이 다음 연구가 됩니다.