정확도

번들 하나에 모델 다섯 개가 있고, 각각 로비에 대해 아는 양이 다른 상태로 학습되었습니다. 품질 등급이 아닙니다. 보드를 엉뚱한 모델에 보내면 아무도 처해 있지 않은 상황에 대한 확신에 찬 숫자가 나오므로, 사이트는 당신이 알려 준 정보를 보고 모델을 고릅니다. 아래의 모든 표는 각 수치가 어느 모델의 것인지 함께 밝힙니다.

경기 후 데이터 유출(leakage) 없이 사전 순차 평가(walk-forward)로 검증된 공식 프로 대회 세트 결과(bwin)를 동일한 5대 지표로 평가 — 배당 및 베팅 제외.

평가된 프로 세트 수

2,117official tournament maps

밴픽 후(완성된 10챔피언 조합)

0.7325AUC

밴픽 전(로스터 전력만)

0.7256AUC

밴픽 향상치

+0.0069post minus pre

대회 경기에 62%라고 말했을 때, 블루는 얼마나 이겼을까요?

공식 경기 2,117개, 두 시점 모두 같은 경기입니다. 위의 솔로 랭크 곡선보다 표본이 훨씬 작고 구간에서 그것이 드러납니다 — 점이 아니라 구간을 보세요. 가로축은 우리가 예측한 값, 세로축은 실제로 일어난 값입니다. 완벽하게 보정된 모델은 점선 위에 앉습니다. 각 점은 확률 구간 하나이며 그 안에 들어온 예측 수만큼 크게 그렸고, 막대는 95% 구간입니다. 막대가 넓은 것은 아직 게임이 부족하다는 뜻이지, 모델이 헐렁하다는 뜻이 아닙니다.

이 페이지의 다른 수치와 같은 단위로 보면, 밴픽 후(완성된 10챔피언 조합)의 브라이어 점수 0.2049 가운데 보정 오차가 차지하는 몫은 0.001319, 약 0.644%입니다. 오차의 거의 전부는 경기가 던지는 동전과 모델이 갈라내지 못하는 부분이지, 확률이 틀려서가 아닙니다. 전체적으로 우리는 블루를 0.99%만큼 낮게 부릅니다. 평균 오차는 부호를 버리기 때문에 이 방향을 알려주지 못합니다.

경기 전 로스터 전력 평가에서 10인 챔피언 밴픽 완료 상태로 넘어갈 때 예측 정확도가 얼마나 향상되는지 나타냅니다.

두 행은 동일한 경기를 채점하므로, 두 행의 차이는 오직 밴픽에서 비롯됩니다.

우리가 고른 분할 위에서 우리가 직접 한 측정입니다. 수치 자체는 평범하고, 확인할 값어치가 있는 쪽은 분할입니다.

분할

패치 홀드아웃테스트 구간의 게임은 학습에 하나도 들어가지 않았습니다

측정 시점

2026-10-06이 수치들이 나온 패치 빌드

현재 서비스 중

2026-10-20같은 방식의 일간 재학습본, 그 이후 데이터 전체 기준

테스트 게임이 어디에서 왔는가

실제 일수에 비례해 그렸습니다. 두 구간은 9월 22일에 맞닿고 겹치지 않습니다.

학습 대상

4,952,043게임1618 패치 · 9월 9일 ~ 9월 23일 · 14일

떼어 두고 테스트한 대상

5,385,379게임1619 패치 · 9월 22일 ~ 10월 6일 · 14일

학습 패치가 적은 이유: KR과 EUW는 2026년 8월 31일부터 수집을 시작했고, 하나의 모델이 세 지역을 모두 담당하므로 세 지역 모두 데이터가 있는 날만 학습에 씁니다. 또한 빌드마다 가장 최근 패치는 테스트용으로 남겨 두기 때문에, 보통 학습하는 4개 패치 중 1개만 남습니다. 새 패치가 나올 때마다 하나씩 늘어나 창이 채워집니다. KR과 EUW의 플레이어 기록도 똑같이 짧기 때문에 플레이어를 아는 모드가 얻을 것이 가장 많습니다. 실제로 그런지는 아래 패치 빌드 기록에서 확인할 수 있습니다.

무작위 분할이라면 이렇게 생겼을 것입니다

우리 데이터가 아니라 예시 그림입니다. 다른 곳에서 공개하는 수치는 이런 모양의 분할에서 나옵니다. 양쪽에 같은 패치가 들어가므로, 모델은 자기가 학습한 메타 위에서 시험을 봅니다. 테스트 데이터의 양은 같지만, 학습 기간 뒤가 아니라 그 안에서 뽑았습니다.

각 모델의 점수

위의 떼어 둔 패치에서 잰 값입니다. 축은 0.50에서 시작합니다. 그것이 동전 던지기이고, 그 아래에 사는 모델은 없기 때문에 0에서 시작하지 않습니다.

같은 측정을, 패치마다 다시

빌드마다 피처를 다시 고르고 처음부터 다시 학습한 뒤, 한 번도 본 적 없는 패치를 채점합니다. 모든 면의 높이는 AUC 0.080이므로 같은 크기의 상승은 다섯 곳에서 모두 같은 뜻입니다. 다만 각 면은 자기 모델을 중심으로 놓았습니다. 이들은 서열이 아니라 다섯 개의 서로 다른 질문이기 때문입니다. 대부분은 거의 움직이지 않으며, 밋밋한 그래프가 아니라 그 자체가 발견입니다. 5번의 재빌드에 걸쳐 밴픽 중, 솔랭을(를) 뺀 모든 모델이 처음부터 끝까지 AUC 0.044 안에 머뭅니다.

앞의 두 빌드는 같은 패치를 점점 넓어지는 구간으로 떼어 둡니다(516,665게임, 그다음 1,092,703게임). 그래서 독립적인 점이 아닙니다. 하락이 곧 퇴보인 것은 아닙니다. 여기서 눈에 띄는 것은 2026년 8월 26일 빌드이고, 그것은 교정입니다. 그 시점에 밴픽 중, 솔랭이(가) 누적 신원 가시성을 잃었습니다. 그전까지는 이미 픽을 마친 모든 사람의 전적을 보고 있었는데, 실제 솔랭 챔피언 선택에서는 아무도 갖지 못하는 정보입니다.

알려진 누수가 포함된 빌드의 점입니다(위 차트 아래에 설명): 밴픽 완료, 플레이어 확인됨 (4/5), 밴픽 중, 명단 확인됨 (4/5), 밴픽 중, 솔랭 (4/5).

모델 사이의 격차는 결함이 아니라 제품 그 자체입니다. 익명 모델은 챔피언만 알고, 신원 모델은 그것을 누가 하는지까지 압니다. 그것은 지금까지 찾아낸 어떤 단일 피처보다 값어치가 크고, 챔피언만 보는 도구가 덧붙일 수 없는 부분입니다.

하루치 랭크 게임 전부를, 그날이 오기 전에 얼려 둔 모델로 채점합니다. 고를 분할이 없습니다. 미래가 곧 테스트 세트입니다.

시작 이후 모든 패치의 같은 날

모델당 한 면이며 높이는 AUC 0.0400입니다. 가로축은 패치 출시 이후 경과일이므로, 각 점은 여러 패치에서 같은 위치를 평균한 값입니다. 8만 게임 기준 하루의 표준오차가 약 AUC 0.002이므로 한 면의 십분의 일 정도이고, 그 정도의 흔들림 하나는 소식이 아니라 잡음입니다. 점선은 2026년 10월 6일 빌드에서 그 모델이 떼어 둔 패치로 받은 AUC입니다. 다른 게임에서 잰 다른 측정이며, 그렇기 때문에 하루하루가 그 선 위에 앉는지 보는 것이 값어치가 있습니다.

62%라고 말했을 때, 블루는 실제로 얼마나 이겼을까요?

28일 동안 10,762,569건의 예측(2026년 9월 23일~2026년 10월 20일), 모드마다 한 칸 — 위 그래프와 같은 경기를, 언제가 아니라 우리가 예측한 값의 5%p 구간으로 묶었습니다. 실선은 각 구간의 예측 수로 가중해 적합한 선이고, 점선은 완벽한 예측이 놓일 자리입니다. 가로축은 우리가 예측한 값, 세로축은 실제로 일어난 값입니다. 완벽하게 보정된 모델은 점선 위에 앉습니다. 각 점은 확률 구간 하나이며 그 안에 들어온 예측 수만큼 크게 그렸고, 막대는 95% 구간입니다. 막대가 넓은 것은 아직 게임이 부족하다는 뜻이지, 모델이 헐렁하다는 뜻이 아닙니다.

이 페이지의 다른 수치와 같은 단위로 보면, 밴픽 완료, 플레이어 확인됨의 브라이어 점수 0.2199 가운데 보정 오차가 차지하는 몫은 0.000008, 약 0.004%입니다. 오차의 거의 전부는 경기가 던지는 동전과 모델이 갈라내지 못하는 부분이지, 확률이 틀려서가 아닙니다. 전체적으로 우리는 블루를 0.05%만큼 높게 부릅니다. 평균 오차는 부호를 버리기 때문에 이 방향을 알려주지 못합니다.

라이엇의 전적 기록은 누가 무엇을 했는지는 남기지만 어떤 순서로 골랐는지는 남기지 않습니다. 그래서 순서는 모델링합니다. 학습에 쓰는 모든 판에 공개 순서를 무작위로 하나씩 배정합니다.

솔로 랭크에서는 그것이 실제와 크게 다르지 않습니다. 픽 순서는 로비에서 정해지고 역할과는 무관하므로 — 서포터로 1픽이 될 수도 있습니다 — 실제 순서 자체가 거의 무작위 추첨에 가깝고, 무작위로 뽑는 비용은 작습니다. 무작위 추첨이 재현하지 못하는 것은 짝짓기입니다. 순서는 조합을 만듭니다. 마지막에 고른 챔피언은 보이는 것에 대응할 수 있고 첫 번째로 고른 챔피언은 그럴 수 없는데, 우리는 순서를 그 순서를 붙일 조합과 무관하게 뽑습니다. 그래서 늦게 나올 카운터픽이 이른 순번에 놓이기도 합니다. 그 값이 얼마나 되는지가 열린 질문이고, 답은 진행 중에 기록된 드래프트로만 얻을 수 있습니다 — 챔피언 선택을 잠기는 대로 입력할 때 드래프트 페이지가 남기는 것이 바로 그것입니다.

확인할 수 있기까지

750개 중 70개완성된 진영 수(블루와 레드 중 적은 쪽 기준) — 지정된 순서를 대체하기 전에 추정기 자체가 요구하는 기준치입니다

완전히 기록된 드래프트

59입력된 챔피언 선택 236건 중에서. 나머지는 도중에 멈췄거나 모호함 없이 되읽을 수 없었습니다

수집 시작

2026년 9월 1일진행 중에 입력된 첫 챔피언 선택

이를 위해 여러분에 대한 정보는 저장하지 않습니다. 기록되는 것은 챔피언과 진영, 그리고 순서뿐이며 계정은 붙지 않습니다. 이 수는 누군가가 챔피언 선택이 진행되는 동안 입력할 때만 올라가므로 본래 느린 숫자입니다 — 그리고 모델은 이 숫자를 기다리지 않습니다.

각 드래프트에서, 그 선수가 실제로 확정한 챔피언이 '그 선수가 이미 플레이하는 챔피언들' 가운데 우리 순위의 몇 번째였는지 -- 경기 시작 전에 고정한 기록을 기준으로 다음 날 채점합니다.

채점한 일수

282026-09-20 - 2026-10-20

경기

922,493

선수

318,959

선수당 챔피언 수

7.3

이 날들의 순위를 매긴 모델

여기의 모든 표는 이 날들을 합쳐서 계산하며, 모든 날의 순위를 같은 모델이 매긴 것은 아닙니다. 각 날은 그날 순위를 매긴 모델의 기록입니다.

28일 중 8일(2026-09-29 ~ 2026-10-06, 픽 281,633개)은 사이트가 더 이상 서비스하지 않던 모델이 순위를 매겼습니다. 이 날들은 그 모델의 순위를 보여 주며, 오늘의 모델을 보여 주지 않습니다.

그날 밤 이후에 채점한 날: 2026-10-07, 2026-10-08, 2026-10-09, 2026-10-10, 2026-10-11. 각 날은 그날 밤에 보관한 선수 기록으로 순위를 매겼으므로, 어떤 픽도 자신이 이미 들어 있는 기록과 비교되지 않았습니다.

우리가 1순위로 둔 챔피언이 더 많이 이겼나요?

각 행은 누적이 아니라 순위 하나입니다. 2위 행은 우리가 2위로 둔 선택만 담고, 그보다 낮게 둔 선택과 비교합니다. 또한 각 행은 챔피언 폭이 그 순위보다 넓은 선수만 집계합니다. 챔피언이 다섯 개뿐이라면 “6-10위”는 나올 수 없어 평균을 다시 적는 것일 뿐입니다. 비교 대상은 50%가 아니라 같은 폭의 나머지 선택입니다. 자신이 하던 챔피언을 고르면 이미 약 52.8% 승률이며, 그 수치가 바로 측정된 익숙함이고 추천이 넘어서야 하는 기준입니다.

같은 선택을 폭 내 위치별로 본 표

상위 구간에서 하위 구간을 뺀 값: 5.0%p. 차이로 받아들이기 전에 각 행의 구간을 확인하세요 -- 자리가 아니라 경기 단위로 계산한 값입니다.

우리가 추천하지 않은 선택은 어땠나요?

상위 10위 밖 빼기 상위 10위: -3.7퍼센트포인트.

27일 동안 측정 (2026-09-23 ~ 2026-10-20): 챔피언 폭 밖의 선택을 기록한 날입니다.

처음 쓰는 챔피언은 무작위로 주어지지 않습니다. 자동 배정, 부계정, 폭을 넓히는 중인 장인, 어쩔 수 없던 카운터픽 등입니다. 이 수치는 일어난 일을 말할 뿐 무엇을 해야 하는지를 말하지 않으며, 위 표들과 같은 드래프트·같은 날·같은 고정된 기록으로 측정됩니다.

우리 1순위 대 무난한 픽

각 선택마다 아무 도움 없이 고를 챔피언도 함께 기록했습니다. 그 포지션에서 가장 많이 한 챔피언, 최근에 하던 챔피언, 숙련도가 가장 높은 챔피언입니다. 그것이 우리 1순위와 같다면 우리를 따르는 것과 무난하게 고르는 것은 같은 일입니다. 비교는 둘이 달랐던 밴픽에서만 합니다. 우리 1순위를 고른 선수가 무난한 픽을 고른 선수보다 더 많이 이겼을까요?

27일 (2026-09-23 ~ 2026-10-20), 선택 921,907건. 구간이 0을 지나면 아직 둘을 구별할 수 없다는 뜻입니다.

우리 픽이나 평소 픽은 무작위로 정해지지 않습니다. 주 챔피언을 벗어난 선수는 카운터를 치거나, 포지션을 메우거나, 새로운 것을 시도하는 중일 수 있습니다. 이것은 실제로 일어난 일을 비교할 뿐, 일어났을 일을 비교하지 않습니다.

우리가 예측한 승률이 실제로 나타났나요?

챔피언 폭 안의 선택에 대해서는 실제로 고른 챔피언과 우리 1순위의 예측 승률도 함께 저장했습니다. 둘 다 플레이할 수는 없으므로, 우리 1순위보다 더 낮게 예측한 선택일수록 예측 열이 말하는 만큼 덜 이겨야 합니다. 예측은 내려가는데 “승리” 열이 평평하다면, 우리가 예측한 차이는 잡음입니다.

실제로 고른 챔피언의 예측 승률, 선택 741,072건 기준: AUC 0.5617 · 로그 손실 0.6870 · Brier 0.2469 · 정확도 0.5428 · ECE 0.0096.

선수는 스스로 챔피언을 고르며, 익숙한 챔피언이라는 사실만으로도 승리를 예측합니다. 이 표는 우리가 높게 평가한 선택이 더 자주 이겼는지를 보여줄 뿐, 추천을 따르면 이긴다는 것을 보여주지는 않습니다.

그 선수가 이미 플레이하는 챔피언만을 대상으로 순위를 매깁니다. 전체 챔피언과 비교하면 더 쉽지만 덜 정직합니다. 선택한 챔피언은 대개 우리가 실제 기록을 가진 유일한 후보라서, 조언이 아니라 익숙함으로 이기기 때문입니다. 백분위를 쓰면 챔피언 6개인 폭과 40개인 폭을 함께 비교할 수 있습니다. 대부분의 선수는 라인당 소수의 챔피언만 사용하므로 백분위가 가지는 값도 몇 개뿐이고, 구간이 고르지 않은 것은 우연이 아니라 산술의 결과입니다. 이는 제한이 작동한다는 뜻이며, 평탄화하면 측정 자체를 가리게 됩니다.

이 API가 게임이 치러지기 전에 돌려준 예측을, 실제 결과와 맞춰 채점한 것입니다. 이 게임들은 아무도 우리를 위해 골라 주지 않았습니다.

2026-09-29부터 집계합니다. 이전 예측은 기록에 남아 있지만 여기서는 세지 않습니다.

플레이어가 지정된 밴픽

86챔피언 선택 한 번은 몇 번 물어봤든 한 번으로 셉니다

채점된 솔로 랭크 게임

33아래 수치는 이 게임들로만 계산합니다

다른 큐

1일반 드래프트, 자유 랭크, 격전의 실제 게임: 플레이했지만 여기서는 채점하지 않음

다시하기

0

그 게임이 되지 않음

50닷지했거나, 다음 게임이 다른 밴픽이었음

조회하지 못함

0기한까지 Riot이 조회를 거부함: 우리가 고칠 문제

대기 중

2하루가 지나지 않아 아직 결과 없음

사용자 설정·봇 밴픽 제외

22데스크톱 컴패니언용으로 답했지만 측정하지 않음

플레이어가 지정되지 않은 예측

5,459사용량: 사이트에서 시험한 밴픽이며 결과가 생길 수 없음

모드: 밴픽 완료, 플레이어 확인됨

19답한 랭크 게임 · 22 이 모드를 요청한 밴픽

모드: 밴픽 중, 솔랭

33답한 랭크 게임 · 85 이 모드를 요청한 밴픽

이것이 무엇에 대한 측정인가

이 예측들을 모두 같은 모델이 내놓은 것은 아닙니다. 로그를 열기 시작한 뒤 배포한 모든 빌드와 그동안 적용된 모든 패치가 섞여 있습니다. 아래는 그것이 무엇이며 각각이 표본에서 얼마를 차지하는지입니다.

채점된 게임의 기간

9월 30일 - 2026년 10월 20일2026년 9월 1일부터 서빙, 로그 43일치

관여한 빌드

142026-10-03 (7), 2026-10-19 (5), 2026-10-15 (4), 2026-10-13 (3), 2026-10-09 (2)

플레이된 패치

21620 (21), 1619 (12)

현재 응답 중

2026-10-20위에서 측정된 빌드가 아닙니다 — 채점된 게임은 모두 이후 교체된 모델이 답한 것이며, 이는 매일 재학습이 하는 일이지 결함이 아닙니다

AUC

0.6287± 0.1925

로그 손실

0.65120.693이 동전 던지기이고, 낮을수록 좋습니다

브라이어

0.23190.25가 동전 던지기이고, 낮을수록 좋습니다

정확도

51.5%50% 기준으로 맞힌 게임

보정 오차

0.1905예측과 관측의 평균 차이, 15개 구간

여기서의 블루 승률

48.5%모집단에서는 약 50%입니다. 크게 벗어나면 표본이 이상하다는 뜻입니다