이거, 실제로 맞나요?

속이기 어려운 순서대로 세 종류의 근거를 싣습니다. 첫 번째는 어느 밴픽 도구나 공개하는 것입니다. 두 번째는 공개하는 곳이 거의 없습니다. 세 번째는 게임을 하기 전에 내놓은 예측을 실제 결과와 맞춰 본 것이며, 유리한 분할을 골라서는 만들어 낼 수 없는 유일한 근거입니다.

불러오는 중…

AUC는 모델이 무작위로 고른 승리 밴픽을 무작위로 고른 패배 밴픽보다 위에 놓을 확률입니다. 0.5는 동전 던지기입니다. 경기 전 예측은 본질적으로 천장이 낮습니다. 밴픽이 끝난 뒤에 열 명의 플레이어와 삼십 분의 플레이가 남아 있기 때문입니다. 그래서 도구끼리 비교할 값은 수치가 얼마나 높은지가 아니라, 모델이 한 번도 본 적 없는 게임에서 측정했는지입니다. ECE는 평균 보정 오차로, 예측 확률이 실제 승률에서 얼마나 떨어져 있는지를 말합니다. “56%”라는 표시가 의미를 갖는지는 이 값이 결정합니다. 로그 손실과 브라이어는 둘 다 신중한 실수보다 확신에 찬 실수를 더 크게 벌합니다(낮을수록 좋고, 0.693과 0.25가 동전 던지기입니다). 정확도는 50% 기준으로 맞힌 게임의 비율입니다. 이 페이지의 모든 표가 다섯 가지를 전부 싣기 때문에, 순위는 잘 매기지만 보정이 나쁜 모델은 정확히 그렇게 읽힙니다.