Khi mô hình cho rằng lựa chọn khác tốt hơn, điều đó thể hiện bao nhiêu trong thực tế?
Xuất bản 5 tháng 10, 2026 · 90.408 trạng thái cấm chọn từ 12.000 ván đấu xếp hạng
Những gì chúng tôi tìm thấy
- Câu hỏi đặt ra
- Một công cụ cấm chọn tuyên bố rằng “Garen tốt hơn 3,9 điểm” đang đưa ra một nhận định có thể kiểm chứng. Chúng tôi đã thử nghiệm xem sự khác biệt giữa các lựa chọn mà mô hình đưa ra có thực sự xuất hiện qua nhiều tình huống cấm chọn khi các người chơi khác nhau chọn những vị tướng khác nhau hay không.
- Kết quả
- Trên 90.408 tình huống cấm chọn thực tế, các lượt chọn được mô hình đánh giá cao hơn thực sự thắng nhiều hơn: đạt 0,82 khoảng cách đã tuyên bố khi chỉ biết các tướng, và đạt 0,83 khi biết cả người chơi thực hiện lượt chọn.
- Mức độ tin cậy
- 90.408 tình huống cấm chọn từ 12.000 trận đấu xếp hạng: bốn ngày, một khu vực, một mô hình. Khoảng tin cậy 95% là 0,66–0,98 khi chỉ biết các tướng và 0,55–1,12 khi biết cả người chơi chọn. Đây là quan sát: một phép hiệu chuẩn, không phải bằng chứng cho thấy việc đổi tướng chắc chắn sẽ thay đổi kết quả trận đấu của bạn.
Đọc toàn bộ nghiên cứu: phương pháp, từng bảng dữ liệu và các giới hạn
Một công cụ cấm chọn tuyên bố “Garen tốt hơn 3,9 điểm” là đưa ra một tuyên bố có thể kiểm chứng. Qua 90.408 trạng thái cấm chọn thực tế, các lựa chọn được mô hình định giá cao hơn thực sự thắng nhiều hơn: chiếm 0,82 khoảng cách tuyên bố khi chỉ biết các tướng, và 0,83 khi biết người chơi thực hiện lượt chọn. KayLoL hiển thị mọi chi phí ở tỉ lệ đó cùng độ bất định của nó, và gọi đây là hiệu chuẩn: đây không phải là bằng chứng cho thấy việc đổi tướng chắc chắn sẽ thay đổi ván đấu của bạn.
Cách thức đo lường
Chỉ lượt chọn thực sự diễn ra mới có kết quả, vì vậy “chuyện gì xảy ra nếu bạn đã chọn X” không bao giờ quan sát được. Điều có thể kiểm tra là liệu sự khác biệt giữa các lựa chọn mà mô hình đưa ra có thể hiện qua nhiều trạng thái cấm chọn nơi các người chơi khác nhau đưa ra các lựa chọn khác nhau hay không.
- Với mỗi trạng thái cấm chọn thực tế, mọi ứng viên hợp lệ đều được chấm điểm bởi một mô hình chỉ được huấn luyện trên các ván đấu trước đó. Điểm trung bình của các ứng viên là giá trị của bàn chọn; giá trị riêng của lượt chọn là điểm của nó trừ đi điểm trung bình đó.
- Kết quả ván đấu được hồi quy theo giá trị bàn chọn và giá trị riêng của lượt chọn. Hệ số thứ hai là tỉ lệ thể hiện: 1 có nghĩa là chênh lệch giữa các lựa chọn của mô hình thể hiện đầy đủ, 0 có nghĩa là chúng không mang lại giá trị gì.
- Mỗi ván đấu đều được chơi sau khi mô hình chấm điểm nó đã được xây dựng, và lịch sử người chơi được sử dụng đã được đóng băng trước khi ngày bắt đầu.
- Sai số được gom cụm theo ván đấu, vì các trạng thái trong cùng một ván đấu chia sẻ chung một kết quả.
Tỉ lệ thể hiện ở ba quần thể
Con số chỉ dựa trên tướng là kết quả gộp của hai lần đo lường trên cùng một mô hình vào những ngày khác nhau. Lần thứ nhất, khi đứng riêng, cho kết quả 0,675 ± 0,118; lần thứ hai cho kết quả 0,969 ± 0,118. Chúng khác nhau ít hơn hai lần sai số kết hợp của chúng, vì vậy không con số đơn lẻ nào là con số duy nhất.
| Quần thể | Trạng thái cấm chọn | Tỉ lệ thể hiện | Khoảng 95% | |
|---|---|---|---|---|
| Chỉ biết tướng | 90.408 | 0,82 ± 0,08 | 0,66–0,98 | |
| Biết người chơi chọn, mọi ứng viên | 13.312 | 0,83 ± 0,15 | 0,55–1,12 | |
| Biết người chơi chọn, chỉ những tướng người chơi đó đã quen thuộc | 50.597 | 0,56 ± 0,07 | 0,42–0,70 |
Cho đến ngày 5 tháng 10 năm 2026, trang web đã sử dụng 0,29 cho chỉ số khi biết người chơi. Con số đó đến từ bể tướng của chính người chơi, hàng cuối cùng, và đã bị áp dụng cho mọi ứng viên. Khi đo lường tại nơi nó được áp dụng, tỉ lệ là 0,83.
Liệu đó có phải là một đường thẳng duy nhất?
Nếu những chênh lệch nhỏ chỉ là nhiễu và chỉ chênh lệch lớn mới có thật, một tỉ lệ duy nhất sẽ gây hiểu lầm. Khi sắp xếp các trạng thái chỉ biết tướng thành mười nhóm bằng nhau theo giá trị tuyên bố của lượt chọn, những gì thể hiện bám sát tuyên bố trên toàn bộ phạm vi, và độ cong không thể phân biệt được với số không.
| Tuyên bố (điểm) | Trạng thái cấm chọn | Quan sát được (điểm) | Khoảng 95% | |
|---|---|---|---|---|
| −3,16 | 4.516 | −2,96 | −4,42 – −1,67 | |
| −1,43 | 4.515 | −2,14 | −3,42 – −0,78 | |
| −0,71 | 4.515 | −1,18 | −2,75 – +0,13 | |
| −0,18 | 4.516 | −0,49 | −1,85 – +0,84 | |
| +0,26 | 4.515 | −1,72 | −3,26 – −0,27 | |
| +0,67 | 4.515 | +0,55 | −0,73 – +1,87 | |
| +1,09 | 4.516 | +0,63 | −0,70 – +2,03 | |
| +1,58 | 4.527 | +1,32 | 0,00 – +2,74 | |
| +2,25 | 4.503 | +2,81 | +1,54 – +4,23 | |
| +3,89 | 4.516 | +3,20 | +1,85 – +4,43 |
Các khoảng giá trị khá rộng: kết quả của mỗi nhóm có độ bất định hơn một điểm. Bức tranh củng cố một đường thẳng đi qua gốc tọa độ, không phải bất kỳ chỗ cong cụ thể nào.
Việc co tỉ lệ có giúp ích cho dự báo không?
Trên cùng các trạng thái, ba dự báo về đội chiến thắng: chỉ bàn chọn, bàn chọn cộng với toàn bộ chênh lệch của mô hình cho lượt chọn đã thực hiện, và bàn chọn cộng với chênh lệch theo tỉ lệ trang web từng sử dụng. Việc biết lượt chọn vượt trội hơn chỉ biết bàn chọn về AUC, log loss và điểm Brier. Việc co giảm chênh lệch không đánh bại toàn bộ chênh lệch trên các ván đấu này.
| Dự báo | AUC | Log loss | Brier | Độ chính xác | ECE |
|---|---|---|---|---|---|
| Chỉ bàn chọn | 0,5391 | 0,6903 | 0,2486 | 52,64% | 0,0074 |
| Bàn chọn + toàn bộ chênh lệch của mô hình | 0,5445 | 0,6895 | 0,2482 | 53,08% | 0,0062 |
| Bàn chọn + chênh lệch theo tỉ lệ trước đây (0,675) | 0,5440 | 0,6896 | 0,2482 | 53,12% | 0,0055 |
Điều này thay đổi gì trên trang web
Báo cáo Arena và đánh giá ván đấu hiển thị chi phí dựa trên kết quả quan sát được: chênh lệch của mô hình nhân với tỉ lệ thể hiện, cùng khoảng 95% từ độ bất định của chính tỉ lệ đó. Một lựa chọn thay thế chỉ được gọi là có khả năng tốt hơn khi cận dưới của khoảng đó vẫn vượt qua nửa điểm.
Bảng xếp hạng, điểm số và đánh giá dựa trên thứ tự các lựa chọn, điều mà một tỉ lệ chung không thể thay đổi. Đấu trường cấm chọn (Arena) và đánh giá ván đấu sử dụng cùng các con số này.
Những điều số liệu này không thể hiện
- Đây là nghiên cứu quan sát. Người chơi chọn tướng vì những lý do mà mô hình chỉ nhìn thấy một phần, do đó tỉ lệ gần 1 là điều kiện cần để lời khuyên là đúng đắn, chứ không phải bằng chứng cho thấy một lượt chọn khác chắc chắn sẽ thắng.
- Bốn ngày, một khu vực, một mô hình. Trang web hiện phục vụ một mô hình sau đó được huấn luyện trên cả ba khu vực, vốn chưa được đo lường theo cách này.
- Dữ liệu không có thứ tự chọn quan sát được, vì vậy thứ tự của mỗi bên được gán theo cách mà quá trình huấn luyện gán.
- Con số khi biết người chơi chỉ biết người thực hiện lượt chọn; chỉ số “biết mọi người” của phần đánh giá biết toàn bộ mười người.
- Bên trong bể tướng của chính người chơi, những lượt chọn được định giá cao hơn bàn chọn khoảng hai điểm hầu như không thể hiện gì; hiệu ứng chỉ nằm ở các phần đuôi phân phối.
Chúng tôi nên đo lường điều gì tiếp theo? Đặt câu hỏi trên trang nghiên cứu. Các câu hỏi được bình chọn nhiều nhất mà dữ liệu có thể trả lời sẽ trở thành những nghiên cứu tương lai.