モデルが「別のピックの方が良かった」と判定した時、実際にどれだけ結果に現れるか？

検証方法

実際に選ばれたピックの結果しか存在しないため、「もしXを選んでいたら」を直接観測することは不可能です。検証できるのは、異なるプレイヤーが異なるピックを行った多数の状況において、モデルが示したピック間の評価差が実際の勝敗差として現れているかどうかです。

• 実際の各ドラフト状況について、過去の試合のみで訓練されたモデルにより選択可能な全候補を採点します。全候補の平均値がその盤面の基準値となり、ピック固有の価値はそのスコアから平均値を引いた値となります。
• 試合結果を盤面基準値およびピック固有価値に対して回帰分析します。2つ目の係数が反映比率となり、1ならモデルのピック間差が100%結果に反映され、0なら全く反映されていないことを意味します。
• すべての試合は採点モデル構築以降にプレイされたものであり、使用したプレイヤー履歴はその日の開始前に固定されたものです。
• 同一試合の各ドラフト状況は単一の勝敗結果を共有するため、誤差は試合単位でクラスタリングしています。

3つの母集団における反映比率

チャンピオンのみの数値は、別々の日に行った同一モデルの2回の測定を統合したものです。1回目単体では0.675 ± 0.118、2回目は0.969 ± 0.118でした。両者の差は合算標準誤差の2倍未満であり、どちらか一方だけを確定値とすることはできません。

2026年10月5日まで、当サイトはプレイヤー既知時の数値として0.29を使用していました。この数値はプレイヤー自身のプール（最下行）から算出されたもので、全候補に適用されていました。実際に適用される母集団で測定した場合、反映比率は0.83となります。

単一の直線関係か？

もし小さな差がノイズで大きな差だけが本物であるなら、単一の反映比率は誤解を招きます。チャンピオンのみの状況を主張価値順に10等分したところ、観測結果は全範囲にわたって主張に比例しており、曲率項は統計的に0と判別不能でした。

信頼区間は広く、各グループの結果には1ポイント以上の不確実性があります。グラフ全体としては特定の曲線ではなく、原点を通る直線を支持しています。

比率調整は予測精度を向上させるか？

同じデータにおける3つの勝敗予測：盤面のみ、盤面＋行われたピックの満額評価差、盤面＋以前使用していた比率調整後の差。ピック情報を知ることで、盤面のみの場合と比べてAUC、log loss、Brierスコアが向上しました。評価差の縮小調整は、これらの試合においては満額評価差を上回りませんでした。

当サイトにおける表示の変更点

アリーナレポートおよび試合レビューでは、観測成果に基づく損失コスト（モデル評価差×反映比率、および比率自体の不確実性による95%区間）を表示します。その区間の下限値が0.5ポイントを上回る場合にのみ、代替ピックを「より良い可能性が高い」と判定します。

ランキング、グレード、評価レーティングはピックの順序を参照しており、共通の比率調整によって順位が変動することはありません。ドラフトアリーナと試合レビューも同一の数値を使用しています。

本調査が示していない点

• 本調査は観察データに基づくものです。プレイヤーがチャンピオンを選ぶ理由はモデルが部分的にしか捉えられないため、比率が1に近いことはアドバイスの妥当性の必要条件であっても、別のピックを選んでいれば必ず勝利できたという証明ではありません。
• 4日間、単一地域、単一モデルのデータです。現在サイト上で稼働しているのは3地域すべてで訓練された後続モデルであり、同様の測定は行われていません。
• データに実際のピック順が含まれていないため、各陣営の順序は訓練時と同様の手法で割り当てられています。
• プレイヤー既知の数値はピックを行うプレイヤーのみを特定したものであり、レビュー機能の「全員特定」では10人全員を特定しています。
• プレイヤー自身のプール内では、盤面を約2ポイント上回る程度のピック差はほとんど効果が現れず、極端に差がある場合にのみ効果が集中していました。