Model başka bir seçimin daha iyi olduğunu söylediğinde, bunun ne kadarı sonuca yansır?

Nasıl ölçüldü

Yalnızca yapılmış olan seçimin bir sonucu vardır, dolayısıyla “ya X'i seçseydiniz ne olurdu” durumu asla doğrudan gözlemlenemez. Test edilebilecek şey, farklı oyuncuların farklı seçimler yaptığı birçok durumda modelin seçimler arasındaki farklarının kendini gösterip göstermediğidir.

• Her gerçek draft durumu için tüm geçerli aday şampiyonlar yalnızca önceki maçlarda eğitilmiş bir model tarafından puanlanır. Adayların ortalaması tablonun değeridir; seçimin kendi değeri ise puanından bu ortalamanın çıkarılmasıyla bulunur.
• Maç sonucu, tablo değeri ve seçimin kendi değeri üzerinden regresyona tabi tutulur. İkinci katsayı yansıma payıdır: 1 olması modelin seçimler arasındaki farklarının tamamen yansıdığı, 0 olması ise hiçbir etki taşımadığı anlamına gelir.
• Her maç, onu puanlayan model oluşturulduktan sonra oynandı ve kullanılan oyuncu geçmişleri gün başlamadan önce donduruldu.
• Hatalar maç bazında kümelendi çünkü tek bir maçın durumları tek bir sonucu paylaşır.

Üç kitlede yansıma payı

Yalnızca şampiyonlara dayalı sayı, aynı modelin farklı günlerdeki iki ölçümünün birleştirilmiş halidir. İlk ölçüm tek başına %0,675 ± 0,118, ikincisi %0,969 ± 0,118 sonucunu verdi. Aralarındaki fark birleşik hatalarının iki katından azdır, bu yüzden hiçbiri tek başına nihai sayı değildir.

5 Ekim 2026'ya kadar site, oyuncunun bilindiği durumlar için 0,29 değerini kullandı. Bu sayı oyuncunun kendi havuzundan (son satır) geliyordu ve tüm adaylara uygulanıyordu. Gerçekte uygulandığı yerde ölçüldüğünde bu pay 0,83 olmaktadır.

Tek bir doğru çizgi mi?

Küçük farklar gürültüden ibaret olup yalnızca büyük farklar gerçek olsaydı, tek bir pay yanıltıcı olurdu. Yalnızca şampiyonlara dayalı durumları seçimin iddia edilen değerine göre on eşit gruba ayırdığımızda, ortaya çıkan sonuç tüm aralık boyunca iddiayı takip etti ve eğrilik terimi sıfırdan farksız çıktı.

Aralıklar geniştir: her grubun sonucu bir puandan fazla belirsizlik taşır. Tablo herhangi bir bükülmeyi değil, sıfırdan geçen düz bir doğruyu desteklemektedir.

Ölçeklendirme tahmine yardımcı oluyor mu?

Aynı durumlarda kazanan hakkında üç tahmin: yalnızca tablo, tablo artı yapılan seçim için modelin tam farkı ve tablo artı sitenin daha önce kullandığı pay oranındaki fark. Seçimi bilmek AUC, log loss ve Brier skorunda yalnızca tabloyu geride bırakır. Farkı küçültmek bu maçlarda tam farkı geçemedi.

Bunun sitede neleri değiştirdiği

Arena raporları ve maç incelemeleri gözlemlenen sonuçlara dayalı bir maliyet gösterir: modelin farkı çarpı yansıma payı, payın kendi belirsizliğinden kaynaklanan %95'lik aralıkla birlikte. Bir alternatif yalnızca bu aralığın alt sınırı hala yarım puanı aştığında muhtemelen daha iyi olarak adlandırılır.

Sıralamalar, dereceler ve puanlar seçimlerin sırasını okur ve ortak bir pay bunu değiştiremez. Draft arenası ve maç incelemesi aynı sayıları kullanır.

Bunun göstermediği şeyler

• Bu gözlemsel bir çalışmadır. Oyuncular modelin yalnızca kısmen görebildiği nedenlerle şampiyon seçerler; bu nedenle tavsiyenin doğru olması için 1'e yakın bir pay gereklidir, ancak bu farklı bir seçimin kesinlikle kazandıracağının kanıtı değildir.
• Dört gün, tek bir bölge, tek bir model. Site şu anda her üç bölgede de eğitilmiş daha yeni bir modele hizmet vermektedir ve bu model henüz bu şekilde ölçülmemiştir.
• Verilerde gözlemlenen bir seçim sırası yoktur, bu nedenle her iki tarafın sırası eğitimin atadığı şekilde atanmıştır.
• Oyuncunun bilindiği sayı yalnızca seçimi yapan oyuncuyu bilir; incelemenin “herkes biliniyor” okuması ise on oyuncunun tamamını bilir.
• Bir oyuncunun kendi havuzu içinde, tablonun yaklaşık iki puan üzerinde değer biçilen seçimler neredeyse hiçbir etki göstermedi; etki uç kısımlarda yer aldı.