Doğruluk

Tek bir paket, beş model; her biri lobi hakkında farklı miktarda bilgi için eğitilmiştir. Bunlar kalite kademeleri değildir: bir tabloyu yanlış modele göndermek, kimsenin içinde olmadığı bir durum hakkında kendinden emin bir sayı verir; bu nedenle site, söylediklerinize göre modeli seçer — ve aşağıdaki her tablo her sayının hangisine ait olduğunu belirtir.

Resmi rekabetçi turnuva haritaları, maç sonrası veri sızıntısı olmadan ileriye dönük puanlandı ve aynı 5 metrik üzerinden gerçek harita sonuçlarına (bwin) göre değerlendirildi — bahis veya oran içermez.

Puanlanan turnuva haritaları

2.177official tournament maps

Draft Sonrası (Tam kompozisyon)

0,7320AUC

Draft Öncesi (Yalnızca kadrolar)

0,7294AUC

Draft Artışı

+0,0026post minus pre

Bir turnuva haritası için %62 dediğimizde, mavi taraf ne sıklıkla kazandı?

2.177 resmi harita, her iki kol da aynı maçlarda. Bu, yukarıdaki tekli dereceli eğrisinden çok daha küçük bir örneklemdir ve gruplar bunu göstermektedir — noktayı değil, aralığı dikkate alın. Yatay: tahmin ettiğimiz şey. Dikey: gerçekleşen şey. Mükemmel kalibre edilmiş bir model kesikli çizgi üzerinde durur. Her nokta bir olasılık grubudur, içine kaç tahminin düştüğüne göre boyutlandırılmıştır; çubuk onun %95 aralığıdır. Geniş çubuklar henüz yeterli maç olmadığı anlamına gelir — geniş bir model olduğu anlamına değil.

Sayfanın geri kalanıyla aynı birimlere dönüştürüldüğünde: Draft Sonrası (Tam kompozisyon) 0,2052 Brier skoruna sahiptir ve yanlış kalibrasyon bunun 0,001333 kadarını oluşturur — yaklaşık %0,650. Hatanın neredeyse tamamı, olasılığın yanlış olması değil, oyunun attığı yazı tura ve modelin ayıramadığı unsurlardır. Genel olarak mavi tarafı %0,88 oranında düşük tahmin, bu da işareti göz ardı ettiği için ortalama bir farkın size söyleyemeyeceği bir yöndür.

Yalnızca draft öncesi kadro derecelendirmelerinden tam 10 şampiyonlu kompozisyona ve draft durumuna geçildiğinde tahmin doğruluğunun nasıl arttığı.

Her iki satır da aynı haritaları puanlar, bu yüzden aralarındaki fark sadece drafttır, başka bir şey değil.

Herhangi bir drafttan önce seriyi kim kazanır

Aynı modele daha büyük soru soruldu: yalnızca iki kadrodan yola çıkarak 3 maçlık veya 5 maçlık serinin tamamını kim kazanır. Seçilmiş seriler değil her seri puanlanır ve burada hiçbir bahis fiyatı yer almaz.

Geriye dönük test, 2019-01-14 ile 2026-11-12 arasındaki 18.952 adet 3 maçlık ve 5 maçlık seriyi kapsar. Her sezon yalnızca önceki sezonlara göre uyarlanmış bir model tarafından puanlandı; bu nedenle tahmin edilmeden önce hiçbir şey görülmedi, ancak puanlama olaydan sonra gerçekleşti. Aynı serilerde tam modelin log loss değeri düz bir TrueSkill derecelendirmesinden 0,0093 daha düşüktür (t = 7,7): bu fark, kadro formu, geçmiş ve modelin geri kalanının kattığı değerdir.

Mühürlü satır asıl testtir: her maç takvimde göründüğünde (2026-09-22 - 2026-11-08), oynanmadan önce yazılan ve asla revize edilmeyen 103 tahmin. Küçük bir sayıdır ve her maçla büyüyecektir.

Kendi seçtiğimiz bir veri ayrımı üzerinde kendi ölçümümüz. Sayı sıradandır; kontrol edilmeye değer olan kısım veri ayrımıdır.

Ayrım

yama ayrımıtest penceresindeki hiçbir maç eğitimde yer almadı

Ölçülen veri

2026-10-20bu sayıların geldiği yama derlemesi

Şu anda sunulan

2026-11-05aynı formülün, o zamandan beri her şey üzerindeki günlük yeniden uyarlaması

Test maçlarının nereden geldiği

Gerçek günlere göre boyutlandırılmıştır. İki pencere 6 Eki tarihinde buluşur ve birbiriyle örtüşmez.

Eğitildiği veri

13.930.197 maç1619, 1618, 1617 yamaları · 31 Ağu - 7 Eki · 37 gün

Ayrılan ve test edilen veri

5.317.593 maç1620 yamaları · 6 Eki - 20 Eki · 14 gün

Eğitimin neden bu kadar az yama içerdiği: KR ve EUW veri toplamaya 31 Ağustos 2026'da başladı ve tek bir model her üç bölgeye de hizmet veriyor, bu nedenle yalnızca üçünün de sahip olduğu günlerde eğitiliyor. Bir derleme ayrıca test etmek için en yeni yamasını ayırır, bu da bir derlemenin normalde eğitildiği 4 yamanın 3 tanesini bırakır. Pencere dolana kadar her yeni yama bir tane ekler. KR ve EUW'daki oyuncu geçmişleri de aynı şekilde yenidir, bu nedenle oyuncuları bilen modların kazanacağı en çok şey vardır; aşağıdaki yama derlemeleri bunu başarıp başaramadıklarını gösterecektir.

Bunun yerine rastgele bir ayrımın nasıl görüneceği

Bir örneklendirme, bizim verimiz değil. Başka yerlerde yayınlanan rakamlar buna benzer ayrımlardan gelir: her iki tarafta da aynı yamalar bulunur, böylece model eğitildiği meta üzerinde test edilir. Eğitim döneminin sonrasından değil, içinden çekilen aynı miktarda test verisi.

Her modun ne puan aldığı

Yukarıdaki ayrılan yama. Eksen, yazı tura olan 0.50'den başlar — sıfırdan değil, çünkü hiçbir model bunun altında kalmaz.

Bu sayılardaki bilinen sızıntılar

† all_info_puuid, draft_all_puuid: ustalık puanları bazen maçın oynandığı gün veya daha sonra okunuyordu, bu nedenle sonuca bağlı olan o maçın kendi ustalık ödülünü de içerebiliyordu. 22 Eylül 2026'da işlem hattında düzeltildi; bu sayıları ne kadar değiştirdiği henüz ölçülmedi.

Her yamada yeniden yapılan aynı ölçüm

Her derleme özelliklerini yeniden seçer ve sıfırdan yeniden uyarlanır, ardından hiç görmediği bir yamayı puanlar. Her görünüm 0,090 AUC yüksekliğindedir, bu nedenle aynı yükseliş beşinde de aynı anlama gelir — ancak her biri kendi modunda ortalanmıştır, çünkü bunlar bir sıralama değil beş farklı sorudur. Çoğu neredeyse hiç değişmez ve düz bir grafik yerine asıl bulgu budur: 5 yeniden derleme boyunca, Tam draft, oyuncular biliniyor dışındaki her mod baştan sona 0,047 AUC içinde kalır.

İlk iki derleme, büyüyen bir pencere (516.665 maç, ardından 1.092.703) boyunca aynı yamayı ayırır, bu nedenle bağımsız noktalar değillerdir. Bir düşüş otomatik olarak bir gerileme anlamına gelmez. Burada öne çıkan derleme 26 Ağustos 2026 derlemesidir ve bu bir düzeltmedir: Draft ortası, tekli dereceli orada kümülatif kimlik görünürlüğünü kaybetti, bu da ona daha önce seçim yapmış olan herkesin geçmişini gösteriyordu — gerçek bir tekli dereceli şampiyon seçiminde hiç kimsenin sahip olmadığı bir bilgi.

Sayıları bilinen bir sızıntı içeren derlemelerden noktalar (yukarıdaki grafiğin altında açıklanmıştır): Tam draft, oyuncular biliniyor (5/5), Draft ortası, kadro biliniyor (5/5), Draft ortası, tekli dereceli (4/5).

Modlar arasındaki fark bir ürün özelliğidir, bir kusur değil. Anonim modlar yalnızca şampiyonları bilir; kimlikli modlar ise onları kimin oynadığını da bilir ki bu bulduğumuz her bir özellikten daha değerlidir — ve yalnızca şampiyonlara odaklanan bir aracın ekleyemeyeceği şeydir.

Bir günün tüm dereceli maçları, o gün gerçekleşmeden önce dondurulmuş bir model tarafından puanlandı. Seçilecek bir veri ayrımı yok: gelecek, test kümesidir.

Başladığımızdan beri her yamanın aynı günü

Mod başına bir görünüm, 0,0160 AUC yüksekliğinde. Eksen, yamanın çıkışından bu yana geçen günlerdir; bu nedenle her nokta bu konumu yamalar genelinde ortalar. 80.000 maçta yaklaşık 0.002 AUC olan bir günün standart hatası, bir görünümün kabaca onda biridir ve bu boyuttaki tek bir dalgalanma bir haberden ziyade gürültüdür. Kesikli çizgi, o modun 20 Eki 2026 derlemesinden ayrılan yama AUC değeridir — farklı maçlar üzerinde farklı bir ölçümdür, bu da günlerin onun üzerinde yer alıp almadığını görmenin neden değerli olduğunu tam olarak açıklar.

%62 dediğimizde, mavi taraf gerçekte ne sıklıkla kazandı?

30 gün (7 Eki 2026 - 5 Kas 2026) boyunca 11.521.831 tahmin, mod başına bir görünüm — yukarıdaki grafikteki aynı maçlar, zamana göre değil tahmin ettiğimiz değerin beş puanlık aralıklarına göre gruplandırılmıştır. Düz çizgi, her birinin içerdiği tahmin sayısıyla ağırlıklandırılarak gruplara uydurulmuştur; kesikli çizgi ise mükemmel bir tahminin duracağı yerdir. Yatay: tahmin ettiğimiz şey. Dikey: gerçekleşen şey. Mükemmel kalibre edilmiş bir model kesikli çizgi üzerinde durur. Her nokta bir olasılık grubudur, içine kaç tahminin düştüğüne göre boyutlandırılmıştır; çubuk onun %95 aralığıdır. Geniş çubuklar henüz yeterli maç olmadığı anlamına gelir — geniş bir model olduğu anlamına değil.

Sayfanın geri kalanıyla aynı birimlere dönüştürüldüğünde: Tam draft, oyuncular biliniyor 0,2178 Brier skoruna sahiptir ve yanlış kalibrasyon bunun 0,000002 kadarını oluşturur — yaklaşık %0,001. Hatanın neredeyse tamamı, olasılığın yanlış olması değil, oyunun attığı yazı tura ve modelin ayıramadığı unsurlardır. Genel olarak mavi tarafı %0,01 oranında düşük tahmin, bu da işareti göz ardı ettiği için ortalama bir farkın size söyleyemeyeceği bir yöndür.

Riot'un maç geçmişi kimin ne oynadığını kaydeder, hangi sırayla seçildiğini değil. Bu yüzden bunu modelliyoruz: her eğitim tablosuna rastgele çekilen bir açığa çıkma sırası verilir.

Tekli derecelide bu, gerçeğin adil bir modelidir. Seçim sıranız lobiden gelir ve rolünüzle hiçbir ilgisi yoktur — destekte ilk seçim olabilirsiniz — bu nedenle sıra gerçekten rastgele bir çekilişe yakındır ve birini kullanmanın maliyeti azdır. Rastgele bir çekilişin yeniden üretemediği şey eşleşmedir: sıra tabloyu şekillendirir, çünkü son seçilen bir şampiyon gördüğüne yanıt verebilir ve ilk seçilen şampiyon bunu yapamaz; biz ise sırayı dağıttığımız tablodan bağımsız olarak dağıtırız. Bu yüzden geç bir karşı seçim bazen erken bir sıraya denk gelir. Bunun ne kadar önemli olduğu ucu açık bir sorudur ve bunu yanıtlamanın tek yolu, gerçekleştikleri anda kaydedilen draftlara göre incelemektir — bu da bir şampiyon seçimi kilitlendikçe girildiğinde draft sayfasının tuttuğu şeydir.

Kontrol etmeye doğru

750 üzerinden 100mavi ve kırmızıdan küçük olanı sayarak eksiksiz taraflar — tahmin edicinin atanan sıranın yerini almadan önce bizzat istediği eşik

Kaydedilen tam draftlar

84girilen 393 şampiyon seçiminden; geri kalanı yarıda durdu veya net bir şekilde geri okunamadı

Şu tarihten beri toplanıyor

1 Eyl 2026gerçekleştiği anda girilen ilk şampiyon seçimi

Bunu oluşturmak için sizinle ilgili hiçbir şey saklanmaz: kaydedilen bir draft, hiçbir hesap bağlı olmaksızın şampiyonlar, onların tarafı ve sırasıdır. Sayı yalnızca birisi gerçekleşmekte olan bir şampiyon seçimine girdiğinde değişir, bu yüzden yapısı gereği yavaş ilerleyen bir sayıdır — ve model bunu beklemez.

Her draft için, oyuncunun gerçekten kilitlediği şampiyonun, o oyuncunun zaten oynadığı şampiyonlar sıralamamızda nerede yer aldığı -- maç başlamadan önce dondurulmuş bir geçmişe göre ertesi gün puanlanmıştır.

Puanlanan günler

302026-10-14 - 2026-11-12

Maçlar

953.087

Oyuncular

321.777

Oyuncu başına şampiyon

8,5

Bu günleri hangi modelin sıraladığı

Buradaki her tablo bu günlerin tümünü havuzlar ve hepsi aynı model tarafından sıralanmamıştır. Bir gün, onu sıralayan modele sayılır.

İlk sıraya koyduğumuz şampiyon kazanan oldu mu?

Her satır sıralamamızdaki tek bir noktadır, kümülatif bir toplam değildir: #2, yalnızca ikinci sıraya koyduğumuz seçimlerin altlarında sıraladığımız seçimlerle karşılaştırılmasıdır. Her satır ayrıca yalnızca o noktadan daha fazla şampiyona sahip oyuncuları sayar: beş şampiyonluk bir havuzda “onu 6. ile 10. arasına yerleştirdik” gerçekleşemez ve satır yalnızca ortalamayı yineler. Karşılaştırma %50 yerine aynı havuzun geri kalanıyladır, çünkü bir havuz içindeki seçimler zaten yaklaşık %52.8 oranında kazanır — bu sayı ölçülen aşinalıktır ve bir önerinin geçmesi gereken şey budur.

Havuzda nerede yer aldıklarına göre aynı seçimler

Üst grup eksi alt grup: 5,1 yüzdelik puan. Bunu bir fark olarak değerlendirmeden önce her satırın yanındaki aralıkları okuyun -- bunlar koltuk başına değil maç başına hesaplanır.

Önermediğimiz seçimler ne durumda?

İlk 10'da olmayan eksi ilk 10'umuz: -3,7 yüzdelik puan.

30 gün (2026-10-14 - 2026-11-12) üzerinden ölçülmüştür: havuz dışındaki seçimlerin kaydedildiği günler.

Kimseye rastgele ilk kez oynadığı bir şampiyon atanmaz. Bu otomatik doldurma, yeni hesaptaki bir smurf, havuzunu genişleten bir tek şampiyon oyuncusu veya birinin zorunda hissettiği bir karşı seçimdir. Bu ne yapılması gerektiğini değil, ne olduğunu söyler — ve yukarıdaki tablolarla aynı draftlarda, aynı günde, aynı dondurulmuş geçmişe karşı ölçülmüştür.

Güvenli seçimlerine karşı bizim 1 numaramız

Her seçim için, oyuncunun hiçbir yardım almadan seçeceği şampiyonu da kaydettik: o rolde en çok oynadıkları, son zamanlarda oynadıkları ve ustalığı en yüksek olan şampiyon. Bunun bizim 1 numaramızla aynı olduğu durumlarda, bizi takip etmek ile güvenli oynamak aynı şeydir. Karşılaştırma, ikisinin farklı olduğu draftlar üzerindedir: 1 numaramızı alan oyuncular, güvenli seçimlerini alanlara göre daha fazla kazandı mı?

30 gün (2026-10-14 - 2026-11-12), 953.087 seçim. Sıfırı kesen bir aralık, ikisinin henüz birbirinden ayırt edilemeyeceği anlamına gelir.

Kimseye rastgele bizim seçimimiz ya da her zamanki seçimi atanmaz: ana şampiyonunu bırakan bir oyuncu karşı seçim yapıyor, dolduruyor veya yeni bir şey deniyor olabilir. Bu ne olacağını değil, ne olduğunu karşılaştırır.

Tahmin ettiğimiz şans gerçekleşti mi?

Havuzlarındaki seçimler için, kilitledikleri şampiyon ve 1 numaramız için tahmin ettiğimiz kazanma şansını da kaydettik. Kimse her ikisini birden oynamaz, bu nedenle kontrol şudur: 1 numaramızın daha altında tahmin ettiğimiz seçimler, yaklaşık olarak tahmin sütununun söylediği kadar daha az kazanmalıdır. Tahmin edilen düşerken “kazanılan” sütunu sabit kalırsa, tahmin ettiğimiz farklar gürültüdür.

Kilitlenen seçim için tahmin edilen kazanma şansımız, 782.994 seçim üzerinden puanlandı: AUC 0,5644 · log loss 0,6864 · Brier 0,2467 · doğruluk 0,5444 · ECE 0,0119.

Oyuncular kendi seçimlerini kendileri yapar ve bir şampiyonda rahat olmak tek başına kazanmayı öngörür. Bu, üst sıralara koyduğumuz seçimlerin daha sık kazanıp kazanmadığını gösterir. Tavsiyeye uymanın galibiyet getirdiğini göstermez.

Yalnızca o oyuncunun zaten oynadığı şampiyonlara göre sıralanmıştır. Tüm şampiyonlara göre sıralama yapmak daha kolay ve daha az dürüst olurdu: seçtikleri şampiyon genellikle gerçek bir geçmişe sahip olduğumuz tek adaydır, bu nedenle tavsiyeden ziyade aşinalık sayesinde kazanırdı. Bir yüzdelik dilim, 6 şampiyonluk bir havuz ile 40 şampiyonluk bir havuzu karşılaştırılabilir kılar. Çoğu oyuncu rol başına yalnızca birkaç şampiyon tutar, bu nedenle yüzdelik dilim yalnızca birkaç farklı değer alır ve gruplar tesadüfen değil aritmetik olarak dengesizdir — bu havuz kısıtlamasının çalıştığını gösterir ve bunu düzleştirmek ölçümü gizlerdi.

Maçlar oynanmadan önce bu API'nin döndürdüğü, sonuçlara göre puanlanan tahminler. Bu maçları bizim için kimse seçmedi.

2026-09-29 tarihinden beri sayılıyor. Önceki tahminler günlüklerde tutulur ancak burada sayılmaz.

Oyuncu belirtilen draftlar

144bir şampiyon seçimi kaç kez sorarsa sorsun bir kez sayılır

Puanlanan tekli dereceli maçlar

69aşağıdaki sayıların hesaplandığı tek maçlar

Diğer sıralar

1Normal Seçim, Esnek veya Clash'teki gerçek maçlar: oynandı, burada puanlanmadı

Yeniden başlatmalar

2

O maça hiç dönüşmedi

72sıradan çıkma veya oyuncunun bir sonraki maçı farklı bir drafttı

Arama yapamadık

0Riot son tarihe kadar aramayı reddetti: düzeltmesi bize ait

Hâlâ bekleniyor

0bir günden daha yeni, henüz sonuç yok

Özel ve bot draftları hariç tutuldu

22masaüstü yardımcısı için yanıtlandı, hiçbir zaman ölçülmedi

Oyuncu belirtilmeyen tahminler

10.399kullanım: sitede denenen draftlar; hiçbir zaman bir sonuç oluşamaz

Mod: Tam draft, oyuncular biliniyor

46Yanıtladığı dereceli maçlar · 50 ona soran draftlar

Mod: Draft ortası, tekli dereceli

69Yanıtladığı dereceli maçlar · 144 ona soran draftlar

Bunun neyin ölçümü olduğu

Bu tahminlerin tümü aynı model tarafından yapılmadı. Günlük tutulmaya başlandığından beri yayınladığımız her derleme ve o zamandan beri yayında olan her yama buradadır. Bunlar hangileri olduğu ve her birinin örneklemin ne kadarını oluşturduğudur.

Puanlanan maçların aralığı

30 Eyl - 7 Kas 20261 Eyl 2026 gününden beri hizmet veriyor, günlüğün 66 günü

Arkasındaki derlemeler

222026-10-24 (23), 2026-10-03 (7), 2026-10-19 (5), 2026-10-15 (4), 2026-10-13 (3)

Oynanan yamalar

41621 (31), 1620 (21), 1619 (12), 1622 (5)

Şu anda yanıt veriyor

2026-11-05bu derleme yukarıda ölçülen derlemelerden biridir

AUC

0,6345± 0,1309

Log loss

0,64360.693 yazı turadır; daha düşük olması daha iyidir

Brier

0,22780.25 yazı turadır; daha düşük olması daha iyidir

Doğruluk

%60,9%50 eşiğinde doğru tahmin edilen maçlar

Kalibrasyon hatası

0,1357tahmin edilen ile gözlemlenen arasındaki ortalama fark, 15 grup

Buradaki mavi taraf kazanma oranı

%58,0popülasyonda ~%50; çok uzak olması sıra dışı bir örneklem anlamına gelir