【はじめに】

Twitterを見ていたらおもしろい疑問があったので少し実験してみました。
鍵アカのツイートなので公開はしませんが、大雑把に言うと大会は何回戦やれば実力が結果に出るかなというものです。
段位の認定などもそうですし、準王座が絡む日本代表の権利や世界選手権の予選など、実力と結果がリンクしていて欲しいケースはいろいろありますよね。

その方が11年前の中島さんの記事(読んだ記憶があるのが怖い年月!)を貼っていて、要約すると

・1位をそれなりの信頼度で決めるのには、必要最小限の試合数+2
・2,3位をそれなりの信頼度で決めるのには、もう数試合


という経験則が知られているみたいです。
今回はこのあたりをいくつかの仮定のもとに実験してみました。


【今回の設定】


N = 64,128人の大会を考えます。
トーナメント的にはそれぞれ6,7試合で優勝者が決まるわけですが、その後も大会を続けていくことにしましょう。
何試合くらいやったところで上位がいい感じに選抜されるのでしょうか?

実験にあたっていくつか仮定します

仮定➀プレイヤーは「真のレーティング(実力)」を持っている
実力はなかなか数値だけでは測れないと思いますが、とりあえず。

仮定➁試合結果は両者のレーティングの差だけから確率的に決まる
100差があったら上位の勝率66%、みたいな感じにしました。

仮定③全参加者のレーティングは正規分布に従っている
この仮定はかなり怪しい!というかいくつかの場合で明らかに現実と合わないと思うけど、まあそんなに気合をいれてやることでもないので…。
結果にどのくらい影響するかは謎。
パラメータは適当に決めました。μ=1000, σ=200。

実際の分布をお見せします(128人の場合の実験に使った100個から適当に3つ取ってきました)
hist1
hist2

hist4


大会ごとにこんなかんじの参加者が集まってくれた大会が100回あったと思えば大丈夫です。



次に大会方式をまとめます。


➀勝ち数が近い人がランダムに当たる
➁勝敗によってレーティングの変化はない
③全勝者が一人になっても大会を続ける
④以上の大会を64,128人の場合にそれぞれ100回開催する



この条件下で以下を見ていこうと思います。

・64人の場合に、大会上位4人がどのくらいレーティング上位から外れているか
・128人の場合に、大会上位4人がどのくらいレーティング上位から外れているか
・128人の場合に、大会上位1人がどのくらいレーティング上位から外れているか

「上位〇人がどのくらいレーティング上位から外れているか」は以下の値で測ることにします。

実際との差 = ([大会1位の人のレーティング順位]+[大会2位]+…+[大会〇位]) - (1 + 2 +…+〇)

例を出すと、上位3人を見たいとき(以下では理想というのは便宜的な言葉で、大会はかくあるべしみたいな意味ではありません)

1位:レート5位 (理想はレート1位)
2位:レート1位 (理想はレート2位)
3位:レート4位 (理想はレート3位)

の場合、(5+1+4)-(1+2+3) = 4です。

1位:レート2位 (理想はレート1位)
2位:レート3位 (理想はレート2位)
3位:レート1位 (理想はレート3位)

の場合、(2+3+1)-(1+2+3) = 0です。

つまり、この値が低いほど、〇位までが順当な結果になっています。

【実験結果】

まずは上位4人の順当さの結果です。
100回の結果の平均と標準偏差を描いています(本当は今回はそういう描き方はダメなんだけど、めんどくさいので置いといて…)
15rounds

図の見方としては、右に行くほど試合数を重ねていて、下に行くほど順当な結果になってます。
100回の平均が点で打たれていて、個別の結果はだいたい棒の範囲の値にいると考えてください。

当たり前ですが、試合数を多くすると順当な結果になっていく様子がなんとなくわかります。


15rounds_detail

5回戦以降の拡大図です。
試合を増やすと順当になっては行きますが、一方でそう簡単に理想的な順位(=0)にはならないことがわかります。
例えば世界選手権は128人規模にそこそこ近く、予選は13回戦+プレイオフが行われますが、そのくらいやると十分というか、それ以上を求めるのが大変なくらいにはなっていることがわかります。
実際、以降を30回戦くらいまで見ていくと(別の100回の結果ですが)

long


あまり値が改善するわけではありません。
この例では13+プレイオフは予選として十分じゃないかなという気がします。

実際の世界選手権では今回仮定したレーティングの正規分布の右端のほうの人ばかりが出ており、特に最上位は極値統計的なプレイヤーが集まっていることを考えれば、差の値はさらに低くなることが予想されます。これはそのうち計算してみたいですね。


次に128人の場合の優勝者について同じものを調べてみました。
100回の結果の平均と標準偏差を描いています(本当は今回はさらにそういう描き方はダメなんだけど、めんどくさいので置いといて…)
top1

1位となるとなかなかダークホースが入り込むのが難しいようです。
実際、7回戦(ただ一人全勝が出る)以降を拡大してみると

top1_long

(ほらみろ、適当に標準偏差なんかでエラーバーをつけるから下にはみ出しちゃったじゃないか!)

10回戦もやると、平均的には上位3位くらいにいる人でないと優勝は難しいとわかります。
と言っても誤差棒がある通り、実際はそれを下回る人が優勝する回があるわけですが、経験則があったとおり+2~3回戦程度ではだいぶ厳しくなるようです。


この例に近いのは、参加者に制限がなく大勢があつまる名人戦などでしょうか。
一昔前は「高梨九段は名人戦が得意」などと言われていましたが、そもそもあのシステムは強い人が勝ち上がりやすいシステムになっているということの傍証くらいにはなっているかもしれません。


【まとめ】


というわけで今回の仮定のもとだと、冒頭の経験則は大雑把にはそこまで悪くないのかなという感じでした。
全日本選手権や世界選手権などの予選があって分布が大きくわかる場合や、実際のレーティングのデータを使ってみた場合などもやってみたいですね。


最近はパソコンに3,4時間くらいで終わる計算をさせる機会が多いので、そのくらいの時間で書けるこういう記事を書くのが趣味になるかもしれません。
前回記事同様ちゃんと詰めるべき点が色々あると思うので、興味のある方実験してみてください。
夏休み前に更新しておけばジュニアオセラーが自由研究でやってくれたかもしれないですね。