19/08/25 13:16:30.70 ZVwpQy/4.net
URLﾘﾝｸ(i.imgur.com)
※前スレ
最新ソフトで歴代棋士の指し手一致率を調査した結果
URLﾘﾝｸ(mevius.2ch.sc)
2:
19/08/25 15:39:17.68 drQ8F6x8.net
今年の入手可能な棋譜をできるだけ多く解析して棋士のソフト一致率を調べてみた
ただし、慣例に従い前半40手を除外した一致率だけなので、ソフトによる序盤戦の研究がどう勝敗に関わるかを分析するのは目的でない
棋士の棋力を中終盤のソフト一致率で測定可能かに主眼を置いて調査している
やってみて、一致率だけでは決定的なことはブラックホールであることがわかってきた
最新の棋力を知る便利な物差しはEloレーティングをおいてない
一致率が棋力の指標たりえるかを知るためにはこのEloレーティングとの相関を調べる必要がある
上位棋士との相関は概ね感触が良かった
レート上位30位までならピアソン相関係数で0.8、上位40位まででも0.75になった
ところが、レートでなくデータ局数10以上の棋士の相関係数は0.57、データ局数15以上にしても改善されなかった
何かが決定的に足りない
たどり着いた結論は、「相手棋士のレベルも加味しないと確かなデータにならない」ということだ
相手レベルは相手のレートでわかる
その効果は絶大だった
しかし、相手レートは重宝なデータだが、Eloレートとの相関を見るのに対局相手のEloレートを絡ませるのは屋上屋を架す行為に思える
そこで、相手レートの代わりになりうるはずということで相手一致率を代用してみたところコレならばという結果を得ることができた
それゆえ、公開に至っている
まだまだデータを増やして最低でも1年間の棋譜を解析する予定だが、これはその中間集計の一部にすぎない
今後出てくる疑問や改善の提案に答える形で検証を続けていくことになろう
3:名無し名人
19/08/25 15:56:40.74 ombiyTbA.net
天野宗歩もソフト指し
4:名無し名人
19/08/25 15:57:37.56 9IcsYsGh.net
羽生さんは三位なんか
5:
19/08/25 16:01:18.09 drQ8F6x8.net
公開した表はレーティング上位24位までの棋士を換算レートの順に並べている
ここで、換算レートについて説明したい
この画像は7月27日現在データ数が16局以上になった棋士22名をExcelで回帰分析したものである
Eloレートを目的変数、一致率と相手一致率を説明変数にして重相関係数を求めている
その結果、重相関Rは0.872だった
ここで得られた重回帰式を用いて算出したのが現在の換算レートになっている
URLﾘﾝｸ(i.imgur.com)
6:
19/08/25 16:09:15.37 drQ8F6x8.net
次に相手一致率の算出の仕組を説明しておく
>>1でデータ数が一番少ない三浦九段を例にするとこんな仕組になっている
算出する度にこうした表にしているわけではないが、こうした原理で、三浦九段の一致率74.1%と相手一致率74.8%が算出されている
URLﾘﾝｸ(i.imgur.com)
7:
19/08/25 16:09:48.78 drQ8F6x8.net
ほかにも説明が必要な箇所はあると思うが、とりあえず重要な点については説明が足りたのでないだろうか
ここで、テンプレごときを一端終了し気付いたことがあれば、また追加していきたい
8:名無し名人
19/08/25 16:21:56.43 Ayy8DYu9.net
一致率ってソフトの最善手と一致する率のことなの？
Ａは最善が多かったけど大きな悪手を１回だけやる
Ｂは最善が多くなかったけど大きな悪手は１回も指さなかった
この場合Ｂが勝っても一致率はＡが上になっちゃう？
勝敗に直結する大きな悪手を指さない方が重要では？
9:
19/08/25 16:31:43.80 drQ8F6x8.net
>>8
大きな悪手を指さないほうが重要なのはその通りなんだけどね
だけど、プロ棋士は最善手と思って指している場合がほとんどなので、気付かなかった手を相手に指されてから自分が指した手が悪手だったことが分かるわけよ
だから、その手が大悪手になるか軽傷ですむかは結果論なんだな
つまり、1局だけなら色んなケースがあるけど、データ局数が増えるほど一致率が高い棋士より一致率が低い棋士のほうが悪手を多く指しているという結論になるんじゃないかな
大悪手の数にしても同じことだね
10:
19/08/25 16:39:07.94 drQ8F6x8.net
例えば、プロ棋士の対局を観戦してるとき、ソフトの評価値が出てくる
ソフトの最善手は簡単に指せるような手でないけど、それ以外の手はダメというようなことがしばしばある
そのときにソフトの最善手を指せる棋士はやっぱし強い棋士なんだな
一致率は棋士のこうした勝負の分かれ目に強いところを評価している側面もあるんじゃないかな
11:名無し名人
19/08/25 16:39:40.46 Ayy8DYu9.net
「大悪手の少なさ」は調査する価値のある重要なものだと思ったんだけど
無理だったらいいよ
12:
19/08/25 17:00:24.89 drQ8F6x8.net
かなりムズいことは確かだね
大悪手の定義から、その大悪手がプロでも無理からぬ大悪手なのかプロにあるまじき大悪手なのか、本当に大悪手なのか解析が足りないだけなのではないのか等々、1局の解析を終える前に日が暮れてしまうんじゃないかな
神が解析したら負けた側には必ず負けを決定付けた大悪手があるわけで、そうした意味では大悪手率を調べることは勝率を調べることとあまり変わらないと思っているよ
13:名無し名人
19/08/25 17:06:55.50 pGRg7V+g.net
そもそも最善もソフトによって変わるからねえ
14:名無し名人
19/08/25 17:23:59.35 ZVP0Z3pa.net
最新ソフトとは言ってもソフトAで次善手と出た手がソフトBでは最善手ということはよくあると思う
対してソフトAで大悪手だった手がソフトBで最善手になることはほとんどないだろう
だからソフトの次善手は真の最善手である可能性もある手という意味で悪手とは明確に差があるしこれは結果論ではないと思う
15:
19/08/25 17:24:00.98 drQ8F6x8.net
これもテンプレにしておきますか
将棋は最善手を見逃したほうが大概負ける
最善手率が高ければ高いほど勝率がよくなる
本当の最善手率はわからないが、最強ソフトとの一致率を代用したらどうか
こうして、強さの指標として一致率を試すことになった
今年の対局で集計したのは880局で、そのうち一致率が高かった側が勝ったのが818局だった(勝率93%)
つまり、相手より一致率が低くて勝った例は7%しかない
また、60%未満の一致率で勝った例は3.6%しかない
急所で間違えなければ一致率40%でも勝てるようなことはないのだ
反対に、一致率80%台で負けたのは7%しかない
一致率90%以上なら勝率97%になっている
このように一致率が強さの指標として機能していることがハッキリとした
8/11日現在の一致率集計データ
URLﾘﾝｸ(i.imgur.com)
16:名無し名人
19/08/25 17:28:05.82 pGRg7V+g.net
これ見ると相手の最善率低いしやっぱり藤井は強い相手と多くやってないから
最善が指しやすいわけだ
17:名無し名人
19/08/25 17:39:45.52 TwlR4oFB.net
最前だけでなく2番目3番目も正解にしないとな
18:名無し名人
19/08/25 17:55:24.73 xw7W/nEQ.net
>>14
これだろ
一致率の欠点って調査に使ったソフトと棋風が似てる棋士だけ有利になるところじゃねーか？
特に今はソフトで研究するのが主流になってるから調査ソフトと同じソフトを研究で使ってる棋士と別のソフトを研究に使ってる棋士とで同じ強さでも一致率変わってくるんじゃねーの？
複数のソフトで調べて平均を取るとかするなら分かるんだけど
そうじゃないなら最善手-10くらいまでの手は別のソフトなら最善手の可能性ありとして扱いを変えたほうがいい
まあ調査が凄い面倒なことになりそうだからある程度は妥協するしかないんだろうけど
19:名無し名人
19/08/25 17:55:30.66 Ayy8DYu9.net
試しに単純に評価値の下落の大きいものをチェックしてみる手はあるんじゃないか？
500点差の悪手を指した場合の勝率、1000点差の悪手を指した場合の勝率・・・
なんかをデータとして出していったら
何点差の悪手が大悪手としてふさわしいかも見えてくるんじゃないかと思う
それでも大変なのかもしれないけどｗ
20:
19/08/25 17:55:42.40 drQ8F6x8.net
>>14
その疑問はごもっともで以前からあったはず
ソフトの最善手との一致率を採用するのが良いのか、次善手を含めた広義の一致率のほうがいいのか
つまり、最善手だけにすると次善手が多い棋士(いると仮定して)の評価が過小になるし、次善手を含めた一致率では解析が甘くなって強さの判定に向いていないといったことになる
どうしたら解決するか
実を言うと、ソフトが最初に選んだ最善手ではなくとも評価値がさほど変わらない手ならば最善手と認定してくれる解析方法がある
>>1の表はその方法で一致率を調べたものなのでEloレートとの高い相関を得ることに成功したと認識している
その方法というのが逆順での解析だった
①探索エンジンのMutiPvを1にする
②ShogiGuiの棋譜解析で候補手を1にする
③逆順で解析するにチェックを入れる
このやり方をするだけで、プロ棋士の読みの内容を最大限に取り入れた解析をしてくれる
21:
19/08/25 17:59:50.99 drQ8F6x8.net
>>18
前半40手を除外した一致率なので、ソフトでの研究の影響はあまりないはず
ソフトの終盤から学んで終盤に強くなった棋士はいる(あるいは今後出てくる)かもしれないけどね
22:
19/08/25 18:11:50.06 drQ8F6x8.net
>>13
1局だけの評価なら最善手か次善手かは大問題だけど、数多く解析すれば誤差は±0に均されるという見立で解析してきた
1局で1棋士40手解析するとして20局なら800手になる
サイコロを800回振って1の目が何回出るかを数えているのと同じ理屈だ
1局ごとにこだわって精査しなくとも数多く棋譜を解析した結果、棋士の一致率がEloレートと適合してきていることが何よりの検証になっているんじゃないかな
23:名無し名人
19/08/25 18:38:57.51 QB+H8/hl.net
>>22
一度他のソフトでも何件か解析してみて一致率の差は誤差レベルになるというデータを示してくれたら分かりやすいんだけど
今は解析にillqhaを使ってるらしいからそれ以外のソフトで
orqha、水匠、NNUEkaiはillqhaと同族なのでそれ以外でやってみてほしい
24:
19/08/25 18:51:37.53 drQ8F6x8.net
>>23
今やっていることだけで手が一杯なので無理
誰かやってくれるとありがたい
ソフトで一致率に違いがあるのは当然として、各棋士のランキングに大きな違いは出てこないんじゃないか
仮に出てきても、どちらの一致率が強さの判定として有力かはEloレートとの比較で判断されることになる
そういうわけだから、>>1のデータがそれ自体独立して評価されるべきなのは変わらないよ
25:名無し名人
19/08/25 18:53:01.04 o2ZMgyvS.net
持ち時間の長い対局だと一致率は上がるもんなのかな…
秒読み状態での一致率を比べるとどうなるんだろ…
いろいろ興味が湧くなぁ
26:名無し名人
19/08/25 19:02:07.77 WNOXMtxd.net
天彦ｗ
27:名無し名人
19/08/25 19:17:44.47 Red07Icg.net
天彦丸山以下は流石に草
28:
19/08/25 19:57:26.68 drQ8F6x8.net
>>27
誰もが思うよね
そこが一致率研究の面白さで、もしかすると換算レートは来期を先取りしているのかも知れないわけだ
つまり、天彦がB1に落ち丸山がB1に復帰してくる未来が見えたりするのよ
実際、天彦と山崎はEloレートを下げていて丸山は上げている
そのわけが、天彦と山崎の一致率の低さで理由付けられているし、丸山の一致率の高さに示されているとしたらこれは偉大な発見かもしれないよ
29:
19/08/25 20:05:47.84 drQ8F6x8.net
というのも、天彦はプロ棋士誰もがくぐる鬼門に入った可能性があるからね
33歳前後になると、読んだ局面を記憶しておく能力が低下して読みの回転が遅くなる
これは、プロ棋士なら誰でもくぐる通過儀礼のようなものらしい
しかし、大抵の棋士は終盤に時間を残すように工夫して乗りきれる
乗りきってしまえば、40歳以降に集中力がピークを迎えるまでは強くなれる
天彦はその通過儀礼を今経験しているとみてよさそうなんだな
30:名無し名人
19/08/25 20:09:22.11 UUSjfwvj.net
解析に使ってるソフトが横歩取り苦手なソフトだから横歩取りでは正しい最善手を示せず天彦ら横歩取り好きな棋士の棋力を正しく評価できてないだけって可能性はないの？
例えばこれソフトのレーティング調査してる人のブログなんだけど対振り飛車に関しては明確に得意なソフトと苦手なソフトがあることが示唆されている
URLﾘﾝｸ(syougiultimit.seesaa.net)
31:
19/08/25 21:14:11.65 drQ8F6x8.net
>>25
データベースは基本的に勝ちか負けか、先手か後手か、相居飛車か対抗形か、といった二分法を採用した
細分化してもデータ数が不足するからね
もちろん持ち時間での区分もできるようにデータベース化している
こっちは、持ち時間1時間以下の棋戦(早指し)と3時間以上の二分法になった
二日制の対局も取り出すことができるようにしてあるが、こちらはまだデータが少なすぎる
1時間棋戦には叡王戦の段位別予選と棋聖戦の1次予選、加古川青流戦がある
終盤はほぼ確実に秒読みに終われるので早指しに分類している
2時間の棋戦というのもないので、二分するのに好都合というのもこの二分法を採用した理由だ
というわけで、集計してみた
持ち時間1時間以下の棋戦
平均レート 1574
636局 一致率 70.0% 手数 112手
持ち時間3時間以上の棋戦
平均レート 1650
1592局 一致率 72.4% 手数 113手
参考 二日制のタイトル戦
平均レート 1853
24局 一致率 74.1% 手数 126手
これだけでは一致率の違いが持ち時間の違いによるものか、レートの違いによるものかわからない
そこで、NHK杯を調べてみた
早指しはやはり一致率が低い
NHK杯
平均レート 1679
50局 一致率 69.0% 手数 115手
32:
19/08/25 21:25:06.58 drQ8F6x8.net
>>30
そもそも天彦のデータを見ると、解析した17局のなかで横歩取りの局は1局しかなかった
それと、今のソフトとプロのトップ棋士はレートで1000点以上の差があるので、プロ棋士の手のほうが最善手という手はかなりのレアケースになる
なので、20局800手のなかに1手あったとしても誤差は0.1%程度だね
33:名無し名人
19/08/25 22:42:24.90 o2ZMgyvS.net
>>31
なるほど、やっぱ早指しだと一致率は低いんだねぇ
秒読み入ってからだと更に低下するんだろね
レート／一致率 が高い人が「魅力ある」棋士ということになるのかな…
34:名無し名人
19/08/26 02:22:07.73 MmJzCF2G.net
むしろ雑魚のデータが見たい
意外と一致率は変わらなかったりして
35:名無し名人
19/08/26 06:51:15.38 y4iMpX8U.net
「簡単だけど長い詰み」があるのに相手が投げなかったりして、簡単な手の連続でゴッソリ一致率稼げちゃうような
ケースがあると思うけど、そういうのは考慮されてるの？
ソフト的には「難しくて長い詰み」をきっちり詰ませた場合とまったく同じことなんだから
排除なんてしようがないとは思うが
36:
19/08/26 07:34:48.54 8aPxV4nW.net
>>35
ご指摘の通りで実戦で長手数の詰みで仕上げた局は一致率が高くなるが、そうした棋士の評価をあげるのは理にかなっていていいことだね
プロ棋士で頭金まで指すのはレアケースだし、創作詰将棋ならいざ知らず、実戦で20数手以上の長い詰みで簡単な詰みなんてないでしょ
ここ数年の解析で記憶に新しいのは増田石田戦(2016年新人王戦)、糸谷渡辺戦(2016王将戦)、久保行方戦(2017年順位戦)かな
いずれも先手が詰まして勝った将棋だが、こんな勝ちかたができたら一致率が高く出て何の不都合もないでしょ
負けた側もそんな詰みでの負けなら多少色をつけてやってもいいようなもんだし、短手数で詰む変化手順の手を指したら○はつかないから気にならないね
あと、何度も言うようにデータは積み重ねが大事で1局だけで一致率を云々するものじゃないからね
37:名無し名人
19/08/26 08:22:25.55 82SY3iYe.net
要所で使えばいいので、タイトル戦のみに絞った一致率と比較したほうがいいんじゃない？元名人とか竜王とかはそうやってたんじゃないの？最近は監視が厳しくなってできなくて失冠したけど。
38:名無し名人
19/08/26 08:29:50.74 i6UMCfpf.net
レーティングもそうだけど
データ減らしたらそれだけ精度が下がることが予想される
39:
19/08/26 10:44:58.34 8aPxV4nW.net
>>34
プロ棋士を雑魚呼ばわりする失礼な人がいるので、Eloレート下位棋士のデータは棋士名空欄で出してみた
出したのはEloレート下位24棋士のうちデータ局数が3局以上の19棋士
ご覧のようにレート下位棋士は対局数が少ない上に棋譜の掲出頻度も少ないし、フリー棋士は順位戦もないので、どうしても解析データ数が増えていかない
したがって、一致率データは極めて流動的で信頼性に欠けるといえる
そういうわけで、個々の棋士でなく、平均の数値を頭に入れて>>1の平均と比べて見るとよいだろう
それと、勝局一致率が80%以上の棋士が6棋士しかいないのと平均手数が短いという特徴があるかも
URLﾘﾝｸ(i.imgur.com)
40:名無し名人
19/08/26 10:55:20.81 3lWlpIKD.net
この分析が十分に意味を持つために必要なデータの量って大体どれくらいなの？
41:名無し名人
19/08/26 11:00:28.44 3lWlpIKD.net
というか、一致率なんてものは
実名で論文にでもすれば、そういう論文が存在するという事実に関しては
僅かながらの意味があるかも知れないけれど
それ以外では特に何の役にも立たないと思うけどね
42:
19/08/26 12:04:48.77 8aPxV4nW.net
>>40
データ局数を20以上で回帰分析すると重相関Rが0.93になるから20局が一つの目安だな
対局がある度に順位が1個程度上下するのは感度的に好ましいし、順位が3個も上下するのはデータの強度という面で問題ありだろうね
43:
19/08/26 12:08:21.03 8aPxV4nW.net
二分法的な分析をするとなると最低でも40局は欲しいから、やはり期間としては1年ということになるな
44:名無し名人
19/08/26 12:20:26.83 j+SmzZHE.net
羽生さんもなのか？
45:名無し名人
19/08/26 19:04:23.96 9wpUboZe.net
"1局の解析対象平均手数は約37手
ということは一致率が3％違ってようやく1局で1手違うくらい
悪手が平均1手違えばかなり違うと思うが「最善手」から少し離れたくらいの手ならそもそもどちらが正しいのかわからない事もしばしば
なので数百局・数千局のデータなら意味を持つ可能性があるかもしれないが、一人たかが数十局のデータで果たして意味を持つのか？
一致率が高いから強いのではなく勝つから結果的に一致率が高くなってるのではないか？
という素朴な疑問があったのでちょっと検証してみた"
46:名無し名人
19/08/26 19:11:30.86 9wpUboZe.net
一致率を基に換算レートを算定する式は
一致率×1743+相手一致率×2812-1585
(だと思って見てみたら今使ってる係数は少し違ってるようだけど考え方は同じ)
一致率の平均が勝局83％・敗局65％で、相手一致率は相手レートを算定するもので相手一致率平均が74％という事はこれに2812を乗じたら大体相手平均レート×1.1～1.2倍になる
という事で式を変形するとこうなる
(0.6+勝率×0.18)×1743＋平均相手レート×1.15-1585
見てわかるようにこう変形すると一致率全く関係なく勝率と相手レートからレートを推定する式になる
また上記のように係数が少し違っているようであり計算を簡略するために以下の式で簡易推測レートを算定してみた
(0.6+勝率×0.2)×1750+平均相手レート-1200
これに>>1にある年間勝率と相手レーティング平均をあてはめた結果が次項
47:名無し名人
19/08/26 19:12:40.16 9wpUboZe.net
>>46
左から簡易推測レート・一致率推測レーティング順位・年間平均実測レーティング順位
1 渡辺 1971 1 1
2 豊島 1942 2 2
3 羽生 1871 3 5
4 久保 1857 4 10
5 木村 1856 11 7
6 永瀬 1835 ７ 4
7 三浦 1829 12 17
8 菅井 1816 9 9
9 藤井 1802 5 9
10 千田 1802 10 8
11 郷田 1791 19 16
12 糸谷 1788 14 12
13 広瀬 1787 6 6
14 近藤 1787 14 11
15 佐藤天 1786 23 13
16 佐々木 1780 13 14
17 高見 1776 8 22
18 佐藤康 1763 20 24
19 斎藤 1749 16 15
20 稲葉 1738 18 18
21 深浦 1737 21 21
22 山崎 1729 24 23
23 丸山 1691 22 20
24 増田 1675 17 19
見ての通り実際のレートとかなり相関が強い
つまり「一致率からレートを推定する式」は実は一致率全く関係なく「対戦相手と勝率からレートを推定する式」でもある事がわかった
48:名無し名人
19/08/26 19:26:19.88 nu6pz2j3.net
大山の指し方は相手をなぶる様な指し方が多かった様な記憶が
敢えて一直線の詰みを指さずに真綿で締めていく様な
本当に最善手一致率が高かったとは思えない
何か前提が間違ってないか？
49:名無し名人
19/08/26 19:35:05.51 qRdO2S/D.net
なぶるような指方が多いって印象が間違ってることに気づけよ
50:名無し名人
19/08/26 19:42:17.57 2v3dIFYJ.net
ただの感想なので怒らないで欲しいんだけど一致率とか調査するなら過去の棋士との比較までやらないとあんまり意味がないと思う
現在の棋士の強さは普通に対戦成績から算出されたレーティングで確認できるわけで
成績ではなく棋譜で解析するメリットってやっぱり直接対決してない過去の棋士とも比較可能になるってところにあるんじゃないだろうか
山下さんの棋譜解析の論文にもそう書いてあったし
だから過去の棋士も解析できる手法を見つけないとあんまり実用性がないんじゃないかなぁ
51:
19/08/26 19:48:25.78 8aPxV4nW.net
>>47
相手Eloレートと勝率から算出したら実際のEloレートと強い相関式が作れるのは当たり前なんだけど、それが何なんですか
Eloレートをまったく利用しないで一致率だけでEloレートと強い相関が認められる換算レートを算出できるということが>>1の画期的なところですよ
52:名無し名人
19/08/26 19:50:59.42 68aFda8S.net
もちろん過去の棋士と比べるのが本当の目的でしょ。
最初からそれを全面に出すと荒れるから、まず今現在の棋士でやって一致率にはレートや成績と強い相関があるってことの立証、合意を目指す寸法よ
53:名無し名人
19/08/26 20:03:13.18 Z/CwP5eI.net
>>50
それはその通りだと思う
まずは現在の棋士で「成績から算出された実際のレート≒一致率から算出された換算レート」であることを証明してから過去の棋士について「一致率から算出された換算レート」を計算すれば過去の棋士との比較も可能になる
「成績から算出された実際のレート≒一致率から算出された換算レート」を証明しないで過去の棋士について解析しても「手法がおかしいのではないか？」という疑問がいつまでも残ることになるからね
個人的には換算レートの有効性はもう十分証明されたのでここから過去の棋士の算出に尽力して欲しいけど
54:名無し名人
19/08/26 20:03:35.28 9wpUboZe.net
>>47
で、問題は一致率を反映させる事で推定レートの確度が増しているのかあるいは余分なノイズとなって逆に確度を下げているのか
簡易レーティングと一致率推定レーティングで結果に大きく乖離が出ている以下の7名
それについて乖離が出ている原因と評価をしてみた
55:名無し名人
19/08/26 20:11:59.26 9wpUboZe.net
木村(簡易推測5位・一致率推測11位・実測7位) 一致率反映評価△
簡易推測が高い原因は言うまでもなく王位戦挑戦・竜王戦挑決進出とここ1年絶好調である事
ただ以前の成績を踏まえるとここまで地力が強いかと言われたら疑問符
とは言え一致率推測がここまで低い原因は不明
三浦(同7位・12位・17位) 評価〇
いずれも実測レートよりも非常に順位が高くなっている
原因は不明だが過去の実績や現在の成績を見てもここまで順位が高いとは思えないため一致率反映レートの方がまだマシ
藤井(同9位・5位・3位) 評価△
これはアンチとファンで評価が分かれそうな所ｗ
それはさておき乖離が大きくなった原因は恐らく藤井の格下相手の異常な強さと上位陣に対してはそこまで強くないというギャップ
このギャップがあまりに大きすぎる為現在の実測レートが妥当かどうか不明
広瀬(同13位・6位・6位) 評価△
一見一致率が正しく補正しているように見えるが、年間平均レートが高いのはその前の年が絶好調だった為スタートレートが高くなっているため
スタートレートが適正であれば今年もう少し勝てている確率が高く平均レートを1年でなくもっと長期の3年等にすればここまで実測レート順位は高くない
佐藤天(15位・23位・13位) 評価△
これは微妙
一見一致率修正が余分なノイズに見えるが近年の天彦の調子の波が大きすぎて実力の評価が極めて困難
とは言えさすがに23位(順位的にＢ1～Ｂ2くらい)まで低い評価ではない気が
高見(同17位・8位・22位) 評価×
タイトルを獲ったとはいえいくらなんでもさすがに8位は評価しすぎ
増田(同24位・17位・19位) 評価〇
推定レートが低すぎる気が
最近レート下位者相手に一手ばったり的に負けたのが何回かあったような気がするのでそのせい？
56:名無し名人
19/08/26 20:18:59.44 9wpUboZe.net
>>55
おまけ
本田
このサイトでイチオシしていた本田を上記24人の中に入れると22位相当(一致率推定9位・実測50位)
かなり強いのは間違いなさそうだけどさすがに今現在でＡ級相当の実力を持ってる人はいないでしょ
上記の通り一致率による推定効果はおまけを除く24名中〇2名・△3名・×1名と効果があるのか逆にノイズになってるのか不明
少なくともレートを推定するのに多大な手間暇をかけて一致率を使う意味はなく簡易算定で十分かと
画期的な推定方法になるかと思って期待してたけどちょっと残念
57:名無し名人
19/08/26 20:25:26.28 9wpUboZe.net
>>51
その算出式を見たら実は勝率と相手レートを基に算出する式にほぼ等しい
それに一致率で若干の補正をかける仕組になってるけどその肝心の補正がプラスになってるか逆にノイズになってるかわからないという事
そもそも>>47を見るとわかるように補正の影響がどれだけあるかも微妙
58:
19/08/26 20:41:32.71 8aPxV4nW.net
>>46
＞一致率×1743+相手一致率×2812-1585
実際の換算レート式(暫定)は
一致率×1743+相手一致率×2812-1585+24
としてある
24を加えてあるが、これには、換算レートを、時代性の制約があるレートでなく時代を飛び越えて通用するレートにしたいという目的がある
どういうことかというと、年間記録で過去最高の水準が、相手一致率が74%のときに一致率85%(換算レート1976)だったので、24を加えて過去プロ棋士の換算レートの最高値が2000となるようにしたということ
つまり、今後、換算レートが2000を超える棋士が現れたら史上最高棋士といってよいことになる
また、現在の換算レートと2000とのレート差がこれまでの史上最高棋士とのレート差ということになる
前スレでは、この史上最高棋士を大山康晴としているが、別に大山が史上最高でなくともかまわない
換算レート2000が64年五冠王のときの大山だということだね
59:
19/08/26 21:01:48.98 8aPxV4nW.net
>>57
勝率と相手レートから算出する式にほぼ等しいということはないでしょ
一致率と相手一致率から得られる重回帰式は、何通りも試してきているわけだよ
そのなかには、一致率と相手一致率の係数の比率がほぼ1:1から1:2まで限りなくある
どの重回帰式を選ぶかで、例えば、本田四段の評価を下げることもできれば上げることもできる
そういうわけで暫定式なわけだし検証を続ける意味がある
最終的には、歴代棋士に適用するためには上位棋士によく合致する換算式を採用するのがよいと考えているけどね
まだ、それをやるにはデータ不足かも知れないので、棋士のレートを問わずデータ数が多い一致率から算出した換算レートを適用しているだけのことだよ
60:名無し名人
19/08/26 21:11:26.95 E3xi6jYC.net
>>49
ご本人？
そうでなければ何故その自信が？
61:名無し名人
19/08/26 21:42:27.09 4k0cvXak.net
>>1
重回帰したならモデルを示せよ
回帰係数の有意性はどうなってんだよ
大事な情報隠すんじゃねえよ
62:
19/08/26 21:54:30.00 8aPxV4nW.net
>>57
根本的に誤解があるのは、勝率と相手レートを基に算出する式{の結果}にほぼ等しいというのは、換算レートの欠陥でなく長所だということ
あなたはそこがわかっていない
要はEloレートとあまり変わらないと認めている、まさにその点が換算レートの意義なんだよ
で、Eloレートとあまり変わらないのは下手な検証をしてもらうまでもなく、Eloレートとの相関係数が高いことで証明済みなんだ
しかも、この換算レートを算出した換算式はこの上位24棋士にもっとも適合する換算式を回帰分析して得たものではない
データ数16局以上の棋士の回帰分析から得られた換算式で換算レートを求めたものだ
いわば、汎用性の高い換算式を流用している
それでもEloレートとの高い相関が得られていることに意味があるのだ
63:
19/08/26 21:59:18.27 8aPxV4nW.net
>>61
有意性は>>5に出ている
F値もP値も0の水準
モデルは今から前スレから拾ってくる
64:
19/08/26 22:07:38.19 8aPxV4nW.net
回帰分析のモデル
URLﾘﾝｸ(i.imgur.com)
換算レートは回帰分析で得られた式の通りで計算したものになっている
つまり、24が加えられていないのと1ヶ月前のデータなので>>1の換算レートと数値が違っている
65:名無し名人
19/08/26 23:44:02.61 9OwyZWWh.net
自分の中では理論も議論も完成していて、すべての質問に対して「お前はバカ、俺が正しい、そんなのは誤差」
と答えるだけなんだから掲示板の体をやめて個人で論文でも書いて公開したらええやん
皮肉だけじゃなくて、その方がいろんな人に見てもらえるからいいと思う
それとも5chの将棋板でみんなに納得してもらったという看板が必要なのか…？
そんなもんクソの役にも立たんのはわかってるだろ
66:名無し名人
19/08/26 23:48:52.13 bO/JPLmt.net
そういうふうに見えてるって相当ひねてるな、まあどうやらここで垂れ流してるだけ以上に本格的に考えてる感があるのは同意だが
67:
19/08/27 00:22:09.53 Jzuv0Y1o.net
Eloレートと換算レートの算出の仕組は極めて似ている
Eloレートの算出に必要なのは棋士のEloレートと相手棋士のEloレートだ
換算レートの算出に必要なのは棋士の一致率と相手棋士の一致率だ
Eloレートならより強い相手に勝つほど多くポイントが得られ、より弱い相手に負けるほど多くポイントを失う
換算レートの仕組はEloレートと違って勝敗の内容にもジャッジメントしている
例えば、>>6に上げた三浦九段の場合で説明しよう
これまでの一致率が74%の三浦が一致率74%で勝っても三浦の一致率は変わらない
三浦のこれまでの相手一致率が75%だから今回対局相手の棋士の一致率も75%なら相手一致率も変わらないので換算レートも変わらないことになる
つまり、勝っても換算レートは動かないことになる
実際には勝つときは自分の平均一致率より高い一致率になるのが普通だ
仮に一致率85%で勝ったなら(74%*12+85%)/13=74.8%
一致率を0.8%上げることになる
1%=17の計算ならおよそレートを14上げることになる
では、負けるとどうなるか
一致率59 %で負けたとする
すると一致率は
(74%*12+59%)/13=72.8%
およそ1.2%下がるので、換算レートは20下がってしまう
今日の三浦九段がまさにそうだった
Eloレートは6下がっただけだが、換算レートを21下げたのだ
このように一致率は勝ったときと負けたときで大きく違うことがある
いわば、勝敗の内容が換算レートの増減を決めている
これに対して相手一致率は1局の一致率とは異なるため、大きな違いにはならないことが多い
これまでの相手より一致率が3%も高い相手でも三浦の例なら
(75%*12+78%)/13=75.2%
だから0.2%だ
これまでのデータが積み重ねられるほど影響は減少することになる
68:名無し名人
19/08/27 00:24:22.12 7ABhYa6/.net
で結局肝心の過去の棋士については棋譜が足りないのであんまんからないけどなんとなく現在の棋士より強い気がする
するったらするだからな
意味が無い
69:名無し名人
19/08/27 00:31:55.41 JbDhGb89.net
ちなみに持ち時間の違いはどう考えてるの？
70:名無し名人
19/08/27 01:15:21.67 KcGblsp/.net
>>62
勝率のみで考える式に近いというのは長所でも短所でもなく単なる事実
式を変型すると自分の一致率を基に変数を求める部分は
(0.65+勝率×0.18)×1743×{実測一致率/（勝率×0.84)+(敗率×0.65)}となる
つまりあなたが意図してようが意図していまいが勝率でまず変数を出して実測一致率で補正するという形になってる
で、「実測一致率/（勝率×0.84)+(敗率×0.65)」でどれくらい補正がかかるかというと一致率が変わるとレートが17.4変わる
24人の内2％(レートにして35)以上補正されているのが6人、3％以上補正したのがその内3人
レートにして藤井61、佐藤天-77、山崎-87
一致率による補正影響はこの程度で、かつ>>55で見たように補正により精度が上がっているかどうかも微妙
71:
19/08/27 09:46:29.82 Jzuv0Y1o.net
>>70
この研究のテーマは、入手できた棋譜を解析して得た一致率のみを変数にして棋士の棋力を測定することが可能かということ
したがって、対局があった全棋譜を解析できた棋士以外は、データ上の棋士の勝率と実勝率は異なっている
以前は実勝率で補正することも試みたが、相手一致率を併用するとなると、データ上の一致率を相手一致率で補正するわけだから勝率による補正を行う必要がない
というより、勝率で補正してはならない
というわけで、得られた棋譜だけで換算レートを算出するという大胆な研究になった
相手一致率も実勝率で補正した一致率でないわけだから、算出した一致率を補正されていない相手一致率で補正するということをやっているわけだ
当然誤差が生じるが大丈夫なのか
案ずるよりは産むが早しで、データが積み重なるほどEloレートとの近似性が向上していくことが確認されてきた
個々の棋士のレートが妥当なのかは今は検討する段階(レベル)ではない
まだ様子を見ているだけだ
換算式自体が暫定であり、解析対象を変えるだけで回帰分析の結果も変わる
今は、7月時点でデータ局数が16以上あった棋士の回帰分析から得られた換算式で換算レートを出しているだけ
したがって、勝率で式を置き換えるのはまったくナンセンスだ
最初の問題意識を思い出してほしい
一致率で史上最強棋士はわかるか？ということから出発したのだ
現在のEloレート2強は一致率から算出した換算レートでも2強と認識された
これだけでも素晴らしい成果なのだ
順位だけではない、レート差も含めて換算レートがEloレート上位棋士とどこまで近似するかがこれからの勝負だ
72:
19/08/27 09:56:21.85 Jzuv0Y1o.net
一致率が高い棋士が史上最強という命題を検証するためには、明らかに弱いと断定できる棋士の中に一致率が同等以上に高い棋士がいないことを確かめなければならない
その目的もあって、全棋士の一致率を解析している
73:名無し名人
19/08/27 10:01:07.26 8ov9WPtg.net
将棋ソフトは年々強くなってんだから一致率高い棋士が最強って前提がまずおかしいだろ
74:名無し名人
19/08/27 10:44:39.69 xcsSd39h.net
使用するソフトの前提条件は？
ハム将棋じゃ、どうやっても相関は得られそうにない？
実は強くもないソフトの真似をしてるだけという可能性は如何にして排除すんの？
75:名無し名人
19/08/27 10:46:36.28 xcsSd39h.net
ソフトの棋譜を分析した場合に、勝率互角の２系統のソフトについて
自分と同系統のソフトを異常なまでに高く評価するんじゃないの？
76:
19/08/27 11:04:10.32 Jzuv0Y1o.net
>>50
一致率が強さの指標に有効かは、まず、現棋士のランキング(Eloレーティング)が一致率でも近似できることを証明しなければならない
山下氏はこうしたことをやっていないし、平均悪手が少ない順に並べてもEloレーティングのようには並ばない
というわけで、前スレに書いた通りｽﾚﾘﾝｸ(bgame板:617番)
なお、前スレは1000まで書き込まずに放置しておけば暫く閲覧可能なはず
77:
19/08/27 11:24:03.79 Jzuv0Y1o.net
>>75
どのソフトでもかまわないが、そのソフトで解析した現棋士の一致率で現棋士のEloレーティングを近似できることが証明されれば、過去の棋士も近似できるということになるはず
あくまでも、そのソフト限定での話なので、そのソフトのクセは問題にならない
近似力が高いソフトほど良いソフトという違いがあるだけだね
78:名無し名人
19/08/27 11:53:38.04 X4FAyrfF.net
illqha4が出ててめちゃくちゃ強いらしいけど解析は今後もillqha3なんですか？
79:
19/08/27 12:03:21.75 Jzuv0Y1o.net
>>78
途中で変えるわけにはいかないので、全部やり直しするのが大変なんだよな
illqha3での結果が納得できなければ変えていただろうけど、たしか、illqha4はレートで50ほどしか違わないよね
つまり、プロ棋士とのレベル差で見るとほとんど無視できる差なんじゃないかな
追検証したい人は最新のソフトを使うのもありだし、より深い探索で解析するのもありだね
その結果、現役棋士最強は渡辺でも豊島でもなかったということになったらそのソフトは捨てたほうがいいね
80:
19/08/27 12:10:47.48 Jzuv0Y1o.net
Eloレーティングに対する私見
現棋士に関してはEloレーティングがあるからそれで十分で、Eloレーティングがあるからこそ他の指標の検証もできる
しかし、Eloレートは過去との連続性に難点があると言われている
とくにインフレが問題らしい
棋士の数が増えるのもインフレの要因になるが、数が同数でも増えるほうは1500点、減るほうは成績低下や高齢での引退なので1300点、1200点と点数を減らしてやめていく
これがインフレの元になっている
最近は勝率すらインフレを起こしていると言われている(特に下位クラスの実力のバラツキが甚だしい)
つまり、相手の絶対レベルが違うとしたら、基準となる1500点の質が時代によって違う可能性が高い
というわけでEloレートの代用になる指標があればいいのにということになった
81:
19/08/27 12:12:14.84 Jzuv0Y1o.net
一致率を調べる意義
もし、一致率が棋力判定に使えるなら利点が多い
(1)一致率なら最強時代が異なる棋士でも比較できる
(2)新人棋士のレーティングが信頼できるものになるには100局必要とされるが、一致率ならその半分以下で十分だ★
(3)レーティングでは、研究が嵌まってたまたま一時的に高くなっているのか、地力の違いで高くなっているのかが分からない
(4)一致率なら、研究から離れた局面でどれだけ最善手を指せるか、疑問手や悪手率が少ないかの指標となるので、棋士の地力が評価できる
(5)一致率なら、先後や手数の違い、勝局時、敗局時の一致率など細かい分析ができる
(6)レーティングより少ない局数で評価できるから、線型や持ち時間の長さなどで分類して分析することも可能だ
★前半40手除外しても平均1局110手だから70手ある
レーティングは勝ちか負けかの1対のデータなのに対して、一致率の場合は一致したか一致しなかったかで1局1棋士に35個のデータがある
すなわち、データ数が圧倒的に多い
82:名無し名人
19/08/27 14:43:52.02 GTrCiXsb.net
持ち時間のばらつきをどう補正しているかを知りたい
レートなら勝ち負けしかないからサンプル数重視で無視するという考え方もわかるけど、
一致率は持ち時間が長いほど有利なわけだからなにがしかの補正をしてるんだよね。
64年の大山は防衛戦と王座戦、NHK杯しかなくて当時は二日制は10時間だったから
対局の半分は10時間の将棋だったんじゃないの
83:名無し名人
19/08/27 15:09:20.30 KcGblsp/.net
>>81
一致率の最大の欠点は対戦相手の強さによって大きく変わって来てしまう事
なので時代が違うと対戦相手の平均レベルがわからないので比較ができない
Eloレーティングは初期値を1500等で仮置きすると適正なレートに落ち着くまで時間がかかるが、WHRを使えばその問題は解消される
単純に>>46の式を使っても凡その強さはわかる
一致率を調べるまでもなく圧倒的に簡単に算定できる上に精度もどちらが上かわからない
84:名無し名人
19/08/27 15:13:04.28 XkW0xNQj.net
>>81
あ、持ち時間で分類もできるとしているのか。
でも昔は10時間とか7時間が多いから面倒だな
85:名無し名人
19/08/27 15:26:53.25 KcGblsp/.net
>>80
レーティングは時代が異なると完全には同一視できなくなる可能性という問題点があるが、実際にどこまでズレるかはわからない
山下論文のP11の図3、図4を見ると一見インフレしているように見えるが谷川・加藤の推移を見るとそんな事はなく実際に上位棋士のレベルが上昇した可能性が高そう
(仮に200近くインフレしていたら現在の谷川が昔の新人で全く伸びなかったプロレベル、引退前の加藤は街のアマチュアレベルという事になってしまう)
file:///C:/Users/%E6%B5%85%E4%BA%95/Downloads/IPSJ-GPWS2014002%20(2).pdf
なおレーティングがインフレになるというのは誤った俗説で、新規にプロ入りするレベルははどうか、全体の人数の増減はどうかによってインフレになる場合もデフレになる場合もある
実際に自分でモデルを作って検証すればわかる
また戦術の進化等による全体のレベル向上があればそもそもインフレしているのが正しい
86:名無し名人
19/08/27 15:54:53.04 KcGblsp/.net
>>76
平均悪手が少ない順に並べてもレーティングのように並ばないというのはどこにある情報？
あと「平均悪手」という単語は「平均悪手率」なのか山下論文で使っている「平均悪手点」の意味なのかどちら？
「平均悪手点」の意味であれば山下論文の図11で少なくともレート2700～2800程度までは相関してる事を示している
レートがそれ以上の場合の「並ぶか」という厳密な検証はなされていないが、少なくとも表20を見ると「並ばない」結果にはなっていない
87:名無し名人
19/08/27 15:56:56.15 w6T9Ob4v.net
>>85
将棋の場合はインフレするよ
新四段の若手は大抵平均レベルよりも強く引退してくベテランは平均レベルよりも弱いから
88:名無し名人
19/08/27 16:13:03.35 KcGblsp/.net
>>87
仮にレーティング1800の実力を持つ者がプロ入りして来た場合1500→1800になる為には差額の300点を全体から奪い取る事になるのでデフレになる
新人プロの実力は平均すると1500より上なのでこれがデフレ要因
最終的に彼らが平均して1500以下の実力になって棋士総人数が不変ならばデフレ要因はなくなりインフレ要因だけが残るが、実際には人数は増え続けているのでデフレ要因とインフレ要因のどちらが上回っているかわからない
これ以上はスレチになるのでレーティングスレがあればそちらに行くよ
89:
19/08/27 16:27:18.70 Jzuv0Y1o.net
>>82
現棋士に関しては勝率での補正も持ち時間での補正もやってない
持ち時間で３区分した一致率は出せる
①1時間以下
②3時間以上6時間以下
③8時間以上
の３つに分けることができる
64年大山の棋譜はNHK杯以外はすべて7時間以上の対局だった
>>31に記したように3時間以上棋戦とNHK杯では一致率に差が生じている
しかし、二日制対局と3時間以上の棋戦の比較では一致率の違いが持ち時間の差違によるものなのか対局者の平均レートの違いによるものかはわからないようだ
そこで、二日制タイトル戦登場者に限定して②と③にわけて表を作成してみた
③のほうは勝率5割になるが、②のほうは勝率0.638なので③のほうが平均で一致率が2%少ないという数値になっているが、これはやむを得ない
しかし、勝局の一致率はほとんど変わらず、敗局の一致率はむしろ②のほうが高い(1.3%)
というわけで、まだ、二日制のデータが24局しかないため結論的なことは無理なんだが、二日制のほうが一致率が高くなるという傍証は見つかっていない
②
URLﾘﾝｸ(i.imgur.com)
③
URLﾘﾝｸ(i.imgur.com)
90:
19/08/27 17:21:24.25 Jzuv0Y1o.net
>>86
平均悪手(点)を採用しての話をしている
山下氏の平均悪手(点)は検証できない
しかし、山下氏は現棋士の平均悪手を調べてEloレートとの相関を調べたわけではない
将棋クラブ24の棋譜の平均悪手とEloレートが相関したと言っているだけ
プロ棋士のレベルで平均悪手の相違が棋力にどう関連するかはまったく検証されていない
例えば、後半10手を除外しているが、プロ棋士の勝ち負けは最後の10手の良し悪しで決まることもある
大悪手なのか、形作りの手なのか、あるいは勝負手なのかの区別が付けられないという理由で評価値が10以上マイナスになる手を平均悪手の計算から除外しているが、これも疑問符がつく
また、当時のソフトは一致率が50～60%台で当てにならなかった
一致率が当てにならないようでは平均悪手も当てにならないはずだ
それを、最後の10手は除外するとか、数値が大きいマイナス点は形作りや勝負手の場合もあるから除外するとか工作しても終盤力の差で勝敗が分かれるプロ棋士のレートを出すのは無理でしょ
そもそも平均悪手は評価値の大小も増減もソフトによって、解析の深さによって全然違ってくる
一致率の誤差どころではない
一次関数に平均悪手を代入するだけでプロ棋士のレートがわかるなどということは絶対にない
91:
19/08/27 18:03:22.57 Jzuv0Y1o.net
>>86
平均悪手を小さい順から並べてもEloレートの順のようにはならないというのは自分で解析してみての実感なんだな
俺は平均悪手でプロ棋士の棋力の推定が本当に可能なのか2017年から解析して2018年8月で打ち切った
徒労に終わったのは惨憺とした結果しか得られなかったからだ
画像の表で説明する
このM値が平均悪手だが、算術平均でなく中央値を採用している
前半40手は除外したが後半10手は除外していない
そのため、算術平均だと頓死などの棋譜が1局あるだけでその棋士の平均悪手のケタが違ってしまうため意味をなさない
しかし、そうした棋譜を免除して平均悪手を採用することには疑問があった
そこで、中央値を採用するのがベターという結論になった
で、この表は2018年1月から8月までを集計したものだ
データ局数にバラツキがあるのは全棋士対象でなくレート上位60位ぐらいの棋士までの棋譜の解析に限定していたためだ
何なら、2017年のデータとか通算のデータとかを出してもよいが、これだけで、平均悪手のダメさ加減は納得していただけるはず
URLﾘﾝｸ(i.imgur.com)
URLﾘﾝｸ(i.imgur.com)
92:
19/08/27 18:27:07.23 Jzuv0Y1o.net
>>88
インフレになるかデフレになるかわからないというのは、その通りで、それが1500点の質の違いなので、時代が違うと比較は難しいという結論になる
そのいい例が大山五冠の頃のレートだろう
1964年度に1934点のレートを記録しているが、この当時の棋士のレートは10年前に64名いた棋士全員を1500点にしてスタートしている
つまり、大山名人から升田らのA級棋士も1500点だったわけで、しかも毎年度対局数が40局程度しかない時代だった
当然デフレが生じていたはずだ
また、棋士のレベルも現在の新四段のレベルは高いが、それはプロ棋士全体の100番目以下のプロ棋士集団と比較しての話だ
大山時代は日本で60番目に強いくらいでないとプロ棋士になれなかったわけだから単純な比較は不可能だろう
93:名無し名人
19/08/28 01:10:58.06 s67rdTyy.net
>>91
「中央値」って何？
そもそも一定以上に評価が下がる手を入れると評価がおかしくなるから除外してるよね
同じ手法を取ってうまくいかないから「中央値」を採用してみたというのならわかる
それをうまくいくかどうか全くわからない「中央値」を採用してうまくいかなかったからといって、なんでそれがそもそもやり方が違う山下論文方式の「平均悪手(点)」を否定する事になるの？
山下論文方式はソフトが今より弱かった時期でさえ少なくともレート2800点までの相関は調べており、ひふみんのデータを見る限りではそれ以上のレートでも機能していても全くおかしくない
それをソフトも強くなってるのに試しもせずに否定する根拠は全くない
94:
19/08/28 06:48:05.99 BvtGCFO3.net
>>93
除外していないよ
某棋士の解析が5棋譜あって平均悪手が小さい順にこうなったとする
20 30 50 60 200
平均値は360/5=72
中央値は50
さきのデータでいうと50なら26番目だが、72なら56番目だ
順位が30も違う
平均悪手が200の棋譜は大悪手で負けた棋譜だ
想像つくと思うが、中央値でなく平均値を採用すると中央値を採用する以上に強さのランキングとは言えないものになる
では、山下式平均悪手の算出はどうなのか
平均悪手200になった棋譜が30手の平均なら悪手合計は6000だ
この中に1手1000の悪手が5手含まれていても計算から除外するというのが山下方式となる
すると悪手合計は1000になる
これを 30-5=25 で平均するから平均悪手は40になるわけだ
先の5個の平均悪手のうち200を40に変えて平均値をだすと平均値は200/5=40になる
つまり、先の5個の中央値だった50のほうに近づくわけだ
したがって、単純平均を採用するより中央値を採用したほうが山下式平均悪手に近いのだ
そして、大悪手を除外する山下式でプロ棋士の棋力がわかるとは到底思えないのもこのためだ
なお、1棋譜の平均悪手200点がレアな例でないことは先のデータ>>91を見ればわかる
この中で最大の平均悪手は627点だ
たった1局の過ちのせいで、このあと100局のデータを採ってもこの局がない場合と比較して順位で6以上違ってしまうのだ
平均値を採用するより中央値を採用したほうに合理性があるのはそうした理由からだ
百聞は一見に如かずなわけだから、今日のうちに平均値が小さい順に並べた棋士のデータも貼ってお見せすることはする
しかし、>>91のデータだけで納得できない人がいたとは意外だったよ
95:名無し名人
19/08/28 07:52:17.87 DG+DQT+D.net
>>77
> Eloレーティングを近似できることが証明されれば
「証明」は実は不可能で、「ある程度までに精度を高めることができれば」というのが限界では？
> 過去の棋士も近似できる
「レーティング近似値として十分に役に立つレベルの値が得られる」という意味になりそうな気がするが
しかし過去の棋士のレーティングがそもそも何の役に立つか？という気がしてならない…
96:
19/08/28 07:57:59.49 BvtGCFO3.net
>>95
>>93と同じ人？
だったら、>>94で納得できたか返事してくれないかな
違ってたらごめんよ
あと、この自問自答には何と返せばいいの？
97:名無し名人
19/08/28 08:10:05.28 DG+DQT+D.net
たとえば、上位グループとほとんど没交渉な下位グループというのを考えてみると良い
果たして上位グループから得られた知見をもってして
下位グループのレーティングを高精度に近似できるか？
それなりの労力で実際に確認できるはずなのでやってみるのも一考
だがしかし、仮にそれが上手く行った場合でさえも、言えることは
「既知のグループメンバーと特異的に変わらない指し手の新規メンバーについては
高精度な近似ができる」というのが限界のはず
何故なら、極端な例を持ち出すと、途中までは全ての指し手をソフトを使用して選ぶが
最後の１手で必ず大悪手を指して負けるといったような者がいた場合
その者のレーティングを正しく近似することは、ほぼ間違いなく上手く行かないはずであり
なおかつ、未知のグループに関しては
そのような極端なデータの偏りが絶対にないとは言い切れないからである
98:
19/08/28 08:48:50.65 BvtGCFO3.net
>>97
全棋士の一致率を調べているのは
>>72に書いたようにまさにそれが理由だよ
常に途中まで完璧に指すことができているのに一手ばったりの悪手が多くて勝率5割しかない棋士がいたら、彼の一致率は勝局も敗局も85%となり全局平均の一致率85%、あるいは勝局はもっとよければ全局平均86%もありうる
したがって一致率が高い棋士が史上最強ではないことになる
実際は仮定と現実は違って、そうした実例は確認されていないばかりか、レート下位棋士のデータ群ほど一致率が低いことが確認されている
それはそれとして、何でコジツケのような疑問しか提示されないのか、なぜ一致率と棋力の相関の高さに否定的になろうとするのか解せないな
99:
19/08/28 11:16:39.59 BvtGCFO3.net
レート区分及びクラス区分の最新集計表を作ってみた
100区分のレートにすると、Eloレートと換算レートばかりでなく、Eloレートと一致率単独の相関係数も驚異の0.99となった
一致率と棋力が比例関係にあるばかりでなく、データ数を増やしていけば一致率だけでも有力であることを示している
下表のクラス別の集計表を見るとC2が特徴的で、換算レートでも一致率でもC2はB2と同等のようだ
これは、今のC2にB2棋士と同等以上の棋力がある棋士が多いと解釈できる
２期前まではC1がそんなクラスだった
いずれにしても、B2以下の棋士は玉石混交でほとんど差がないことがこの表からわかる
そして、B1以上の棋士との間には実力の壁があることも明らかだ
将棋ファンならこうした資料は大歓迎なはずなんだが、なぜかケチつけようとするレスが必ずある
そういう人は、どういう利害で発言しているのかも表明してほしいね
URLﾘﾝｸ(i.imgur.com)
100:名無し名人
19/08/28 11:37:19.93 5wNc5iok.net
>>89
「３つに分けることができる」が不可解というか、そらわけることはできるだろうけど根拠がないなあ
データを沢山積み上げて、本当に3時間と6時間には微少な差しかないんだと立証できれば凄いことだと思うけど
101:名無し名人
19/08/28 12:39:01.63 TueVNZ3b.net
>>100
3つに分けたデータを出すことができる（作成済みだから）って意味じゃないの？
102:
19/08/28 13:10:54.44 BvtGCFO3.net
>>100
棋戦データに標識をつけて三区分でデータベース化しているということ
だから三区分でのデータは簡単に取り出せるという意味だよ
区分の仕方が問題だと思うならどういう区分がよいのか意見してみよう
それと、個々の棋士を分析するときに細分化したデータは役に立たないと思ったほうがいい
現状では、1時間以下の早指しと3時間以上の棋戦の二つぐらいで十分だろう
全棋士レベルでの分析ならNHK杯だけとか、朝日杯だけとか、その両方とか、種々の分析はいつでもできるよ
103:
19/08/28 13:24:20.20 BvtGCFO3.net
王将戦は予選が3時間でリーグ戦が4時間だが、残念ながらデータベース上で区別していない
3時間で取り出せるのは新人王戦と叡王戦本戦だけになる
棋王戦は4時間の棋戦のデータとして使える
王座戦と竜王戦は5時間棋戦、順位戦は6時間棋戦のデータとして使える
どれだけのデータ数が集計できるかわからないが、今日は1日暇なのでやってみよう
104:
19/08/28 14:44:54.85 BvtGCFO3.net
>>100
棋戦別の一致率を出してみた
棋戦ごとにレート平均が異なるので比較は難しいが、持ち時間が長くなると一致率が高くなる傾向は出ていない
レート平均があまり違わない新人王戦、棋王戦、竜王戦で見ても違いは見てとれない
二日制の対局の一致率が高いのは
>>89で比較したように棋士の棋力が高いのが理由で、この5棋士は一日制の対局でも似たような数値だった
以上のように3時間と6時間といった持ち時間の違いで一致率が異なるという傾向は見られなかった
「微妙な差しかないのを立証する」のが統計学でなく、
有意差がなければ、両者に違いはないと見なすのが統計を扱う基本だ
そうした基本に戻って意見してくれ
なお、>>31でレスしたように3時間以上の棋戦とNHK杯の一致率には有意な違いがある
URLﾘﾝｸ(i.imgur.com)
105:
19/08/28 20:31:28.61 BvtGCFO3.net
NHK杯と朝日杯を追加
URLﾘﾝｸ(i.imgur.com)
106:
19/08/28 21:45:17.08 BvtGCFO3.net
>>93
>>94で約束したように平均悪手を平均値の小さい棋士の順に並べた表を作ってみた
前回同様2018年1月～8月までの集計だ
平均値が高い2枚目を見るといい
羽生28局の平均が74.8(中央値44.4)だ
豊島39局83.8(56.0)
深浦18局91.8(75.2)
久保18局96.8(60.1)
近藤14局97.7(37.5)
増田18局103.4(63.6)
斎藤12局104.7(46.2)
このようになっている
平均悪手で棋力の推定は無理だ
URLﾘﾝｸ(i.imgur.com)
URLﾘﾝｸ(i.imgur.com)
107:
19/08/28 22:01:42.77 BvtGCFO3.net
局数が抜けていた
URLﾘﾝｸ(i.imgur.com)
URLﾘﾝｸ(i.imgur.com)
108:名無し名人
19/08/29 01:39:22.58 v1Fmy0BZ.net
>>94
山下論文方式も「中央値」もどちらも一長一短
なのでどちらの判別力が優れているかをデータなしに机上で力説しても全く無意味
山下論文方式は一定の判別力ありとなっているので仮に中央値方式がダメであれば山下論文方式を試せばいいだけ
実際に2つのデータを並べて判別力を比較分析すればわかる話
あと>>106でなんで「無理」という結論付けているのか全くわからない
中央値方式は判別力が低い可能性はあるが、あまりにも対局サンプルが少なすぎる棋士が大半
対局数が少ないためまだ敗戦データがほとんど含まれていない棋士があれば当然上位になってしまうことが予想される
恐らく一致率データもこれくらいの局数で対戦相手を勘案せずに個々人レベルで見るとこんな感じでは？
109:名無し名人
19/08/29 03:27:14.55 h22jIbzZ.net
彼が欲しているのは承認だけだからな
110:名無し名人
19/08/29 06:31:50.64 GpiqX+vu.net
>>98
> 一致率と棋力の相関の高さ
このような統計的（帰納的）手法の場合だと、得られた数字は
何らかの特定の目的に使用する分には十分に高いという言い方になるはずでは？
今のままでは「５ちゃんで匿名で承認欲求を満たす分には十分に高い…っぽい（…はず）」ぐらいにしかならないと思うのだが
111:
19/08/29 06:58:22.09 hnAsKu/o.net
>>108
実際に平均悪手というものがどういう数値でどういう挙動をするものか棋譜解析をしてみるとすぐに分かることだよ
こんな荒い数値で、Eloレートのように5点違うだけで順位が変わるプロ棋士の棋力をランキングできないんだよ
歴代棋士ならそんなもんかと思わせることができても、実際に現棋士に応用して平均悪手を試してみると一目瞭然になる
データ数が少ないからと逃げても誰も説得できない
あとで、2017年1月からの平均悪手の通算での順位と、データ数が多い羽生と藤井聡太の例をお見せするよ
二日制対局では羽生より渡辺が強かったのに、山下式平均悪手レートでは羽生のほうが267も強かったことになっている
これは勝率で82.3%が期待できる差だ
この一点だけでも平均悪手レートが使える代物でないことを指摘できる
更に、ロジックでも実験でも否定されたわけだから完全論破したことになる
反論したいなら、俺が現棋士の一致率をEloレートと比較して検証しているように、山下式平均悪手なら現棋士のEloレートと比較しても破綻しないことを示したらどうか
羽生と渡辺でレートが267点も違うような一次方程式で算出して、5点違えば順位が変わってしまうEloレーティングのような結果が出るわけがないのは明らかだろう
112:
19/08/29 07:43:01.63 hnAsKu/o.net
二日制タイトル戦では、渡辺は羽生よりEloレートで少なくとも40強かっただろう
山下レートでは逆に羽生が渡辺より260強かったことになっているので誤差は300ということになる
渡辺と羽生で300もの誤差が起きてしまう計算式で、300点の範囲に1位(渡辺1978)から38位(佐藤和俊1678まで)まで存在するプロ棋士の棋力の測定は無理だ
何度も「無理」を連呼しているが「無理だ」としか言いようがない
113:
19/08/29 08:59:18.30 hnAsKu/o.net
一致率と平均悪手は何が違うのか
一致率88%と85%では倍率で1.03しか違わない
平均悪手は2回試行で20と30といったように1.5倍違う
1局の違いや、勝者と敗者となるともっと違う
一致率は最大でも100%と50%で2倍の範囲内に収まるが、平均悪手は20と60や100というように3倍、5倍が通常で、理論的には0から1000以上まで無限大となる
一致率ならデータ数を増やしていけばEloレーティングのような精度で棋力判定が可能だが、平均悪手ではいくらデータを増やしても期待できない
何より、平均悪手がプロ棋士の棋力と関係しているという理論的な根拠がない
悪手点が大きいか小さいかは正解を外した場合の結果でしかなく、それより何回正解したか(一致率)のほうが棋力に関係していると見るべきだからだ
114:名無し名人
19/08/29 11:51:33.76 e75QoQ83.net
いい加減くだらない数字遊び止めろや
115:名無し名人
19/08/29 12:20:55.36 o+Q4yJmk.net
すごい・・・世の中にはやっぱり頭いい人多いなあ。
本にしてくれれば絶対買う。
別にファンではないのだけど、羽生さんの棋力の衰えも一致率の低下で示されてるのかな？
既出だったら申し訳ないけど。
116:
19/08/29 13:37:51.75 hnAsKu/o.net
率直にいって棋力の衰えは数値にあまり現れていない
羽生さん本人も衰えたとはそんなに感じていないのではないかな
二日制が今一なのは昔からだし、ここ数年の劣勢は羽生神話が崩れたことが大きかったと見ている
つまり、羽生さんでも割とたくさん悪手を指しているというのがソフトでの棋譜解析でわかってきて、羽生さんに心理的に負けなくなってきたのでは
持ち時間5時間以内の棋戦なら、時間が少ないほど優勝したりタイトルを獲得する機会はまだまだあると思う
117:
19/08/29 14:50:39.68 hnAsKu/o.net
>>82
＞64年の大山は対局の半分は10時間の将棋だったんじゃないの
名人戦の解析データでよければ大山と羽生の一致率で比較できるよ
大山は1964-72の9年分、52局35勝17敗(0.673)を解析した
羽生は1994-97の4年分と03年、08年、09年、11年、18年の計9年分、51局31勝20敗(0.608)を解析した
大山は全盛期とそのあとの後退期、陥落した最後の名人戦まで連続した期間を選んで不審に見られる抜け番がないようにした
羽生は24歳から27歳まで連続した名人戦をメインにした
羽生の輝かしい成績は20代に集中していて、30代と40代はすべての面で大山に比較できるものがない
したがって、20代をメインにしたことに異論はないだろう
これに解析が済んでいる03年、08年、09年、11年の名人戦と、大山に合わせて40代最後の名人戦を加えて9年分を用意した
勝率比較では大山に有利に見えるが、大山の名人戦対局の勝率は0.68なのに対して羽生の名人戦対局の勝率は0.55なので、実際は羽生に有利になるように選んだつもりだ
表は各種指標の順位がわかるようになっているが、下欄にトータルの数値を載せている
長時間の棋戦は大山が強く羽生はあまり得意でなかったため、実際はこれ以上に離れていたと考えられるが、一致率で大山と羽生には3%の差が生じていることがわかる
URLﾘﾝｸ(i.imgur.com)
118:
19/08/29 18:13:04.69 hnAsKu/o.net
>>108
モデルを使って説明しよう
一致率同様、平均悪手は計測する度に変わる
ソフトや探索深度の違いや、解析を打ち切る0.1秒の時間差でも数値は同じでない
1局120手のモデル局、40手中36手正解(一致率90%)で、悪手点合計800点、平均悪手20の棋譜がある
このうち正解と判定された1手が悪手(600点)と判定が変わるとどうなるか
一致率は35/40=87%(端数切り捨て)に下がるだけだが、平均悪手は600点/40=15点増えて35となる
一致率なら3ポイント違うだけだが、平均悪手だと15ポイント違うことになる
もし、この悪手が1200点であったなら平均悪手は30点増えて50になるわけで、一致率は1手3ポイントしか変わらないのに平均悪手は1手で30ポイントも変わるわけだ
正解手を指せなかったのは棋力に関係するだろうが、次善手が悪手ならこの悪手が600点であろうが、1200点であろうが結果論だ
棋力に関係しているのは正解できなかったという事実だけなのだ
>>111でお約束した集計表を見るとよい
URLﾘﾝｸ(i.imgur.com)
データが20局以上の棋士だけを分析してある
相関係数は-0.6未満なので平均悪手を棋力判定に採用するのは無理、無理、無理だ
明らかにレート下位の女流棋士なら平均悪手の違いでプロ棋士と峻別できるようだが、それでもレートで500近く差があるプロ棋士と中央値の比較で10ポイントも違わない
これではEloレーティングの代用になりようがないだろう
119:名無し名人
19/08/29 18:44:12.90 b9Z2K+5Q.net
中原誠とか木村義雄の一致率ってどうなの？
強いってよく言われるけど
120:名無し名人
19/08/29 20:53:09.74 tUXiy2U9.net
>>117
羽生は1994-97の4年分と03年、08年、09年、11年、18年の計9年分、51局31勝20敗(0.608)を解析した
何でわざわざデータを不連続に取るのか？
普通に考えて御法度だろ
ダメだな
121:
19/08/29 21:15:13.20 hnAsKu/o.net
(1)一致率が平均悪手より強さの指標として優れている
このことは現棋士のEloレートと近似性が高いのは平均悪手でなく一致率であることで説明できるようになった
では、なぜソフトが注目された最初から一致率を重視してこなかったのか
話は昔、Bonanzaで一致率が調べられた時代に遡る
たしか、三浦棋士とか歴代棋士では升田とかが羽生より一致率が高いという結果になった
羽生が一番でないとおかしいし、今の棋士より大山名人や江戸時代の一部の棋士のほうが一致率が高いのもあり得ない
というわけで、それ以上研究が深められずに終わってしまったようなのだ
122:
19/08/29 21:16:56.47 hnAsKu/o.net
(2)一昔前はプロ棋士とソフト(Bnanza)の一致率は50%台だった
ソフトが弱ければ弱いほど最善手の見解は別れるから一致率は高くならない
Bnanzaと90%以上一致することは確率論的に滅多に起こらないわけだ
当時は、ソフトがプロ棋士と同じくらいに強くなれば一致率が80%くらいになり、ソフトがさらに強くなれば一致率は下がっていくのではと予測する者が多かった
そして、人間と似たような感覚で読むソフト(技巧)が出現して前段の予測は現実となった
江戸時代の棋士でも一致率90%以上になる棋譜が確認された
ところが三浦棋士は最善手を指せば技巧との一致率が高くなるのが当たり前なのに疑われてしまった
123:
19/08/29 21:20:06.30 hnAsKu/o.net
(3)もし、千田棋士が技巧の一致率データを正しく理解していたならあんな騒動にはならなかっただろう
当時まだボナンザとの一致率データしか知られていなかったから棋士の頭の中はソフトとの一致率はよくて60%台と理解されていた
実際に調べて見ると、勝局棋譜の技巧との一致率が80%以上になるのは普通のことで、100手以内で終局した一致率は90%以上でも珍しいことではなかった
データがないので誰も知らなかっただけなんだが、負けた相手側の一致率が60%台だったから｢こんなに違うのはおかしい｣とさらに火に油を注ぐことになってしまった
負けた側の一致率が60%台なのも普通のことで驚くことではなかったのだ
これもデータをとって、勝った側と負けた側に分けて分析していれば騒ぎにならずに済んでいたことだった
このあと、一致率を話題にすることすらタブーになってしまい、一致率の研究は数年遅れてしまったと言える
一致率の研究は、ソフトが弱い時代に一度否定され、一致率が高まった時代に、計測するたびに変わるから役に立つものではないと否定された
そして、三浦九段がされたように、心外な印象操作も可能であるがために一致率を調べること自体がタブーとされてしまったのだ
124:
19/08/29 21:21:21.25 hnAsKu/o.net
(4)それが、なぜ見直されているのか？
それは、ソフトの評価関数の信頼度が増したことと、探索深度を固定しての解析が可能になったからだ
中盤以降の手に限定して探索深度を17の精度で固定して解析するなら安定度が高い一致率の測定が可能だということがわかってきたのだ
ソフトは探索深度を17にした場合に17手先で局面評価を打ち切るわけではない
駒が当たっている状態なら当たっている駒がなくなる局面まで進めて評価を下している
とくに王手がかかっている状態なら先の先まで読むから、探索深度17でも30数手先まで読む仕様になっている
このようなわけで、一致率が高い棋士ほどソフトに近い棋力があるとみて間違いない
実際に個々の対局の一致率を比較すると、一致率が高いほうの勝率が93%になっている
技巧で一致率を測定していた頃は一致率が高い棋士のほうの勝率は71%だった
また、｢ソフトがさらに強くなれば一致率は下がっていくのでは｣という予測は当たらなかった
トップ棋士が高い数値を出した一致率は強いソフトにかけても高い一致率のままであることがわかってきたのだ
125:
19/08/29 21:24:06.41 hnAsKu/o.net
(5)一致率は｢羽生さんが一番でない指標は使えない｣ということで、長い間、省みられなかった
Bonanzaと棋士の一致率はせいぜい60%台と言われていたのは、トップ棋士が最善手を指していてもBonanzaが最善手と認識できないことが多かったからだ
中盤以降の一致率は今は評価値付の観戦で誰でも分かるし、何より対局中の棋譜をソフトに検討させながら観戦することもできる
藤井、渡辺の後半一致率が80%を越えているのは今では常識のようなもの
勝局時の一致率なら、85%になるのは珍しいことでもなんでもない
ほとんどの棋士が1局ぐらいは85%を記録している
三浦九段も9勝中4局で一致率が80%を越えている(>>6)
今はソフトが人間より遥かに強くなったので解析の精度が上がり、トップ棋士なら指し手の80%が最善手なのがわかってきたのだ
残りの数手だけが人間にはどうしても指せないような最善手で、それが人間とソフトの大きな差になっている
したがって、一致率を棋力の指標として使わない手はない
一致率が高い棋士ほど悪手を指してしまう確率が下がり、逆に相手の悪手を咎める確率が上がるといってよい
これが一致率を指標に採用する利点だ
悪手は読み抜けがあるから生じる
読み抜けが大事にいたらずに済むか致命的な見落としになってしまうかは運次第といってよい
だから、悪手の数でなく一致率のほうを重視したほうがよい
悪手かどうかの判定すらソフトやマシンの評価値次第で変わることがある
だからこそ、悪手そのものの数より一致率のほうが棋力の指標にふさわしいのだ
実際、Eloレーティングとの高い相関が確認できるようになった
かつて一致率より平均悪手のほうが情報量が多いから優れていると提唱されていた
しかし、不正確な数値は量が多ければゴミの山になるだけだ
これからやってみようという人には一致率のデータを集めるべきことを強く提唱したい
データを持ち寄ることができれば、史上最強棋士論争も客観性がある議論ができるようになるに違いない
126:名無し名人
19/08/30 01:05:37.28 tgmkrBdG.net
ジョイナー三浦を擁護したいから頑張ってたと
127:名無し名人
19/08/30 08:04:14.56 USdSacwd.net
>>125
> 一致率は｢羽生さんが一番でない指標は使えない｣ということで、長い間、省みられなかった
さすがに嘘でしょ？
ちょっと検索してみたけど、それを裏付ける証拠が、なんも出てこないんだけど？
嘘だよね？
128:名無し名人
19/08/30 08:06:37.09 USdSacwd.net
お前、こんなところに長文投稿して、アホな奴を騙くらかすのは別にいいとしても
だからと言って、嘘八百ぶっこいてもいいなんてことにはなりゃしねえからな？
調子コイてんじゃねえぞ？ゴミ
129:
19/08/30 15:27:31.70 DOlcY4Df.net
(6)40局程度の一致率データから算出した換算レートで若い棋士の将来性を占うことができるようになるかもしれない
それも楽しみだが、やはり棋力が比較できるとなると、歴代棋士の一致率にも興味がいく
そして、史上最強論争は避けられないことになる
とくに、これまで、羽生ファンからの反発が大きかった
名人戦の一致率データを調べると全般的に羽生より大山のほうがよいという結果になるが、こうしたデータを開示すれば、当然のようにインチキだといわれてしまう
そして、
「一致率でなく平均悪手で調べるべきだ」
「山下論文では10番指せば羽生が大山に8勝すると結論が出ている」
このような批判が繰り返されてきた
となると、平均悪手や山下論文にも触れざるを得なくなる
結局、歴代棋士で最強なのは羽生であるから、羽生が一番にならない一致率データはおかしい、間違っているという主張なのだ
となると、では、本当に羽生は最強だったと言えるのか、その根拠は何か、ということになろう
下記のスレが16まで続いているのも、羽生ファンが繰り言を続けるばかりで議論にならないからだが、羽生が最強という証拠は実績で否定されてきている
羽生善治は大山康晴を超えることができるのか？ 16
ｽﾚﾘﾝｸ(bgame板)
130:名無し名人
19/08/30 20:22:19.97 et1r1wT6.net
大山の時代のデータまるでないから役に立たねーよ
いい加減にしろクズ
131:
19/08/31 23:10:11.14 oWT9qukC.net
更新中の最新データ開示(8月31日現在)
Eloレート60位以内の棋士を換算レートで並び替えてある
Eloレートより換算レートが目立って高い棋士は上から順に阿部光璢、高見、石井、八代、西尾、今泉、鈴木、高野、梶浦の9棋士
いずれもデータ数が20以下の棋士になった
しかし、別表のレート推移表でEloレート30位の阿部光璢棋士を例にとると、Eloレートも換算レートもアップで推移しているので棋力向上があったとみてとれる
一方で石井棋士の例は、レートは下がっているのに換算レートがアップしているケースになる
これは8月の敗局2局の棋譜解析がなされていないのが要因だ
いずれにしてもデータ不足がイレギュラーの最大の原因と考えられる
なお、注目していた本田四段はEloレート63位なので欄外になったが、換算レートは1825なので糸谷と同格だ
これも、データが18局なのでいずれ訂正されていくと見ている
逆にEloレートより換算レートの順位が目立って低い棋士もいる
佐藤天彦(18局)、阿久津(24局)、山崎(17局)、佐藤和俊(11局)の4棋士だが、これもデータ数が最大の原因であろう
そうしたイレギュラーがあってもEloレート上位60位までの棋士のEloレートと換算レートには高い相関がある
ここまでのデータを詳細に分析すると早指し戦の比率が棋士によって異なっているし、得手不得手もあるに違いない
9月30日には、早指し戦を除外した換算レートや、相居飛車と対抗形に分けた換算レートも出してみるつもりだ
132:
19/08/31 23:13:40.60 oWT9qukC.net
Eloレート上位60位までの換算レート順位(8月31日現在)
URLﾘﾝｸ(i.imgur.com)
URLﾘﾝｸ(i.imgur.com)
133:
19/08/31 23:18:02.52 oWT9qukC.net
8月31日現在Eloレート上位60位までの棋士の換算レート推移
ただし、今回は60位と61位が同レートなので61位までの棋士の推移を開示
URLﾘﾝｸ(i.imgur.com)
URLﾘﾝｸ(i.imgur.com)
134:名無し名人
19/09/02 11:09:00.48 fz77EQWc.net
ソフトのおかげでこういう横槍いれた批評が厚みを増して面白くなってきたね
135:名無し名人
19/09/02 20:24:51.75 Z1Q+vYZa.net
>>127
山下論文で歴代名人の一致率も調べているが羽生が断トツだよ
なので「羽生がトップでないから使ってなかった」というのは明らかな誤り
単純に一致率より平均悪手(点)の方が優秀と判断したから使わなかっただけ
136:名無し名人
19/09/02 21:18:47.56 Z1Q+vYZa.net
>>70
式の意味をもっとわかりやすくなるよう変型すると
(勝率×314+1133)×(実測一致率/理論一致率)+平均相手レート×1.15-1561
つまり一致率と全く関係なく対局相手と勝率だけから算定される「(勝率×314+1133)+平均相手レート×1.15-1561」という仮換算レートを「実測一致率/理論一致率」で調整する形となっている
で、実際どれくらい調整しているかというと、まず理論一致率は「勝率×0.83+敗率×0.65」で勝率8割なら79.4％、勝率6割なら75.8％
これを上位24棋士に当てはめて計算すると(実測一致率/理論一致率)は93％～105％の範囲となる
換算レートに+-50以上の影響があったのは4人
最大下方調整が山崎で-107、最大上方調整藤井が62だが大半は+-20程度の微調整しかされていない
137:名無し名人
19/09/02 21:21:22.61 X27f2SQW.net
実際、一致率なんかどうでもいいわな。どんなルートでも勝てればいい。あからさまな悪手だけは勝ちを負けにしてしまうので少なければ少ないほど強い
138:名無し名人
19/09/02 21:32:05.97 Z1Q+vYZa.net
>>136
つまり勝率と対戦相手だけで凡その仮レーティングは推測できており、それに一致率による調整を加えることがどれほどのプラスになっているか、そもそも余分なノイズを加えてマイナスになっていないかを検証しないと一致率で調整する根拠は全くない
単純な話仮レーティングの判別力がかなり高いので、調整が少ない指標を使った算式であればそれが仮に全く意味のない指標でも高い判別力を示してしまう
棋力と相関がある「否悪手率」でもいいし棋力と相関の怪しい「詰みあり局面からの勝局率」でもよく、単純な話「先手番率」でも全く同じように極めて高い判別力を示す事になる
139:
19/09/02 21:37:25.69 0WsPI8/W.net
>>135
Bnanzaで調べたときの話だよ
確かにGPSFishでは羽生が一致率0.608で最高になっているようだね
しかし、これをこのまま受け取る人はどうかと思うよ
最高で一致率が60%というのでは一致率はあてにならないから却下されて当然でしょ
もちろん、一致率があてにならないわけだから平均悪手もあてになるわけがないよね
なぜなら、最新のソフトでだったら一致している指し手が他に20%もあるのにそれを悪手と認定しているわけだからね
それと、一致率の集計自体が疑問だらけなんだよ
これまで説明してきたように勝った局と負けた局では一致率にかなりの差がある
つまり、勝率がよいデータを集めて解析すれば一致率は高くなり、勝率が悪いデータを集めて解析すれば一致率は悪くなる
その観点で改めてGPSFishとの一致率の表を見るといい
羽生は勝率0.638で一致率0.608
森内は勝率0.486で一致率0.581
これで羽生のほう一致率がよいと言えるのか
おそらく勝局だけに限れば森内のほうがいいだろう
森内は実際にタイトル戦の勝率が羽生より悪かったわけだから是正する必要はないだろうが大山は違う
大山の勝率は羽生と同じ44歳までのタイトル戦なら0.680以上あった
それが集めたデータは大山66歳までのデータで、表を見ると大山の勝率は0.597になっている
その結果、一致率は0.562だったことになっている
おそらく、勝率0.680のデータの一致率だったら羽生の0.608を超えていたわけだ
これでは、合理的な一致率データを初めからとるつもりがなかったと批判されてもやむを得ないだろう
升田の一致率も合理的でない
タイトル戦に限れば相手のほとんどが大山で勝率も表にあるように0.400だ
その結果の一致率が0.540なのだ
もし、一般棋戦のデータを含め年間の一致率データを出していたら升田の一致率は当然もっと高くなっている
140:名無し名人
19/09/02 21:42:16.79 Z1Q+vYZa.net
なのでせっかく多大な時間をかけて検証するのであれば「対戦相手関係なく棋譜だけで判別する」という原点に立ち返ってまず山下論文の「平均悪手(点)」を検証して、それをよりよい調整を目指す方向に舵を切り直してくれたらいいなと思ってる
「中央値方式」が失敗でも他の調整を色々試す意味はあるはず
そもそも山下論文方式で最新のソフトを使って現代の上位棋士の棋譜を検証するとどれくらいの判別力を示すのかという素朴な疑問がある
141:名無し名人
19/09/02 21:48:18.76 Z1Q+vYZa.net
>>139
つまり採用しなかった理由は「羽生がトップでないから」ではないよね
誤りは誤りと認めようよ
142:
19/09/02 21:55:37.85 0WsPI8/W.net
>>136,138
勝率と相手Eloレートと棋士のEloレートに関係性があるのはEloレートの計算原理から当たり前のことだよ
相手Eloレートの情報に頼らず一致率と相手一致率だけからEloレートに極めて相関する換算レートを出すことができるという点が重要で画期的なんだよ
君が式の根拠に使用している理論一致率自体が俺が調べないと分からない平均勝局一致率と平均敗局一致率を用いているのだから、やっていることがむちゃくちゃなんだよ
それと、何度も言っているように換算式は不変でない
暫定的に採用している換算式で個々の棋士のEloレートとの違いを云々する段階ではない
今は全体の相関具合を検証している段階で、それも24棋士だけに限った話でないし、個々の棋士のズレは様子見をして注目していけばよい話だよ
143:名無し名人
19/09/02 21:57:43.56 Z1Q+vYZa.net
>>139
ところでこのスレで定義してる「一致率」って最善手判定一手とだけ？
「逆順で検証して評価が下がらなかった手は最善とみなす」というような定義をしてたから一手とは全く限らないということ？
144:
19/09/02 22:02:42.36 0WsPI8/W.net
>>141
羽生の一致率がトップでなかったから一致率を採用しなかったというのは誤りだったと認めるよ
それでも、自分の記憶ではBonanzaで一致率を調べられた頃は羽生より三浦が高くなっているから一致率はあまりあてにできる指標ではないとされたと思っているし、これについては訂正しないよ
それは置かせてもらうとして、>>139で指摘したことへの君の意見はどうなんだ
145:名無し名人
19/09/02 22:03:57.45 Z1Q+vYZa.net
>>142
相手の一致率を計算するのに当該対局だけでなくその棋士の多数の棋士相手の棋譜を集めないといけないよね
それができるのなら自然に勝率がわかるので凡そのレーティングがわかる
できずに仮の一致率を使うのであればそれは仮のレーティングをあてはめてるのと全く同じ
一致率を使う意味が全くない
146:名無し名人
19/09/02 22:10:47.22 Z1Q+vYZa.net
>>144
長すぎて異論があるところを一々ツッコンだらキリがない
もう少し短く書く事を考えようよ
総論としては大体同じであの論文に出てる一致率は使えないと思ってる
理由として勝率によって大きく異なってしまうのと対戦相手のレベルによって大きく変動してしまう可能性がある事
もしくは100局では全く足りないサンプル数が必要となるか個人差が大きすぎてそもそも使えないか
(勝率が変わらない木村と清水で一致率がほぼ同一)
147:名無し名人
19/09/02 22:13:28.44 XIMWlc2m.net
>>141
こういうところで嘘つくやつってのが丸わかりだからデータ出されても全然信じる気が起きんw
148:
19/09/02 22:18:03.29 0WsPI8/W.net
>>143
俺が最善と見なしているんじゃなくて、ソフトが勝手に最善手と判定してくれるということ
つまり△でなく○がつくということだね
実際に相手に咎められると逆転するような手を指さない限り間違った手とは言えないし、正確に咎めていれば逆転できていたのに間違えたというのでなければ負けは負けだからね
それは極端な話だけど、ある程度、最善手判定には幅があったほうが棋力との相関が高くなるということなんじゃないかな
よく、検討モードでもっと深く読ませると最善手が変わって最善手より評価値が100下がる手だったとかいうけど、どっちも最善手でいいんじゃないのという判定をしているということだね
次善手判定とは違うからね
次善手は評価値関係なく評価値が二番目なら次善手だろうから
149:
19/09/02 22:56:32.72 0WsPI8/W.net
>>145
一致率と勝率はイコールでないよ
Eloレートと勝率もイコールでないよ
相手一致率と相手レートが相関するなら、それは勝率に関係なく一致率とEloレートに相関がある何よりの証拠だよ
棋譜解析のデータを見るといいよ
一致率と勝率は棋士によって異なっているし、そもそも、一致率と勝率は相関していない
あくまでも同一棋士なら勝率で一致率が変わるのが理屈で、勝率が同じなら一致率も同じということにはならない
レーティングの数値でなく一致率が役に立つのは、時代が違う棋士を比較したり棋士の将来性を予測したりするためだからね
現在の棋士の一致率がEloレーティングの代用になるとわかれば、過去の棋士の一致率を調べるのも悪くないからね
単純な話、過去のA級棋士のEloレート平均が現在のA級棋士のEloレート平均と同じでも一致率平均が現在のA級棋士より低かったら、過去のA級棋士は今のA級棋士より弱かったと断定できることになる
そうしたことは一致率のデータを集めたからこそ言えるようになるんじゃないかな
150:
19/09/02 23:43:43.47 0WsPI8/W.net
キャプチャーは貼らないが、今日の勝利で本田四段のEloレートは1606から1615に9アップして60位に戻った
換算レートは12上がって1837になった
これは現棋士の換算レートで14位だから5位評価の阿部六段同様かなりの過大評価だ
しかし、データ数は阿部より9局多い19局であるから、上位棋士との対局が少ないのをマイナスしても将来有望なのは間違いない
151:
19/09/02 23:52:12.71 0WsPI8/W.net
>>149
＞あくまでも同一棋士なら勝率で一致率が変わるのが理屈で、勝率が同じなら一致率も同じということにはならない
修正
あくまでも同一棋士なら勝率で一致率が変わるのが理屈で、勝率が同じなら棋士が違っても一致率が同じということにはならない
152:
19/09/03 07:54:12.50 2bd5Ldra.net
>>140
結局、山下論文を支持したいがために一致率での分析を批判したいというスタンスなのかな
＞そもそも山下論文方式で最新のソフトを使って現代の上位棋士の棋譜を検証するとどれくらいの判別力を示すのかという素朴な疑問がある
その素朴な疑問への回答の一つが>>118だよ
中央値で検討しても平均値で検証してもEloレートの相関は無いに等しい結果になってるよ
これへの意見をぜひ述べてほしいね
もともと、あなたが催促したから出したデータだよ
それと、山下氏でないと出せない平均悪手での検証はできていない
それを所望するなら山下氏がなぜやろうとしないのかこそ「素朴な疑問」として持つべきだよ
最初の発表から5年も経っているんだから十分検証する時間はあったのにやっていないのはおかしいと思わないのかな
俺はやってみたけど発表していないだけだと思っているよ
153:
19/09/03 08:40:19.22 2bd5Ldra.net
山下が後にやったことは29連勝の藤井聡太(14歳・四段)の平均悪手を羽生七冠らと同じ手法で調べて公表したことだよね
公表したスライドによると29棋譜の結果は羽生さんに匹敵する強さだったそうだが(羽生3347 藤井3305)、この発表で逆に平均悪手という指標に疑問が持たれることになったんじゃないかな
というのも、現在の藤井七段は明らかに29連勝のときより強くなっているよね
俺の一致率調査でもそうだし、Eloレートでもそうなっているし、藤井本人の弁を借りれば1年前の自分に勝率7割になるくらい強くなることを目標にしたいと言っていた通りになってきた
つまり、「藤井四段の強さは羽生さんに匹敵する」という平均悪手による解析の結果が正しいとすれば、現在の藤井七段は羽生七冠より強いということになる
それだけでなく、藤井七段よりレートが上の羽生九段も当然羽生七冠より強いし、レートトップの渡辺三冠は史上最強の棋士ということになる
一致率を強さの指標にした俺の分析では「渡辺三冠は大山五冠に匹敵する強さ」ということになるが、それ以外の結論は同じだ
山下氏には是非とも現棋士(少なくともレート上位60棋士)の平均悪手を調べてほしいものだ
154:名無し名人
19/09/03 20:10:23.23 QwNo9bVW.net
154
155:名無し名人
19/09/03 21:28:18.94 0NxOKRFH.net
悪手は定義が難しい
相手の応手次第という面もあるし
それに比べて最善手は定義が比較的易しいと思う
だから最善手に注目して強さを解析したいという方向性には賛同してる
いろいろ思うところがあるのは分かるが
余計な一言で本筋と関係ない口論でスレが流れるのはしのびない
淡々と研究を進めていってはどうか
156:名無し名人
19/09/04 00:44:04.17 CarCdZST.net
>>148
要は一手とは全く限らないという事？
「(最善手との)一致率」ではなく「否悪手率」という理解でいいの？
なんで平均「一致率」が山下論文や三浦事件の調査報告書より異常に高いのかと思ったらそういう事？
157:名無し名人
19/09/04 00:53:10.74 CarCdZST.net
>>152
山下論文は一手で評価値が1000点以上変動した手は除外して計算している
影響が大き過ぎるからとわざわざ除外してるのにそれを入れたら当然全く別の指標となるので山下論文方式の検証には全くなっていない
158:名無し名人
19/09/04 01:10:22.62 CarCdZST.net
>>152
山下論文の平均悪手(点)でも一致率でも否悪手率でもどれが優れていようが構わないよ
レートを推定するのにどういった手法を採用するのかどれくらい優れていてどれくらい誤差があるのかを知りたいだけ
だからあなたの「対戦相手の強さを加味」するという方法も最初はかなりいいのではと思ってた
思ってたからこそ自分で実際にデータ分析をした結果が実は>>136と>>138だったという事がわかって非常にがっかりしてる
159:
19/09/04 06:43:39.85 ImR44Ued.net
>>157
1手で1000点以上変動した手は勝負を決めた手だからそれを除外してどうしてプロ棋士の強さがわかるのか
プロ棋士の場合は、そうした1手の悪手で勝敗が決まることがアマよりはるかに大きいはずだ
だから、そのような平均悪手が現棋士のEloレートと強い相関があるか検証することが絶対必要なのに山下氏はやっていない
それと、俺が現棋士のEloレートとの相関を確かめるために使った平均悪手はShogiGuiが解析した平均悪手だ
なので、評価値が1500以上になった勝勢(敗勢)の局面から1000以上動いても形勢に変動がなければ平均悪手の計算から除外される設定になっている
どういうことかというと、最善手の評価値が3000のとき、1000点減点の評価値2000の手を指しても平均悪手の対象にならないということだ
それが、最善手の評価値が2200のとき1000点減点になる評価値1200の手を指せば平均悪手の対象にされる
同様に、最善手の評価値が-2000の敗勢のとき1000点減点の-3000の手を指しても平均悪手の対象にならないが、最善手の評価値が-1200のときに1000点減点の-2200の手を指せば平均悪手の対象になる
山下氏の平均悪手は、勝負手か形作りの手か大悪手かの区別を付けずに1000点以上変動しても平均悪手の対象にしないという方法を採用している
この山下氏の平均悪手よりShogiGuiの平均悪手のほうが合理的だ
そして、合理的なほうの平均悪手と現プロ棋士のEloレートには相関がないことが分かったわけだ
で、ShogiGuiでは山下氏定義の平均悪手を求めることはできないので、山下氏定義の平均悪手が現プロ棋士の棋力(Eloレート)と強い相関があることの証明は山下氏にやってもらうしかない
160:
19/09/04 07:16:45.04 ImR44Ued.net
何度もいうが、山下氏の換算レートは歴代棋士の強さを説明できるものになっていないので、現プロ棋士のレートとの相関を調べるまでもなく間違っている
①20以上の棋譜があれば十分なはずなのに、七冠時の羽生よりそれ以前の3,4年間の羽生の換算レートが高い数値になっている
②二日制では羽生より渡辺が強いのに羽生のほうが渡辺より267強いということになっている
これだけ大きな誤りは指標としての平均悪手に致命的な欠陥があるとしか考えられない
③29連勝の藤井四段の棋力は羽生さんに匹敵するということで精度の粗さを露呈した
プロ棋士の棋力を比較できる精度でものではないのだ
161:
19/09/04 07:35:17.86 ImR44Ued.net
>>156
正順解析での一致率はその局面で探索解析した評価値で判定していて、あとで訂正するということがない
逆順解析による一致率は実際に指した手で何手も先まで進めた局面での評価値を参照して判定しているので訂正があるという違いだね
だからと言って本物の悪手や疑問手が逆順解析で消えるということはないよ
当然、評価値で200も違う手が最善手に昇格することもないはず
そのうち、実際の解析キャプチャーで説明するよ
162:名無し名人
19/09/04 08:22:09.96 wXQuu3+H.net
板単発
>>3
URLﾘﾝｸ(hissi.org)