各種データ採取

企画書に対し、幸いH取締役もGさんもそこそこ興味を持ってくれたようで、マシン利用はOK、また研究所側でも研究ネタとして何かできないか考えてみたいので、打合せしようという話になりました。

8月中は皆さん夏休みで都合が合わず、8/31にH取締役、Gさんともう１人研究所のIさんに私の４人で最初の打合せをしました。このときは私は新横浜にある子会社に出向していて、まだ本業とは関係ないため、本業の仕事が終わってから（業務でなく個人として）川崎の研究所に行き、そこで打合せ、でした。お互いのスタンスを確認し、当面のマシン利用のことをいろいろ相談しました。

研究所側としては、機械学習やクラスタ並列は技術として汎用性があるので、将棋をネタにしてこれらを研究するのは面白そうだし有りだと思う、とのこと。ただ当然ながら、すぐに予算つけてどうこうというわけではありません。年度（４月～翌３月）ごとに研究計画を作って予算を立てるので、まずは本業の（今年度計画の）研究をやる傍ら、３月までは「アングラで」コンピュータ将棋について調査し、研究テーマにできそうなら来年(12年)度から公式の研究計画に組み入れて、４月から堂々とやろう、というスタンス。GさんとIさんはこのスタンスで、本業の研究の合間に少しずつ将棋も考える、という感じで始めました。

マシンについては、F研究所ですからマシンはまあたくさんありまして、遊んでいるマシンを数台私が使っても研究所側はほとんど困らないし、かかるコストかかるもせいぜい電気代くらい。コストもリソースもほとんどかけず、うまくいけば新しい研究テーマが見つかるかもしれない。一方私としては、元々研究所に開発を手伝ってもらおうというつもりはなく、当面マシンさえ貸してもらえれば万々歳だったので、お互いメリットがあるということで、この体制で協力がスタートしました。結局12年度の計画には将棋は入らなかったのですが、それがはっきりする12年2月までこの体制が続きました。

Iさんがマシンの担当になってくれて、さっそく翌9/1から準備が始まり、9/5にはマシンが使えるようになりました。このとき用意してもらったマシンは、第１回電王戦で使ったブレードサーバ(BX400)よりひとまわり大きいBX900という、ブレード(=CPUが２個載ったサーバ１台に相当)が18枚刺さるマシンのうち、８枚ぶんを使わせてもらえることになりました。CPU正確に覚えてませんが、たしかnehalem世代の4コアXeon 3.3GHz x 2ソケット/ブレード、だったと記憶してます。計64コア。それまで自宅で使っていたのは、980X(6コア)、2600K(4コア)、AMD 1100T(6コア)の計16コアで、CPUもばらばらだと性能測定等で条件を揃えての実験ができなかったので、同じCPUを64コア使えるのは大変ありがたかったです。このあと、12年2月までほぼずっとこの64コアを占有して使っていました。

このマシンを利用して、これまでやりたくてもできなかったいろいろな実験を始めました。9月始めから、10月下旬くらいまで。このときやった実験のいくつかの結果を記しておきます。ちょっとテクニカルな話になりますが、「コンピュータ将棋の開発ってのはこういう感じなのか」というのを多少でも感じていただければと思います。

(1) 1コア x Nノード構成によるレーティング向上度測定

ボンクラーズ/Puella αのクラスタ並列方式では、１つのコアが「マスター」となって探索の全体を指揮します。他のコアは「スレーブ」となり、実際の局面探索を分担して行います。スレーブは複数あってよく、また１個のスレーブが複数コアを使ってよいですが、各スレーブはそれぞれ１枚のブレードに収まらなくてはならないという制限がつきます。上記の構成だと、ブレード１枚に8コア載っているので、各スレーブは最大8コアということになります。スレーブの個数のことを「ノード数」と呼びます。たとえば8コアのスレーブを２個使うなら「8コア x 2ノード」のように記します。

まずやったのは、スレーブが1コア x Nノードの構成が、1コア x 1ノード（つまり、クラスタ並列なし）に比べてどれだけ強くなるか、です。Nを変えて、1コア x Nノードと1コア x 1ノードを各Nごとに300局ずつ対局させました。結果は次の通りです。

　　複数ノード側
　　から見た勝敗　　勝率
N=2 169勝123敗 　  0.579
N=3 171勝122敗 　  0.584
N=4 191勝104敗 　　0.647
N=5 189勝102敗 　　0.649
N=6 204勝 93敗 　　0.687
N=7 191勝103敗 　　0.650

6ノードで勝率 0.687 (1ノードに対して）がピーク、となりました。この勝率はレーティング差に換算すると135程度です。ちなみに引き分け（千日手）は除いているので勝と負の和が300ぴったりではないです。N=4->5でなぜかほとんど良くなっていませんが、まあ確率的な誤差の範囲だと思います。

このとき使ったバージョンは、11年5月のWCSCで使用したものに近いです。このバージョンを「ボンクラーズ」、または「11年版」と呼んでいます。12年1月の対米長戦までは、11年版を使っていました。11年5月から12年1月の間に少しずつ改良を加えていますが、基本となるアルゴリズムは変わっていません。

12年5月のWCSCに向けての次期バージョンの開発は11年5月のWCSC直後から始めていて、これは12年の3月頃に動きだします。これを「Puella α」または「12年版」と呼んでいます。上記の実験結果は11年版です。12年版ができたときにはF社は手を引いていたため、12年版に対して同様のデータは取れていません。たぶんPuella αの方が良くなってるだろうとは思うのですが。

F社マシンを使う前は、CPUを揃えようと思うと6コアが最大だったので、6コアのうち１つをマスター、４つをスレーブ(1コア x 4ノード)、１つを相手(1コア x 1ノード)、とするのが精一杯でした。7ノードまでできるようになったのは大きな収穫でした。

(2) スレッド並列のNコアによるレーティング向上度測定

クラスタ並列に対して「スレッド並列」という言葉があります。大雑把に言うと、複数台のPCがネットワークを介して協調するのがクラスタ並列、１台のPCの中の複数コアどうしが協調するのがスレッド並列です。（ブレード１枚はPC1台相当で、複数ブレードはクラスタ並列）

ボンクラーズの本題ではないのですが、スレッド並列の効果も棋力と大いに関係あるため、マシンが入手できたついでに測定してみました。
Nコアスレッド並列 vs 1コア でやはりNを変えて各180局ほど対戦させました。結果は以下です。

　　複数コア側
　　から見た勝敗　　勝率
N=2 111勝66敗 　  0.627
N=3 132勝38敗 　  0.776
N=4 126勝44敗 　　0.741
N=5 142勝31敗 　　0.821
N=6 149勝31敗 　　0.828
N=7 143勝31敗 　　0.822

6コアで勝率 0.828 (1コアに対して）がピーク、となりました。この勝率はレーティング差に換算すると275程度です。クラスタ並列よりスレッド並列の方がだいぶよくなっています。

6コアがピークになり、「あれ？7コア以上は効果ないのか？」と一瞬思いましたが、よく調べると、構成が不適切だったせいでした。ハッシュテーブルというのがあるのですが、これはコア数が増えるとより多く必要なのに、増やすのを忘れたせいでした。このように、ちょっと構成を変えただけで結果がかなり変わるというのはよくあることで、開発者としては非常に悩まされたところです。

そこで、ハッシュを増やして N=6,7,8 が N=5 に対する勝敗・勝率・レーティング差を求めました。相手をN=1でなく、より釣り合うN=5に変えています。

N=6  140-149  0.484 (R-10)
N=7  166-131  0.559 (R+40)
N=8  179-116  0.607 (R+75)

今度はN=8までレーティング上昇が確認されました。N=6で下がったのは誤差の範囲でしょう。

8コア/ブレードのマシンでは、9コア以上のスレッド並列の実験はできません。ですがこの後、一時的に12コア(6コア x 2ソケット)のマシンを貸してもらい、N=12,10 vs N=8 も試しました。

               勝率  レーティング
N=10   98- 74 0.569  +50
N=12  157-131 0.545  +30

時間の関係か、10vs8は途中で終わっており、対局数がやや少ないです。これだとN=10の方がN=12よりよいのですが、対局数が少ないための誤差なのか、12コアあたりで向上がサチュって（止まって）いるのか、これだけでは何とも言えません。12コアマシンは１台しか使えなかったので、10 vs 12はできませんでした。今から考えると気になるところなのですが、なぜここでやめたんだっけ？ちょっと思い出せませんが、メールの記録によると12コアマシンを使っていたのは10月下旬なので、次回書く２４向け開発が佳境だったはずで、そちらを優先したのかもしれません。このように、本来やるべきことなのに何かの拍子でやり損ねた、ということも実はけっこうあったりします。

(3) スレーブの１ノードを７コアにして6ノード vs 1ノード の効果測定

実験(1)では「1コア x 6ノード vs 1コア x 1ノード」で前者がレーティング135高かったですが、これがスレーブ１コアでなく７コアでも同様か？を確認するものです。

7コア x 6ノード vs 7コア x 1ノードの対戦結果
   ->  6ノードが 203勝93敗  勝率 0.686 (R+135)

6ノード vs 1ノードでは、ノードあたり1コアでも7コアでも変わらず効果が出ているようです。

(4) 6コアx1ノード vs 3コアx2ノードの差

実験(1)と(2)を比較すると、同じだけのコア数を使うなら、できるだけスレーブの個数を減らして１スレーブあたりのコア数を増やす方が良さそうに思えますが、実際そうか？どのくらい効果があるか？を調べるものです。

6コアx1ノード vs 3コアx2ノード の対戦結果
   ->  6コアx1ノードが 149勝144敗  勝率 0.509 (R+5)
でした。「同じコア数なら、可能な限りクラスタ並列よりスレッド並列を優先すべし」はたぶん間違いないと思うのですが、この実験ではあまり効果がわかりませんでした。

実験は基本的にずっとマシン上で対局させてるだけで、時間はかかりますが手間はそれほどかかってません。floodgateと同じ15分切れ負けでやってたはずで、大体1局20分くらい。3局/時、72局/日。300局だと4日強くらいでしょう。1コアNノードはブレード複数使って並行して対戦できますが、7コア6ノードとかは同時に２つはできません。そのため、ブレード８枚あっても２か月とかかかるわけです。

前に書いたとおり、9月初めにK常務から電王戦の話が来て、また12年版の開発も進めてまして、9～10月は対戦実験・電王戦対応・12年版開発の３つが同時に進行していました。

ところで、ここまでこの記事を読んでこられた方の中には、「これほんとに将棋の話なの？」と思われた方も少なくないかもしれません。銀とか桂とか、矢倉とか中飛車とか、そういう「将棋っぽい」単語は一切出てきていません。実際私も、上の実験をやっている間、棋譜を見たり敗因を分析したりといったことは全くやっていません。ひたすら機械的に何百局と対戦させ、データとして勝率を測定しているだけです。以前の記事で「大事なのは勝率。一局一局の勝敗には興味ない」と書いたことがありますが、その意味がわかっていただけたのではないかと思います。

これは私だけ特別なのではなく、他のソフトでも大体これに近いはずです。開発当初はバグがあるため、それを調べるのに盤面を見て原因を追っていくこともありますが、完成してしばらくして大方のバグが取れると、あとはひたすら
　　プログラムを変更 -> 数十～数百局対戦させ、勝率が上がったか確認
を繰り返す感じとなります。web系開発でいうA/Bテストみたいな感じというか。上記でやってるのはマシン構成を変えてるだけでプログラムを修正してはいませんが、「変更->数百局対戦で確認」という流れは同じです。

普通に将棋を指す人の感覚としてはまず理解しがたいだろうと思いますし、実際私も（たぶん他の多くの開発者も）、慣れないうちは奇妙な感じを覚えました。ですが結果的に、「将棋の神様」により近づくには、このようなアプローチの方が早道、というのは何とも不思議と言えば不思議です。

私もだいぶ昔には、たとえば「銀ばさみの形をマイナス」などというのをいちいちプログラムしていたこともありますが、だいたいそういうのは非常に限られた局面しか効果がなく、勝率でいうとほとんど変わらないものです。それよりも、探索を効率化・高速化して深く読むのは、どんな局面でも効果があり、勝率に大きく影響します。ですので、特に私のように会社員をしながら限られた時間をやりくりしていた開発者にとっては、少ない開発時間をどこにかけるかというと、将棋の知識をプログラムするよりも、探索の高速化の方が費用対効果が高い、ということになります。