隕石を避けるゲームでオリジナルの強化学習に挑戦

■今回発表した研究を始めた理由や経緯は？

これまでの研究で、パーセプトロンやニューラルネットワークなどを使い、事前に蓄積したデータから学習するゲームAIの手法について研究してきました。今回は、事前にデータをためるのではなく、ゲームをプレイしながらデータをためて学習するAIを研究したいと思い、ランダムフォレストを使った強化学習AIを作ることにしました。

■今回の研究にかかった時間？

半年ぐらいです。

■今回の研究で苦労したことは？

特に、盤面の評価の仕方[3.（1）データをためる]がこの研究で、とても大切なところでした。この8つの項目を決めるところでなかなかいいアイデアが出ず、決めるのに時間がかかりました。機械学習の勉強が、本やネットなので、僕の考え方が合っているかどうかわからないまま研究を続けるのが大変でした。

■「ココは工夫した!」「ココを見てほしい」という点は？

研究の考察です。今までの研究と今回の研究を合わせて、AIについて自分なりの考えをまとめましたので、ぜひ見てほしい点です。プログラムはVB(VisualBasic)で組み、PostgreSQLというデータベースにデータを取りました。作業は家のwindowsデスクトップPCを使用しました。

■オンラインの発表と実際の会場での発表のどちらがよかったと思いますか？

実際の会場での発表が良かったと思います。実際に声を出して発表した方が、しゃべり方、スピードなど、プレゼンテーションの練習にもなり、人に聞いてもらう緊張感もあります。対話により皆さんがどう感じたかも知りたかったです。これらは、オンライン発表では経験できない貴重なものだと思います。

■今後「こんなものを作ってみたい!」「こんな研究をしてみたい」と思うことは？

次は、ニューラルネットワークを用いた強化学習を研究したいと思います。今回、隕石を避け続けたフレーム数が少なかった原因は、評価値の取り方にあると考えます。ニューラルネットワークで、盤面の良し悪しをはかることができるように学習させれば、よい結果が得られると思います。