以前に報告した「2値ニューラルネットの進化的学習 - 倒立振子制御への応用」および「2値ニューラルネットの進化的学習 - 連結チェーン制御への応用」においては,学習課題がそれぞれ倒立振子/連結チェーンの制御であった.本研究では,学習課題をAtari Space Invadersに置き換えて,進化的アルゴリズムによる強化学習を試みた.用いたアルゴリズムは「進化戦略アルゴリズム」および「遺伝的アルゴリズム」である.
Atari Space Invadersについては下記ページを参照されたい.
SpaceInvaders - Arcade Learning Environment
進化戦略アルゴリズムの設定

遺伝的アルゴリズムの設定

進化戦略アルゴリズムを用いて学習させたニューラルネットが得たゲームスコア
(i)1bit結合重み (ii)64bit結合重み

遺伝的アルゴリズムを用いて学習させたニューラルネットが得たゲームスコア
(i)1bit結合重み (ii)64bit結合重み

学習曲線の例 - 進化戦略アルゴリズムの場合
(i)1bit結合重み (ii)64bit結合重み
学習曲線の例 - 遺伝的アルゴリズムの場合
(i)1bit結合重み (ii)64bit結合重み
学習前 の2値ニューラルネットによるゲームプレイ
学習後 の2値ニューラルネットによるゲームプレイ - 進化戦略アルゴリズムの場合
学習後 の2値ニューラルネットによるゲームプレイ - 遺伝的アルゴリズムの場合