京都産業大学 > 情報理工学部
岡田英彦 (Hidehiko OKADA) ホーム > 研究テーマ
2値ニューラルネットの進化的強化学習 - Atari Space Invadersへの応用

2値ニューラルネットの進化的強化学習 - Atari Space Invadersへの応用

以前に報告した「2値ニューラルネットの進化的学習 - 倒立振子制御への応用」および「2値ニューラルネットの進化的学習 - 連結チェーン制御への応用」においては,学習課題がそれぞれ倒立振子/連結チェーンの制御であった.本研究では,学習課題をAtari Space Invadersに置き換えて,進化的アルゴリズムによる強化学習を試みた.用いたアルゴリズムは「進化戦略アルゴリズム」および「遺伝的アルゴリズム」である.

Atari Space Invadersについては下記ページを参照されたい.
SpaceInvaders - Arcade Learning Environment


 

進化戦略アルゴリズムの設定


 

遺伝的アルゴリズムの設定


 

進化戦略アルゴリズムを用いて学習させたニューラルネットが得たゲームスコア
(i)1bit結合重み (ii)64bit結合重み


 

遺伝的アルゴリズムを用いて学習させたニューラルネットが得たゲームスコア
(i)1bit結合重み (ii)64bit結合重み


 

 

学習曲線の例 - 進化戦略アルゴリズムの場合
(i)1bit結合重み (ii)64bit結合重み


 

 

学習曲線の例 - 遺伝的アルゴリズムの場合
(i)1bit結合重み (ii)64bit結合重み


 

 

学習前 の2値ニューラルネットによるゲームプレイ


 

 

学習後 の2値ニューラルネットによるゲームプレイ - 進化戦略アルゴリズムの場合


 

 

学習後 の2値ニューラルネットによるゲームプレイ - 遺伝的アルゴリズムの場合