Up actor - critic 作成: 2026-07-03
更新: 2026-07-03
４足歩行ロボット ＞ とは ＞ 脳/学習理論との往還 ＞ actor - critic

    歩行脳 NN の訓練は，外部モジュールとして価値関数 NN を用いる。

    ２つの NN は，並行して訓練される。
    即ち，それぞれのパラメータ値更新が，
    　　　θ(1) → θ(2) →　・・・
    　　　φ(1) → φ(2) →　・・・
    と並んで進行する。

    そしてその訓練の中で，データのやりとりをする。
    そのやりとりは：
    　　θ→φ： φを訓練するデータ
    　　φ→θ： θを訓練するデータ


    θ, φは，ランダムな値から開始する。
    よって，最初のうちは出鱈目なデータのやりとりになる。

    しかし，θとφのデータのやりとりは，正のフィードバックの関係になっている。
    訓練の中でだんだんと出鱈目が鎮まり，うまく協調する関係になっていく。


    歩行脳 NN は，状態の入力に対し，行動を出力する。
    価値関数 NN は，状態の入力に対し，状態の価値を出力する。
    両者のこの関係は，つぎのように表現できる：
    　　acotor (行動系) と critic (評価系)
    　　　経験が同一
    　　　正のフィードバック関係


    脳/学習理論との往還
    動物/人間の成長 (｢経験値｣) は，actor - critic 形式になっている。
    実際，成長はつぎの循環である： 　
    　経験値を頼りに行動し，
    　行動の成功/失敗から学んで，経験値を上げる

    actor - critic は，つぎの形式の基本形ということになる：
    　　 ｢同じ経験｣ でつながるモジュールが
    　　 相互フィードバックで並んで成長

    動物/人間では，このようなモジュールの数が多くなる：
    　　感覚系 (視覚, 触覚)
    　　運動系 (運動, 平衡感覚)
    　　報酬系（快・不快）
    　　予測系
    　　記憶系
    　　など