Up GAE 作成: 2026-07-05
更新: 2026-07-05
４足歩行ロボット ＞ 他律型 ＞ 運動脳 ＞ 訓練 ＞ GAE

    数理計算ではでは
    　　　Σ { γ^k δ(t+k) | k = 0, ‥‥, n-1-t }
    　　　 ＝ R_t − V(t)
    しかし，左辺の式と右辺の式は，実際計算で違いが出る。

    　　ここで δ(t+k) と R_t の式を確認：
    　　　δ(t+k) ＝ r_{t+k} + γV(t+k+1) - V(t+k)
    　　　R_t = r_t + γr_{t+1} + ‥‥ + γ^{n-1-t} r_{n-1}

    2つの計算の違いは，
    ・｢良さ｣ 計算の形：
      δ(t+k) の累積： ⊿良さ の累積
      R_t − V(t)： (⊿価値 の累積) − 価値
    ・状態価値を使う回数：
      δ(t+k) の累積： n−t 回
      R_t − V(t)： １回
    ・報酬項の形：
      δ(t+k) の累積： "r_{t+k}"
      R_t − V(t)： "γ^{t+k} r_{t+k}"

    そしてこの違いは，つぎの違いになる：
    　　R_t − V(t) を計算すると「高分散」になる
    　　δ(t+k) の累積は「低分散で安定」

    論理では同値でも，実際計算では同じにならない。
    ここに理論の ｢落とし穴｣ がある。


    ｢アドバンテージをδ(t+k) の累積で計算｣ は，
    　　GAE (Generalized Advantage Estimation)
    に基づく。

    GAE は，パラメータ値更新 (ポリシー最適化) の方法論の１つ。
    ｢Actor (行動価値関数) - Critic (状態価値関数)｣ 構成をつくる。
    より安定した学習を実現するので，実装では GAE の式を直接使うのが PPO の標準。