Up

PPO

作成: 2026-05-14 更新: 2026-07-03

---

４足歩行ロボット ＞ 他律型 ＞ 運動脳 ＞ 訓練 ＞ PPO

強化学習は，本来ひどく不安定である： 　　勾配が暴れる 　　発散する 　　探索が足りない 　　局所解に落ちる 　　報酬が sparse 　　行動が極端になる そこで，パラメータ値更新のアルゴリズが，重要なものになる。 よく使われるのはつぎの 3つ： 1. PPO（Proximal Policy Optimization） 　　最もよく使われる 　　４足歩行ロボットの標準 　　安定して学習できる 　　特徴 : KL制約, clipping 2. SAC 　　滑らかな動作が得意 　　エネルギー効率の良い動きが得意 　　ロボットアームでよく使われる 3. TD3 　　精密な制御が得意 　　ノイズに強い 　　実機ロボットで使われることが多い ここでは，PPO を取り上げる。 PPO はつぎの流れ図に表現される： 　　　　　　① データ収集（θ_old） 　　4096 の並列環境 × n ステップ 　　(s_t, a_t, r_t, s_{t+1}, θ_old(a_t|s_t)) 　　　　　　　　　↓ 　　　　　　② 価値関数の評価（φ） 　　critic が各状態に対して V(s_t) を出力 　　　　　　　　　↓ 　　　　　　③ TD 誤差 δ_t の計算 　　δ_t = r_t + γ V(s_{t+1}) − V(s_t) 　　　　　　　　　↓ 　　　　　　④ GAE による A_t の計算 　　A_t = Σ_k (γλ)^k δ_{t+k} 　　　　　　　　　↓ 　　　　　　⑤ 価値ターゲットの作成 　　V^target_t = A_t + V(s_t) 　　　　　　　　　↓ 　　　　　　⑥ actor の目的関数 　　Ratio(τ,t) = θ(a_t|s_t) / θ_old(a_t|s_t; τ) 　　L^CLIP(θ) = E_(τ,t)[ min( 　　　Ratio(τ,t) A(τ,t), clip(Ratio(τ,t)) A(τ,t) )] 　　　　　　　　　↓ 　　　　　　⑦ critic の損失 　　LV(φ) = E_(τ,t)[ (V(s_t) − V^target_t )^2 ] 　　　　　　　　　↓ 　　　　　　⑧ actor–critic の並行更新 　　θ ← θ + α ∇_θ L^CLIP(θ) 　　φ ← φ − β ∇_φ LV(φ) 　　　　　　　　　↓ 　　　　　　⑨ 新しい θ で再びデータ収集 　　（① に戻る） 　註： "PPO" の語の使われ方は，曖昧になる。 パラメータ更新のアルゴリズムは，訓練フローと不可分であり，さらに NN (計算グラフ＋重みパラメータ) の設計方法と不可分なものになるからである。