| Up | ｢並列環境｣ | 作成: 2026-06-22 更新: 2026-06-29 |
これを，シミュレーションで行う。 試行は，現パラメータ値θの上の試行である。 試行の目的は，θの評価。 そして，評価が良くなるパラメータ値に更新する。 ｢訓練｣ の中身は，パラメータ値の更新である。 パラメータ値θの評価は，１回の試行で出してしまうのは危ない。 そこで，多数回する。 例えば，4096 回。 そして，行動の ｢報酬｣ から各行動の ｢良さ｣ を計算し，それらを平均したものを，θの評価にする。 この方法は，｢並列環境｣ と呼ばれる。 しかしこのことばは，つぎの誤解を招きやすい： ｢この中から，優秀なものを選別する｣ 事実は，上に述べた通りである。 そして，4096 回の試行は，訓練対象の NN が独りでやる。 誤解のもとは，訓練の可視化ツールかも知れない。 これは，多数のロボットが並行して動く絵図になる。 試行を，｢θの上の軌跡 (trajectory)｣ の意味から，τで表す。 ｢θの上｣ を明示したいときは，τ_θ と書くことにする。 そこで，θの上の 4096 の試行は： |