Up

報酬設定

作成: 2026-07-24 更新: 2026-07-24

---

４足歩行ロボット ＞ 自律型 ＞ 訓練 ＞ 疲労/空腹感 ＞ 報酬設定

ここまで，つぎのことをした： 　　疲労感 F(t)，空腹感 H(t) を 0〜1 に正規化 　　閾値 F_low, F_high, H_low, H_high を設定 報酬設定は，これを使って以下のようにする：： 1. 疲労感 F(t) に対する報酬関数 　方針： 　　軽い疲労：ほぼ無視（行動を止めない） 　　中程度：じわじわペナルティ 　　高疲労：一気に強いペナルティ（無理させない） 1.1 区間を３つに分ける 　　低疲労域：0 ≤ F(t) < F_low 　　中疲労域：F_low ≤ F(t) < F_high 　　高疲労域：F_high ≤ F(t) ≤ 1 1.2 報酬関数の例 疲労ペナルティ R_F(t)： 　R_F(t) = 　　　0　　　　　　　　　　(F(t) < F_low) 　　　−k_1 (F(t) − F_low)　　(F_low ≤ F(t) < F_high) 　　　−k_2 (F(t) − F_high) − C_F　　(F_high ≤ F(t)) 　　k_1：中疲労域の “じわじわペナルティ” 傾き 　　k_2 ≫ k_1：高疲労域で一気に強くする 　　CF > 0：高疲労域に入った瞬間の「段差ペナルティ」 意味合い： 　　少し疲れているくらいでは行動を止めない 　　だんだん疲れてくると「無理するほど損」と学ぶ 　　高疲労域では「この状態を続けるのは最悪」と学ぶ 2. 空腹感 H(t) に対する報酬関数 方針は，｢疲労｣ と似る。 ただし，｢空腹｣ は「帰巣・採餌」(ステーションに戻ってバッテリー充電) を促すシグナル。 よって，つぎの２つをセットにする： 　　ペナルティ 　　帰巣行動に対するプラス報酬 2.1 区間 　　低空腹域：0 ≤ H(t) < H_low 　　中空腹域：H_low ≤ H(t) < H_high 　　高空腹域：H_high ≤ H(t) ≤ 1 2.2 空腹ペナルティ R_H^pen(t) 　R_H^pen(t) = 　　　0　　(H(t) < H_low) 　　　−m_1 (H(t) − H_low)　　(H_low ≤ H(t) < H_high) 　　　−m_2 (H(t) − H_high) − CH　　(H_high ≤ H(t)) 　　m_1：中空腹域のペナルティ 　　m_2 ≫ m_1：高空腹域で急激に悪化 　　C_H > 0：高空腹に入った瞬間の段差ペナルティ 2.3 帰巣・採餌へのプラス報酬 R_H^home(t) 空腹が高いときに「帰巣・採餌」を選ぶと，プラス報酬を与える。 行動 a_t が「帰巣」または「採餌」であるとき： 　R_H^home(t) = 　　　0 　　　　　　　 (H(t) < H_low) 　　　+q_1 (H(t) − H_low)　　(H_low ≤ H(t) < H_high) 　　　+q_2 (H(t) − H_high) + B_H　　(H_high ≤ H(t)) 　　q_1, q_2>0：空腹が強いほど「帰巣・採餌」が得 　　B_H > 0：高空腹で帰巣を選んだときの “ご褒美” 意味合い： 　　 空腹が軽いときは，まだ探索・目的地追跡を続けてもよい 空腹が強くなるほど「帰巣・採餌を選ぶ方が得」と NN が学ぶ 高空腹で帰巣を選ぶのは「最善手」として強く強化される 3. 総合報酬 時点 t の総合報酬： 　　R(t) = R_task(t) 　　　　　+ R_F(t) 　　　　　+ R_H^pen(t) + R_H^home(t) 　　R_task(t)： 　　　｢目的地に向かう・着く｣ の訓練で設定した報酬 意味： 　　 目的地に近づく・着く：プラス 　　 体調を悪化させる：マイナス 　　 危険状態で無理を続ける：大きなマイナス 　　 適切なタイミングで休む／引き返す：プラス 要点： 意味合いの違う報酬の値を，(荒っぽく) ただ足す。 思いは， 　　｢目的地に向かう｣ と ｢体調を守る｣ が 　　　同じ枠組みの中で最適化される そしてこれが，本当になる。 NN は 　　疲労・空腹を無視して突っ走ると損 　　適切なタイミングで休む・帰巣すると得 を学ぶ。 RL の報酬の思想 (方法論) は 　 “世界の評価を１つのスカラーに潰す” この方法は， 　　脳は，世界を分析しない 　　──分析せずに最適な行動を返すシステム と対応している。