Up ｢奇妙な動き｣ の意味 作成: 2026-05-13
更新: 2026-05-13

    奇妙な動きは，不合理ではなく，合理である。
    これは，報酬条件を満たしている。
    報酬条件が緩ければ，“抜け道” として奇妙な行動が出現する。

    例えば，報酬が
    　　速さ
    　　エネルギー効率
    だけだと，
    　　倒れながら滑る
    　　体を震わせて前進する
    　　地面を叩いて跳ねる
    などの “奇妙だが最適な動き” が生まれる。

    これは 報酬ハッキング と呼ばれる。


    AI は“人間の意図”を理解しない。
    つぎのギャップが，｢奇妙な動き｣ の意味である：
    　　人間：「歩いてほしい」
    　　AI：「報酬が増えるなら何でもいい」


    ロボティクス研究では，｢奇妙だが最適な動き」がしばしば発見される。
    奇妙な動きが出ても，それは ｢目から鱗｣ かも知れない。
    奇妙な動きは “失敗” ではなく “発見” である


    以下，｢奇妙な動き｣ に対する観点を挙げる：
    1. AI は「目的」だけを理解し，｢手段」を理解しない
    ロボットは「歩く」「立つ」「走る」という概念を持っていない。
    人間：
    　　歩くとはこういう動き
    　　立つとはこういう姿勢
    　　走るとはこういうリズム
    AI：
    　　報酬が増える行動なら何でもよい
    だから，報酬が高くなるなら
    　　滑る
    　　倒れる
    　　跳ねる
    　　震える
    　　地面を叩く
    　　体をねじる
    など，人間が想像しない行動を選ぶ。

    2. 強化学習は “局所最適” を見つけやすい
    強化学習は，試行錯誤の中で
    　　「今の状況で最も報酬が増える行動」
    を選び続ける。
    すると，
    　　一瞬だけ立ってすぐ倒れる
    　　体を震わせて摩擦を利用する
    　　足を変な方向に伸ばす
    　　関節を高速で振動させる
    などの “場当たり的な最適解” にハマりやすい。
    これは ｢局所最適解｣ と呼ばれる。

    3. 物理法則の “抜け道” を見つける
    物理シミュレーションには必ず
    　　摩擦の近似
    　　衝突判定の誤差
    　　剛体モデルの限界
    　　数値積分の誤差
    などの “穴” がある。
    AI はこれを見つけるのが異常に得意である。
    例：
    　摩擦モデルの誤差を利用して “滑り加速” する
    　衝突判定の隙間を使って “跳ねる”
    　数値誤差で “浮く”
    これらはすべて報酬を増やすための “最適解”。

    4. ニューラルネットは “奇妙な連続動作” を生成しやすい
    ニューラルネットは，
    連続値の出力を高速に変化させることが得意。
    そのため，
    　　関節を高速に振動させる
    　　微妙な角度で体を揺らす
    　　足を高速にバタつかせる
    などの“奇妙な連続動作”が自然に出る。
    人間の筋肉では不可能な動きも，
    　　　ニューラルネット＋モータ
    なら可能。