Up 細→粗→細 作成: 2026-07-02
更新: 2026-07-02
４足歩行ロボット ＞ とは ＞ 脳/学習理論との往還 ＞ 細→粗→細

    歩行脳 NN の訓練アルゴリズムに対しては，
    　　　すごく慎重
    と思う一方で，
    パラメータ値の更新のところで
    　　ここまで細かく計算して出した大量の数を，
    　　｢平均｣ で１つの数にしてしまう
    をやるところになると，
    　　　すごく荒っぽい
    と感じる。
    しかも，これに続く ｢この数の最大化を目的に勾配計算｣ は，また細かいプロセスになる。　


    1. 大量の情報を慎重に集める
      　　並列環境
      　　GAE
      　　状態・行動・価値の丁寧な収集
      ここは「精密測定」のフェーズ。

    2. 荒っぽく平均してノイズを殺す
      　　1024×n の min を平均
      　　ノイズを √N で削減
      　　勾配を滑らかにする
      ここは「粗視化（coarse-graining）」のフェーズ。
      物理学でも統計学でも，複雑系を扱うときに必ず出てくる。

    3. 慎重に更新する
      　　clip で勾配を抑える
      　　KL 発散を監視
      　　小さなステップで更新
      ここは「微分方程式の安定解に向かう」フェーズ。


    この ｢細→粗→細｣ は，
    　　｢統計的に最も安定する方法は，こうなる｣
    というものである。
    慎重にデータを集めて，荒っぽく平均して，慎重に勾配をとる──この組み合わせが一番安定する。

    実際，細かく拾うことは，大量のノイズを拾うこと。
    細かく拾ったものは，信頼できない。：
    このとき ｢荒っぽさ｣ は，
    　　ノイズを消すための統計処理

    そして，｢平均｣ は，最強のノイズ除去。
    サンプルを大量に揃えるのは，平均にかけるサンプル数が多いほど，ノイズを除去できるから。
    （｢標準誤差は 1/√n で縮む｣）

    ｢細→粗→細｣ は，複雑系の普遍的な安定化パターン (普遍形式)。


  • 脳/学習理論との往還
    ・思考・意志決定：
    1. 多くの情報を集める（慎重）
    2. ざっくり平均して「印象」を作る（荒っぽい）
    3. 最後に微調整して決める（慎重）

    ・視覚の処理
    1. 網膜から慎重に大量の情報を集める
      　（高精度，sensation）
    2. 荒っぽく特徴量に圧縮する
      　（粗視化, perception）
    3. 概念として慎重に統合する
      　（微調整, 解読）
      ・概念から逆算して画像を ｢生成｣
      ・｢次に見えるはずのもの」の生成
      　　(predictive coding)