Up 重み 作成: 2026-03-20
更新: 2026-03-23

    レイヤー構造の最もシンプルな絵図は，
    　　レイヤ上のノードを
    　　前後のレイヤーの上のノードと結線し，
    　　その結線に重みを付ける
    というものである。

    この場合，つぎの計算式になる：
    　　x_i^(ℓ+1) = x_1^ℓ W_1i, ‥‥, x_n^ℓ W_ni^T,
    　　　　　　i = 1, ‥‥, n

    ここで，W_ij ( i,j = 1, ‥‥, n ) を行列
    　　　　　W = ( W_ij )
    の形に書けば，上の式は，
    　　( x_1^(ℓ+1), ‥‥, x_n^(ℓ+1) )
    　　　　＝ ( x_1^ℓ, ‥‥, x_n^ℓ ) W
    にまとまる。
    そしてこれは，ベクトルの線型変換に見える。

    DNN のアルゴリズムの説明には，線型代数のワードが出て来る。
    ｢何で線型代数？｣ の疑問になるが，理由は上の如し。
    １次式を束ねただけ。
    ｢空間を線型に歪める｣ のような幾何学的イメージに寄せるようなものではない。

    ここで導いた行列 W は，そのまま ｢重み行列｣ と言い慣わしている。


    レイヤー間の配線に相当するアルゴリズムは，現実には，ひじょうに複雑につくられる。

    ○ チャットAI (Transformer)

    　x_i^(ℓ)
    　　　├───────────┐
    　　　│　　　　　　　　　( Self-Attention )
    　　　│　　　　┌──────┿──────┐
    　　　│　　　　↓線型変換　　↓　　　　　　↓
    　　　│　Q_i =x_i W_Q　 K_i =x_i W_K　 V_i =x_i W_V
    　　　│　　　　└──┬───┘　　　　　　│
    　　　│　　　　　　　↓　　　　　　　　　　│
    　　　│　α_i = sim( Q_i ; K_1, ‥‥, K_m ) 　│
    　　　│　　　　　　　│　　　　　　　　　　│
    　　　│　　　　　　　└───┬──────┘
    　　　│　　　　　　　　　 z_i ＝ α_i V
    　　　│　　　　　　　　　　　│← LayerNorm
    　　　│← Residual ─────┘
    　　　│
    　　　├───────────┐
    　　　│　　　　　　　　　　( FFN )
    　　　│　　　　　　　　　　　↓
    　　　│　　　　z'_i = σ( x_i W_1 + b_1) W_2 + b2
    　　　│　　　　　　　　　　　│← LayerNorm
    　　　│← Residual ─────┘
    　　　↓　
    　x_i^(ℓ+1)

    ○ 画像認識AI (CNN)

    　x_i^(ℓ)
    　　　├───────────┐
    　　　│　　　　　　　　　( Convolution )
    　　　│　　　　　　　　　　　↓
    　　　│　　　　　　　　z_i = x_i W + b_i
    　　　│　　　　　　　　　　　│← LayerNorm
    　　　│← Residual ─────┘　(or, BatchNorm)
    　　　│
    　　　├───────────┐
    　　　│　　　　　　　　　( Activation )
    　　　│　　　　　　　　　　　↓
    　　　│　　　　　　　　　z_i′ =σ(x_i)
    　　　│　　　　　　　　　　　│← LayerNorm
    　　　│← Residual ─────┘
    　　　↓　
    　x_i^(ℓ+1)


    (1) Convolution (畳み込み)
    　この内容は，
    　　局所パッチに対する，線形変換＋バイアス：
    　　x_i ↦ x_i W + b_i
    　　　d = h' × w' × c
    　　　局所パッチ x_i ∈ R^d
    　　　W：畳み込みカーネル (重み), d×d 行列
    　　　b_i ∈ R^d

    (2) Activation
    　これは，非線形変換 (重みなし)：
    　　z_i′ = σ(x_i)　 ()
    　　　　σ：ReLU など