Up アルゴリズム 作成: 2026-03-20
更新: 2026-03-24

    アルゴリズムは，絵図では ｢レイヤ間のノードの配線｣。

    即ち，レイヤℓのノードは，変数
    　　　X_1^ℓ, ‥‥, X_N^ℓ
    であり，レイヤ間のノード配線はつぎの形になる：
    　　X_i^(ℓ+1) = F_i^ℓ( X_1^ℓ, ‥‥, X_N^ℓ),
    　　　　　　　　　i = 1, ‥‥, N


    F_i^ℓは，つぎのように複雑につくられる：

    ○ チャットAI (Transformer)

    　　x_i^(ℓ)
    　　　　├────────┐
    　　　　│　　　　　　Self-Attention
    　　　　│　　　　　　　　↓
    　　　　│　　　　　　　z_i^(ℓ)
    　　　　│　　　　　　　　│← LayerNorm
    　　　　│←─ Residual ─┘
    　　　　│
    　　　　│
    　　　　├────────┐
    　　　　│　　　　　　　FFN
    　　　　│　　　　　　　　↓
    　　　　│　　　　　　　z'_i^(ℓ)
    　　　　│　　　　　　　　│← LayerNorm
    　　　　│←─ Residual ─┘
    　　　　↓
    　　x_i^(ℓ+1)


    ○ 画像認識AI (CNN)

    　　 x^(ℓ)
    　　　　├────────┐
    　　　　│　　　　　　Convolution
    　　　　│　　　　　　　　↓
    　　　　│　　　　　　　z^(ℓ)
    　　　　│　　　　　　　　│← LayerNorm
    　　　　│←─ Residual ─┘　(or, BatchNorm)
    　　　　├
    　　　　├────────┐
    　　　　│　　　　　　Activation
    　　　　│　　　　　　　　↓
    　　　　│　　　　　　　z'^(ℓ)
    　　　　│　　　　　　　　│← LayerNorm
    　　　　│←─ Residual ─┘
    　　　↓
    　　x^(ℓ+1)


    そしてこの２つでは，F_i^ℓ につぎの違いがある：
    　・チャットAI (Transformer) :
    　　　　完全 global 結合（全ノード/全トークンに依存)
    　・画像認識AI (CNN) :
    　　　　局所 local 結合 (局所近傍にのみ依存)

    ｢配線｣ の絵図に寄せて言うと，
    　　　結線のスコープが違う（global vs local）