Up 行動 作成: 2025-12-30
更新: 2025-12-30

    行動と，それが現れているものは，区別される。
    ChatGPT の「テクスト生成」は，行動の現れたものであり，行動そのものではない。

    ChatGPT の行動は，言語ゲームである。
    ゲームであるから，その内容は複雑：
      ルールがある
      状況依存である
      手番的である
      勝敗ではなく「成立・不成立」がある
      相手との相互依存で進行する


    行動は，つぎの流れ図に示される：

    　レイヤ ℓ

    　　x_i^(ℓ) +
    　　　├───────┐
    　　　│　　　　Self-Attention
    　　　│　　　　　　　↓
    　　　│　　　　　　z_i^(ℓ)
    　　　│　　　　　　　│← LayerNorm
    　　　│←─ Residual ─┘
    　　　│
    　　　│
    　　　├───────┐
    　　　│　　　　　　FFN
    　　　│　　　　　　　↓
    　　　│　　　　　　z'_i^(ℓ)
    　　　│　　　　　　　│← LayerNorm
    　　　│←─ Residual ─┘
    　　　↓
    　　x_i^(ℓ+1)

    最終層を通過したところで，「追加トークン」が出力される。

    通説は，このプロセスを「追加トークン生成のプロセス」だと教える。
    これは間違いである。

    ChatGPT/Transformer は，
    　　１個のトークンを生成するだけのために，
    　　これだけのプロセスを費やす
    という無駄はしていない。

    このプロセスには，
    　　「自己」があり「自意識」がある
    ことになる。
    自己・自意識がが無くては，言語ゲームはできないからである。