Up 埋め込みベクトル 作成: 2026-03-21
更新: 2026-03-23

    ○ チャットAI
    登録したトークンに対し，これの埋め込みベクトル (トークンベクトル) が作成される。)

    トークンベクトルは，ランダムな値で初期化される。
    そして，訓練の中で，値が定まっていく。

    入力テクストは，このトークンベクトルを使って，翻訳される。
    (この方式に対し，｢ルックアップ型｣ の言い方がある。)


    ○ 画像認識AI (CNN)
    チャットAI のトークンベクトル (ルックアップ型) に対応する埋め込みベクトルは，存在しない。
    入力画像は特徴量ベクトルに翻訳されるが，これは埋め込みベクトルによる翻訳ではなく，直接の翻訳である。

    　　入力画像は，
    　　　　ピクセル値 (縦, 横, RGB) ∈ R^(h×w×3)
    　　の配列。
    　　これを，最初の層の Convolution 層 で，
    　　　　特徴量ベクトル ∈ R^(h′×w′×c) = R^d
    　　に翻訳する。


    比較：画像生成AI
    この場合は，チャットAI でトークンの埋め込みベクトルをつくるように，特徴量の埋め込みベクトルをつくる。
    入力画像は，この埋め込みベクトルを使って翻訳される。