Up Transformer Encoder 作成: 2026-02-17
更新: 2026-02-21

    データの埋め込みは，つぎのプロセスになる：
    　　
    　　　　データ
    　　　　　│← 前処理
    　　　　　↓
    　　　［　　　］データ埋め込みモデル
    　　　　　↓
    　　　ベクトル列
    　　　　　│← スプーリング
    　　　　　↓
    　　　データベクトル
    　　　　　↓
    　　　［　　　］データサーバ


    データ埋め込みモデルは，Transformer Encoder を再トレーニングしてつくる。

    Transformer Encoder は，Transformer のつぎの処理モジュール：
    1. 入力テクストＴを，トークンベクトル列Ｅに「翻訳｣：
      　　T = (t_i) → E = (e_i)： t_i ↦ e_i ∈ ℝ^d
    2. E を「読む｣：
      　　SelfAttention, FFN のレイヤー繰り返し

    この処理で出力されるベクトル列が，Transformer Encoder の出力。