Up データの埋め込み 作成: 2026-02-17
更新: 2026-02-21

    埋め込みモデルの出力は，ベクトル列。
    これを，１つのベクトルに圧縮する (プーリング)
    そして，データベクトルとして，データベースに格納する。
    検索対象になるのは，このデータベクトル。


    ○ プーリング pooling
    埋め込みモデルの出力のベクトル列を１つのベクトルに圧縮する処理を，プーリングと呼ぶ。
    プーリングは，つぎのものがある：
    　・CLS プーリング
    　・平均プーリング（Mean Pooling）
    　・重み付きプーリング

    ○ 正規化（L2 Normalization）
    検索でのコサイン類似度計算を見込むなら，
    さらに，正規化と呼ばれるつぎの処理をする：
    　　ベクトルを単位球面に射影する：
    　　　　ｖ → v / |v|


    プーリング処理したベクトルが，検索用ベクトルとしてうまく機能するわけだが， なぜうまくいくのかはわからない。
    あくまでも「結果的にうまくいった」ということである。