Up Training のアルゴリズム 作成: 2026-02-21
更新: 2026-02-21

    Training は，つぎのデータ処理を，大量のデータに対して行う：
テキスト
│
[読む (元パラメータ, 凍結)]
↓
ベクトル列
│
[Pooling]
↓
埋め込みベクトル
│
[コントラスト損失 (InfoNCE)]
↓
LoRA / Adapter のみ更新

    要点：
    　　Transformer の「読む力」はそのまま
    　　埋め込みとしての「距離構造」だけを学習


    ○ コントラスト学習の Loss（目的関数）
    代表的な Loss：
    　　InfoNCE Loss（コントラスト損失）

    数式（概念）：
    　　Loss = − log ⁡exp⁡(sim(A,P)/τ)
    　　　　　　　　・∑ {exp⁡(sim(A,X)/τ) | X∈ batch }
    　　A：Anchor
    　　P：Positive
    　　X：バッチ内の他のサンプル（Negative として扱う）
    　　sim：コサイン類似度
    　　τ：温度パラメータ

    解釈：
    ・｢類似文は近くに・無関係文は遠くに｣
    　という空間が形成される：
    　　　バッチ内のデータを使って，
    　　　　正例（positive）は近づける
    　　　　負例（negative）は遠ざける
    　　　という構造を作る。
    ・LoRA / Adapter は「追加の微調整層」なので，
    　「意味空間を少しだけ変形」の構造になっている。