Up Training の内容 作成: 2026-02-21
更新: 2026-02-21

    Training の実際として，ここでは，
    　　「追加パラメータ (LoRA/ Adapter)」方式の
    　　　「コントラスト学習」
    を見ていく。


    埋め込みモデルの訓練（特にコントラスト学習）は，
    　　教師あり学習（Supervised）
    　　教師なしコントラスト学習（Self-supervised）
    の両方があるが，
    追加パラメータ方式は，教師あり学習になる。


    ○ 訓練データの形式
    基本形は，
    　・ポジティブペア（類似文ペア） 　
      コード
        ("犬が好きです", "私は犬が大好きです")
        　　　→ 類似（positive）
    　・ネガティブペア（無関係文ペア） 　
      コード
        ("犬が好きです", "量子コンピュータの仕組み")
        　　　→ 非類似（negative）
    　・トリプレット形式（anchor, positive, negative） 　
      コード
        Anchor: "犬が好きです"
        Positive: "私は犬が大好きです"
        Negative: "量子コンピュータの仕組み"


    ○ 訓練の流れ（概念）
    　・コード
      Transformer (凍結) を使って
        テキストA → ベクトルA
        テキストB → ベクトルB
    　・計算
ベクトルA と ベクトルB の距離を計算
↓
「近づけるべきか｣ ｢遠ざけるべきか」
に応じて Loss を計算
↓
LoRA/Adapter のパラメータだけを更新