Up 語彙固定型 作成: 2025-05-17
更新: 2025-05-17

    使用するトークン (語彙 vocabulary) は，事前に確定される。
    この仕様は，「語彙固定型トークナイザー」と謂われる。

      大規模な事前学習では，語彙を事前固定するのが常道。