Up 訓練 作成: 2026-03-21
更新: 2026-03-21

    DNN の訓練は，
    　　訓練用データをセットで用意し，
    　　データを１つひとつ「ただなぞらせる (読ませる)｣
    というものである。

    訓練のアルゴリズムは，順伝播と逆伝播に分かれる。
    順伝播は，ただ読ませるプロセス。
    逆伝播は，その読み方が読ませたい形になるように，各種パラメータを変更するプロセス。


    ○ チャットAI
    データは，テクスト。
    登録トークンの ID 表を，別途つくっておく。
    登録トークンの数を，N とする。

    入力したテクストは，トークンベクトル列に翻訳される :
    　　　　[ x_1, x_2, ‥‥, x_n ]

    ｎ に対応して，N次元ベクトルの変数の列が用意される :
    　　　　[ p_1, p_2, ‥‥, p_n ]
    これは，｢テクストをどう読んだか｣ を書き込む変数として，使われる。

    即ち，順伝播で p_i ( i < n ) に入った値に対し，これがつぎの形になるように，逆伝播でパラメータを調節する：
    　　　p_i は，ほぼ one-hot
    　　　p_ik ≈ 1 となる k は，トークン x_(i+1) の ID


    ○ 画像認識AI
    画像認識は，画像のカテゴリーが何かを答える，というものである。

    訓練用データは，画像 I とカテゴリー ID y のペア (I, y)。
    登録カテゴリーの ID 表を，別途つくっておく。
    登録カテゴリーの数を，N とする。

    N次元ベクトルの変数 p が用意される。
    これは，｢画像をどう読んだか｣ を書き込む変数として，使われる。

    即ち，順伝播で p に入った値に対し，これがつぎの形になるように，逆伝播でパラメータを調節する：
    　　　p は，ほぼ one-hot
    　　　p_k ≈ 1 となる k は，カテゴリー y の ID