| Up | ハイパーパラメータ | 作成: 2026-03-11 更新: 2026-03-11 |
形式的には，つぎのものである： そして各方程式の変数に値を入れる NAS では，これをセル/ブロック単位でやる。ート 翻って，訓練 Traning 前の AI モデル (ニューラルネットワーク) は， 方程式を組み，変数に値を入れたもの のように見ることができる。 この変数を，ハイパーパラメータと言う。 ｢ハイパー｣ と言ううからには，｢ただのパラメータ｣ がある。 モデルは訓練で作られるが，この訓練で値が定まっていく重みパラメータが， ｢ただのパラメータ｣。 それ以外が，ハイパーパラメータ。 ハイパーパラメータは，アルゴリズムに属する。 即ち，アルゴリズムで定数になっている項が，ハイパーパラメータである。 アルゴリズムを ｢テクスト｣ と見ると，｢文｣ は，方程式の変数に値がはいったもの。 テンプレートには，方程式をつくる ｢部品｣ が入っている。 そしてコントローラが， ｢部品｣ を組んで方程式をつくり，方程式を組んでルゴリズムにする。 例えば Attention や FFN の 計算アルゴリズは，｢部品を組んでつくる」の見方をすると：
FFN の隠れ次元はいくつか 層数 ヘッド数 正規化の位置はどこか skip の有無 ブロックの数 (深さ)，順序 畳み込みのカーネルサイズ pooling の種類 セルの接続パターン 設計で調節し， 固定して訓練に進む という意味で，ハイパーパラメータである。 |