| Up | Vizier (Google) | 作成: 2026-03-11 更新: 2026-03-11 |
NAS は,アーキテクチャを設計する。 Vizier の出番は,モデルができてから。 モデルのハイパーパラメータを,さらに,最適化しようとする。 例えば,製品になっている Transformer も,Vizier の適用対象になる, ハイパーパラメータ
「用途/目的」 で NAS と Vizier の違いを立てると: Vizier:ハイパーパラメータ最適化(HPO) Vizier は HPO エンジン (製品) の位置づけになる。 NAS の設計の中にも,ハイパーパラメータの調節もある。 実際,そのアルゴリズムは,Vizier のものと非常に似ている: 進化戦略 バンディット など) 「ハイパーパラメータ最適化」 が 「ブラックボックス最適化」 と呼ばれるのは,つぎの意味合いから: 計算に時間がかかる 1 回の評価が高コスト Vizier が最適化するハイパーパレメータは, バッチサイズ Transformer のヘッド数 FFN の隠れ次元 CNN のカーネルサイズ 正則化係数 ドロップアウト率 など |