Up Vizier (Google) 作成: 2026-03-11
更新: 2026-03-11


    ここで Vizier は,Google Vizier (Vertex AI Vizier / OSS Vizier) を指す。

    NAS は,アーキテクチャを設計する。
    Vizier の出番は,モデルができてから。
    モデルのハイパーパラメータを,さらに,最適化しようとする。
    例えば,製品になっている Transformer も,Vizier の適用対象になる,
       ハイパーパラメータ


    「用途/目的」 で NAS と Vizier の違いを立てると:
      NAS:アーキテクチャ最適化(AOS)
      Vizier:ハイパーパラメータ最適化(HPO)

    Vizier は HPO エンジン (製品) の位置づけになる。


    NAS の設計の中にも,ハイパーパラメータの調節もある。
    実際,そのアルゴリズムは,Vizier のものと非常に似ている:
       ベイズ最適化
       進化戦略
       バンディット
       など)


    「ハイパーパラメータ最適化」 が 「ブラックボックス最適化」 と呼ばれるのは,つぎの意味合いから:
      中身の式がわからない
      計算に時間がかかる
      1 回の評価が高コスト

    Vizier が最適化するハイパーパレメータは,
       学習率
       バッチサイズ
       Transformer のヘッド数
       FFN の隠れ次元
       CNN のカーネルサイズ
       正則化係数
       ドロップアウト率
       など