Up 高コスト (資源の大量消費) 作成: 2026-03-02
更新: 2026-03-02

    NAS は，リソースの大食いである。

    初期のNAS（たとえば 2017年の Neural Architecture Search by Reinforcement Learning）は，1つのモデルを見つけるのに数百GPU日かかっていた。

    　　｢GPU日」は，｢GPU１機で１日かかる｣。
    　　｢数百GPU日｣ は，
    　　　　｢GPU１機だと数百日かかる｣
    　　　　｢１日で終わらせるには，数百機の GPU か要る｣


    ○ NASの軽量化・効率化の工夫
    ① Weight Sharing（重み共有）
      すべてのアーキテクチャを個別に訓練するのではなく，1つの巨大な「スーパーグラフ（Supernet）」を訓練して，その中から部分的に切り出して評価。
      代表例：ENAS（Efficient NAS）

    ② サロゲートモデル
      実際に訓練せず，過去のデータから性能を予測するモデル（回帰モデルなど）を使って評価を高速化。
      これにより，訓練コストを大幅に削減できる。

    ③ 低リソースNAS（Low-Cost NAS）
      モバイル向けやエッジデバイス向けに，小規模な探索空間でNASを行う。
      例：ProxylessNAS，Once-for-All（OFA）

    ④ マルチフィデリティ最適化
      最初は粗い評価（少ないエポック，小さいデータ）でざっくり選別し，有望なものだけを本格的に評価する。




≈