○ MML（最大尤度学習）。
目的は，｢与えられたテンプレートに対して，良いアーキテクチャを出力する確率を最大化する」こと。
つまり，条件付き言語モデルとして訓練される。
ロス関数は，通常のクロスエントロピー損失（言語モデルと同じ）。
○ さらに進んだアプローチ
最近では，以下のような工夫もされているよ：
・条件付き生成（Conditional Generation）：
タスクのメタ情報（入力サイズ，制約，データセット名など）をプロンプトとして与える。
・自己蒸留（Self-Distillation）：
自分で生成したアーキテクチャの中から良いものを選び，それを再学習に使う。
・マルチタスク学習：
複数のタスク（画像分類，物体検出など）を同時に学習して，汎用性の高いコントローラを作る。
|