| Up | ｢探索空間｣ | 作成: 2026-02-28 更新: 2026-03-06 |
テクストになる ｢トークンの組み合わせ｣ の探索 と見てみよう。 すると，LLM の脳内は， トークンの組み合わせの ｢探索空間｣ ということになる。 しかし，それがどんな ｢探索｣ なのかは，わからない。 わかるとはアルゴリムの形でわかるということだが，この ｢探索｣ はアルゴリム が説明の形になるものではない。 そもそも，テクスト作成が ｢探索」であるとは思えない。 NASコントローラについて語られる ｢探索｣ ｢探索空間｣ は，上に述べたのと同じである。 この場合は，｢トークン｣ が「アーキテクチャの部品」に換わる。 この「アーキテクチャの部品」は： Conv，LSTM，Self-Attention，MLP… ・層の数 深さ ・各層のハイパーパラメータ カーネルサイズ，ヘッド数，隠れ次元… ・活性化関数 ReLU, GELUなど 非線形性を加える関数 ・接続の仕方 直列，並列，スキップ接続，分岐… ・モジュールの繰り返し構造 セル構造，ブロック構造 コントローラの「アーキテクチャ作成｣ は，LLM の ｢テクスト作成｣ と同じである。 そして，テクスト作成の仕組みがわからないように，アーキテクチャ作成のしくみもわからない。 しかしひとは，しくみを「探索」にした。 ｢探索｣ の絵図が，この場合わかりやすかったからである。 その絵図は：
部品の並んだ棚があって，ここから部品を選んで組み立てる。 これは，｢部品の組み合わせ全てのうちから１つを選ぶ｣ である。 この行為を，｢探索｣ と呼ぶ。 そして，この探索が立ち向かう ｢部品の組み合わせ全て｣ を，｢探索空間 (Search Space)｣ と呼ぶ。 しかしこの説明だと，コントローラは，アーキテクチャをつくれないことになる。 部品の組み合わせ全ては，天文学的な数になるからだ。 そこから１つは，選びようがない。 LLM のテクスト作成も，｢トークンの組み合わせ全てのうちから１つを選ぶ｣ ではない。 LLM は，造作ないように，自己史 (文脈) 整合的なテクストを作成する。 コントローラも，造作ないように，自己史整合的なアーキテクチャを作成する。 翻って，「自己史整合的」が，｢探索の爆発」を免れることに利いている。 この能力は，訓練でつくられた。 そしてこの能力は，説明できない。 ひとは，訓練アルゴリズムで説明できそうに思う。 ｢作ろうとした物が作られた筈だ」と思うからである。 しかし，AI モデルの場合は，こうではないのだ。 「部品」は，埋め込みと訓練で出来上がる。 埋め込みは，LLM のトークン埋め込みと同様で，PyTorch や TensorFlow をツールとして使う： |