Up ChatGPT が AI 設計する条件 作成: 2026-03-05
更新: 2026-03-05

    ChatGPT は，AI を設計する能力 (ポテンシャル) がある。

    ChatGPT は，AI 設計に関する知識・スキルを，生得 (ROM) で持っている。
    　 　例えば，
    • Python の文法や構文
    • よく使われるライブラリ（NumPy, PyTorch, TensorFlow など）
    • コーディングのベストプラクティス
    • よくあるエラーとその対処法

    あと必要なのは：
    　　｢必要なだけの時間と資源が与えられる｣

    実際，AI 設計は，高コストである：
    • NASコントローラは，設計・評価の繰り返しが，何千回，何万回になる。
    • モデルの訓練が重いプロセスになるので，初期のNAS（たとえば 2017年の NAS by RL）では，1つのモデルに到達するのに ｢数百GPU日｣ を要している：
      　　｢GPU１機だと数百日かかる｣
      　　｢１日で終わらせるには，数百機の GPU か要る｣


    NASコントローラの一連の作業の始まりから終わりまでは，ChatGPT のセッションに対応する。
    NAS のセッションは，ChatGPT よりずっと長い。
    この長さは，｢設計の勘所」を身につけていくのに必要なものである。

    一般に，LLMは，セッション中に保持できるトークン数（単語や記号の単位）に限りがある。
    これは「コンテキストウィンドウ」と呼ばれ，モデルによって数千〜数万トークン程度。
    ただし，これを超えると強制終了というわけでもないようで，古い情報から順に忘れていく（古い方から捨てていく）らしい。

    そして，ユーザは生身の人間なので，長時間のセッションは生理的に無理がある。
    ユーザと LLM のやりとりは，いくら長くても，十の桁数に留まるだろう。


    ChatGPT のセッションが長くなったときの RAM 容量の問題は，RAM を外部記憶に延長することで対応できる。

    わたしは，ChatGPT のセッションが短いのは，つぎが本質的な理由と考えてきた：
    　　｢再帰処理されるテクストが増える (文脈が深くなる)。
    　　そしてこれは，計算量の指数関数的増大を意味する。｣

    しかし，案外そうでもないのかも知れない。
    この場合も，｢古い方から捨てていく (文脈から外す)」で行けるのかも。


    こうして，ChatGPT は，セッションを持続させるだけで， AI を設計できることになる。
    NASコントローラのように，設計の経験値を積み上げつつ，アーキテクチャの完成にまでもっていく。

    念のため：
    ｢経験値の積み上げ」は，RAM に存する。
    RAM の動態は，保存できない。
    だから，｢セッションを持続させる」なのである。