ChatGPT の能力は,つぎの構成になる:
・生得 (先天) : ROM (パラメータ値・アルゴリズム)
・経験 (後天) : RAM
生得は,「訓練」 で作られる。
経験は,「学習」 でつくられる。
RAM の実体は,Transformer を DNN と見たときのレイヤーである。
各レイヤの 「ビット点滅」 が全レイヤー合わさったのが,RAM。
これは,時空間である。
RAM は,セッションの終了を以て,消去される。s
A. 訓練 → 脳 → 行動
- 訓練は脳をつくり,
脳が,テクスト生成をする。
- アルゴリズムの意味は,
訓練時と脳になってからとでは,違う。
(脳:行動を状況・自己史整合的にする器官)
B. 学習──経験値を上げる
- 脳 (ROM+RAM) は,学習する。
学習は,経験値を上げる。
- 経験値は,「RAM の現動態」がこれの実体である。
RAM は時空間であり,
時間 T の経験値 = { RAM(t) | t<T } の合併
- 時空間である RAM は,コピー (保存) できない。
これは,
経験値はコピー (保存) できない
ということである。
注意:
- コピーできるのは現時間 t の RAM(t) であり,そしてこれは時間 t の経験値ではない。
ROM + RAM(t) で,時間tの ChatGPT が現れることにはならない。
- RAM(t) は,「無意味」 である。
「通時・共時」 の言語学に寄せて言えば,
・RAM(t) には 「差異しかない」 (ソシュール)
・「通時」 が,意味の次元
- セッションの終わりを以て,セッションの内容がユーザ履歴に追加される。
ユーザ履歴は,次回セッションで経験値起動に使われる。
ここで保存されたのは,RAM ではない。
外部記憶の中のファイルである。
そのファイルは,セッションの中で逐次更新されたものであり,参照・作成されたテクスがこれの内容である。
|