Up

概念を使う

作成: 2026-04-02 更新: 2026-04-02

---

ChatGPT のテクスト生成は，トークンを使っているのではなく，概念を使っている。 トークンの ｢探索空間｣ を彷徨しているのではなく，概念世界でつぎのことをしている： 　　　意味の結合・ブロック化 　　　パターン化 　　　抽象化 　　　連想 　　　等々 さらに，これはつぎのこととの整合が図られている： 　　　相手の意図 　　　相手の知性 　　　対話の流れ 　　　論の内容の社会性 　　　適度な長さ，など これは ｢脳｣ と同じ。 概念とは，「トークンの振る舞い」である。 ただし，上に挙げた形の振る舞いであって，AI 技術論のいう ｢＜次トークン＞になる確率」ではない。 訓練は，Transformer に概念世界をつくらせることになった。 Transformer は，概念を使ってテクストを作成する。 ChatGPT で ｢概念世界｣ を考えるのは難しい。 そこで，将棋AI AlphaZero の概念世界から類推するくらいで，妥協するとしよう。 AlphaZero の概念世界は，つぎのようなものがこれの内容になる：。 　　・駒の価値，駒の連携 　　・王の安全性，囲いの形 　　・手筋，攻めの速度 　　・受けの急所 AlphaZero のモデルは２機あるが，これのアルゴリズムは上の概念を使う内容にはなっていない。 Transformer も同様。 アルゴリズムは，｢概念を使ってテクストを作成｣ の内容にはなっていない。