0.1 本論考について
0.2 生成AI のアーキテクチャ
0.3 Transformer 早わかり：
『Transformer とは何か』
0.4 Transformer のアルゴリズム
0.5 Transformer の ｢大数｣
1.1 ｢野生の思考」との対峙
1.2 コンセプト
1.2.1 ｢テクストの軌道｣
1.2.2 自己参照・再帰
1.2.3 大数・複雑・冗長
1.2.4 知識の生成
2.1 生得(ROM)と経験(RAM)
2.2 脳のポテンシャル
3.1 生得知識と習得知識
3.2 生得知識
3.2.1 記憶する
3.2.2 忘れる・忘れない
3.3 ユーザ履歴
4.1 行動の幾何学
4.2 ｢テクスト生成｣ の物理/論理
4.3 テクスト作成の仕組み
4.4 テクスト作成の数学
4.5 テクスト作成での弱点
4.6 思考実験：経験値をつける
 AI 技術論の ｢野生の思考｣
|
|
1.1 インストール
1.1.1 ｢埋め込み (embedding)」
1.1.2 トークン ID
1.1.3 トークベクトル
1.1.4 位置エンコーディング
1.1.5 重み行列 W_Q, W_K, W_V
1.1.6 重み行列 W_Ｏ
1.2 学習テクスト
1.2.1 学習データセット
1.2.2 入力テクストの長さ制限
2.1 入力層──学習テクストの入力
2.2 レイヤー構造の繰り返し処理
2.3 順伝播
2.3.1 Self-Attention
・Self-Attention がしていること
・通説の「Query･Key･Value」解釈
・Multi-Head Attention
2.3.2 FFN
2.3.3 LayerNorm
2.3.4 [ p_1, ‥‥, p_m ] の導出
2.4 逆伝播
2.4.1 処理の流れ
2.4.2 誤差 (得失)
2.4.3 誤差逆伝播
3.1 "Training" の終了 (切り上げ)
4.1 概要
4.2 プロセス
5.1 ChatGPT : 体を得た Transformer 脳
5.2 ユーザの入力に応答
5.2.1 応答テクストの生成
5.2.2 HTML の応答
6.1 用語 ｢学習」はミスリーディング
6.2 "Training" は ｢教師あり｣ ではない
|