Up 「生成しようとするテクストを生成する」 作成: 2025-09-03
更新: 2025-09-04

    Transformer のテクスト生成を，通説は「トークンの連想」で説明する。
    この説明は，Transformer のアルゴリズムをつぎの関数だと思っていることが，もとである：
    　　「入力のテクストに対し，これに追加するトークンを出力」

    これは，間違いである。
    テクストの入力に対するアルゴリズムの出力は，＜処理＞なのである：

    　　テクスト　　トークン　トークン　‥‥　トークン　<eos>
    　　　　　　　　　↑　　　　↑　‥‥‥‥‥　↑　　　　↑
    　　　　　　処理　│　処理　│　‥‥‥‥‥　│　処理　│
    　　　　└────┴────┴　‥‥‥‥‥　┴────┘
    　　　　　　　　　　　　＜処理＞　　　　　　　　


    アルゴリズムは決定論であるから，テクストを入力した段階で＜処理＞が決まっていることになる。
    よって，生成されるトークンも決まっている。
    Transformer 脳のテクスト生成は，まさしく
    　　「生成しようとするテクストを生成する」
    なのである。

    一方，ひとはこの決定論を分析したり追跡したりすることができない。
    人知の及ばない複雑な世界の出来事だからである。
    そう，脳は人知の及ばない複雑な世界である。