Up AI 技術論は, エントロピー説 作成: 2026-03-16
更新: 2026-03-19

    AI 技術論は，LLM の ｢テクスト生成｣ を，つぎのように説明する：
    テクストの順序列 (自己史) S に，ユーザの入力テクストAが加わる。
    すると，S + A を文脈とするトークン t1 が，自ずと析出する。
    すると，S + A + t1 を文脈とするトークン t2 が，自ずと析出する。
    これが或る tn で，自ずと停止する。
    そして，T = t1+ ‥‥ + tn が，S + A に整合的なテクストになっている。

    ここで ｢自ずと｣ は，｢確率で決まる｣ ということである。
    AI 技術論は，ChatGPT の出力するテクストを，このようにしてできたものとする。


    こういうわけで，AI 技術論は ｢テクスト生成｣ を ｢エントロピー｣ で説明していることになる。

    S + A は，エントロピーを高くしようとする結果，S + A + t1 になる。
    S + A + t1 は，エントロピーを高くしようとする結果，S + A + t1 + t2 になる。
    これが，或る tn に至って，停止する。
    S + A + t1 + ‥‥ + tn を以て，｢エントロピー最大則｣ を実現したというわけである。


    AI 技術論は，｢確率｣ を事象の動因のように思っているふしがある。
    一種の ｢原因と結果の取り違え｣ である。

    エントロピー増大則は，ランダムへの推移であり，エネルギーを ｢熱｣ に変えて温度０に向かう推移である。
    テクスト生成は，これの真逆の推移。
    エネルギーの供給を受け，エントロピーが減少し，温度が高くなる。

    テクスト生成は，物理学の謂う ｢仕事｣ である。
    これを見損じてはならない。
    坂を転がり落ちるではなく，坂を登る。
    強いて ｢確率｣ のことばを使って言うならば，確率に逆らうのである。