メインコンテンツへスキップ

圧縮と知能── エントロピーの再発明から業務統治まで ──

    情報理論の「圧縮」という補助線を起点に、予測・圧縮・知能・統治の四層を一本の線でつなぐ概観。3Blue1Brown「エントロピーの再発明|圧縮と知能 Part 1」の論点を整理し、生成AI/LLM理解、さらに法律テキストの構造化や、監査可能なAI運用基盤の設計思想へと接続する。事実(情報理論の定理・既存研究)と、解釈・推測(業務設計への接続・Part 2 予想)は文中で区別して記す。

    目次

    序章 なぜ「圧縮」という補助線が効くのか............................................. 3
    第1章 予測と圧縮の等価性.................................................................. 4
    第2章 接頭符号から算術符号へ ── 実装可能性の条件......................... 5
    第3章 −log p の必然性 ── 公理的特徴づけ........................................ 6
    第4章 エントロピーとシャノン限界..................................................... 7
    第5章 シャノンの人間実験とLLM........................................................ 8
    第6章 「圧縮=知能」の射程と境界........................................................ 9
    第7章 法律テキストの二層エントロピー............................................... 10
    第8章 統治される圧縮 ── 捨てた残差の監査.................................... 11
    終章 Part 2への接続 ── MDL・KL・算術符号.................................. 12
    補遺 熱力学との接続 ── 秩序はただでは買えない................................ 13


    あなたへのおすすめ