AIタスク別 実効容量一覧|ハルシネーション・文脈崩壊・整合性劣化 発生予測 付録資料

著者：naka.naka.777

本資料は「AIはなぜ『数万文字』で降伏するのか」の付録データです。

推定層数・実効容量はすべて著者の創作・観察体験に基づく仮説的推測値であり、査読付き研究ではありません。

AI利用にて、著者自身が文書読み込み、査読、読解、翻訳、文書統合でAIの崩壊挙動が気になり、予測する為に作成しました。参考資料として条件限定し作成しています。

参考にしてもらってもいいし、しなくても大丈夫です。

※予測する際は、モデル毎の計算が必須と考えています。

この資料作成方法

①Grokで、LLMのハルシネーション発生、文脈崩壊、整合性劣化が起こる作業各トップ10を検索提示依頼。
②計30件の①作業をchatGPTに提示し、重複作業の統一及び分類依頼。
③claudeに②の作業を何層か分析依頼。参考トークン抽出の為、処理負荷係数を1に固定し限界実質トークン計算を依頼

トークンとは

AIが文章を処理するために分割した最小単位（単語・単語の一部・記号など）
日本語：1トークン ≈ 約1〜2文字
英語：1トークン ≈ 約4文字

下記はあくまで参考値です。
各モデルで総トークン量が違うため、差が表れます。
モデルのバージョンアップにより随時変化します。