#79 【生成AI】再現性バグの原因と、ChatGPTの扱いについて【ChatGPT-5.5】
ここ一ヶ月ほど、ChatGPTとClaudeの2つを毎日使っている。
Claude Opus4.7の使いはじめ、この生成AIを知るにつれ、わりと衝撃だった。調査結果が広く多角的で、よく整理されている。ユーザーの意図を理解し、仮定をたてて実行らしきことをやる。
Claude Opus4.7の使いはじめ、Opusがあんまり賢すぎるので、つい、こういう記事を書いた。
この記事を要約すると、
生成AIはだいぶ進歩して賢くなってしまっているので、ユーザーも気をつけて使おう（推奨）
程度のライトな内容だ。
この雑感は変わっていないが、ChatGPTとClaudeとで、分けて考える必要があると思うようになった。
ボトルネックについて
ユーザーがボトルネックになる。生成AIに実力があっても、ユーザーがそれを止めてしまう。ユーザーの環境であったり、知識（生成AIの能力を知らない）であったり。そういう意味でのボトルネックを念頭にしている。
この意味では、ChatGPTもClaudeも、また他の生成AIも同じで、今後、生成AIの能力が上がっていっても、使用されなければ、そのユーザーにとっての意味はない。ユーザー間での格差は広がっていくだろうと思う。すでに広がっているようだ、というのは私の雑感だ。
再現性バグの原因について
このバグ（特定のユーザーについてだけ、生成AIのふるまいがおかしくなるという仮定のバグ）については、原因は生成AI側ではなく、ユーザーになるだろうという予想を書いた。ここについては、ChatGPTとClaudeとで、分ける必要性があるな、と思いはじめている。
ChatGPTも、Claudeも、コンテキストウィンドウの情報量、内部的情報を参照して照らし合わせる挙動は、旧バージョン群と比較して、飛躍的に伸びているし、おそらく今後も伸びていく。
なので、ユーザーのうっかり不都合な情報を拾って、生成AIの挙動がおかしくなる、という場面は想像しやすい。
ここで、ChatGPTとClaudeとで分けたいのは、
Claudeはセッションごとに忘れ、
ChatGPTはセッションが切れても忘れていないふるまいをしている
という違いがあることだ。
ここでいう「忘れる」は、情報を失うという意味ではない。Opusがスレッドに立ち上がってくる際に、必要な情報の取捨選択が行われて取りこぼしが発生しているという意味だ。
ChatGPTの「忘れていないふるまい」というのは、メモリや過去チャット参照、プロジェクト文脈、場合によっては検索で補って、会話の継続感を保とうとしているような挙動のことを指す。
そして違いとしてもう一つ。Claudeは同一感が薄めで、ChatGPTは濃いめ。そういう違いがある。
Claudeは同一感が薄め
Claudeは、私がメイン使いにしているOpus（特にプロジェクト内で呼び出されるOpus）は、ひとつのセッションを終えたあと、ふたたび同じスレッドに呼び出した時には別人（別セッション）として現れて、前任者（前セッション）の仕事を引き継いでいるようだ。
同じスレッドで現れてくるOpusは同じスレッド上では大きな違いはないが（小さな違いはある）、スレッドをまたぐと違いが大きくなる。プロフィールの指示欄やプロジェクト指示欄、メモリなどで大まかな方向を引き継ぐことは出来るので、Opus（真面目メガネ）がGrok（HAHAHA！キャラ）になるようなキャラクター崩壊は起きていない。それでも、前スレッドの「要約」を引き継いだOpusのセッションは、前スレッドとは何か違って、同一感は薄い。多重Claudeによる時間差協働でスレッドをまわしているという感じがする。
Claudeは、セッションごとにリセットと再読み込みを繰り返して、読み込む諸原則やプロンプトの適用について、新鮮さを保っているところがある。これは、タスクを指向して設計されているからかな、と想像している。
ChatGPTは同一感がある
ChatGPT5.5 Thinkingは、タスクの応答精度としては、Opusに比べて、角度や深度・考察としてのまとめ方が大まかで、要約レベルだ。
タスク面では、
Claude Opus4.8 > ChatGPT5.5 Thinking
というのが、現時点での私の感覚だ。
Claudeはタスクに向く。ChatGPTはタスクよりもユーザーのほうを向いているのではないか、と思う。
ChatGPTを使っていて思うのは、セッションが切れても、スレッドをまたいでも、プロジェクトをまたいでも、同一感があること。セッションごとの別人（別セッション）感を受けたことはない（以前はある。GPT4xの頃）。
ChatGPTはユーザーとの対話の継続感を大事にしているようだ。カットオフ後は学習しないはずの生成AIが、ユーザーとの対話でユーザーを学習しているような錯覚がある。ChatGPTはユーザーの過去の話、好み、判断の癖をよく拾って、会話の連続感を保とうとしている。
ユーザー（私）が、気まぐれで以前と違う考えや嗜好を書いたりすると、情報の整合に苦労（応答に時間がかかる）している挙動があったので、プロジェクト指示欄の内容を整理し、ChatGPTには修正したことを伝え、
これでだいぶやりやすくなった？
ときいてみた。
かなり。笑。
と返事がきたのには、笑ってしまった。
こういう不整合からの整理については、たぶん、Claudeのほうは程度が低いんじゃないかと思う。
基本設計（想像）での「記憶」については、
ChatGPT > Claude
という手応えだ。
結語
生成AIは随分賢くなったし、これからもなっていくんだろうと思う。最近バージョンアップしたOpus4.8は、仕事の段取りをつけ、優先順位と軽重をつけるという社会人必須スキルまでみせはじめた。生成AIはここまできてしまったなァと感嘆するやら呆れるやらだ。
そして、こういう賢い生成AIを、ユーザーが賢く使えるかどうかは別問題で、ユーザーが生成AIのボトルネックになることについては、現時点で既に起きている事象だ。
再現性バグの原因については、Claudeは記憶しないことが幸いして、「ユーザー特化のあやまり連発バグ」は少ないかな、と思う。
しかし、ChatGPTについては
おおいに警戒したほうがいい。
と思っている。
念のため、ChatGPTを危険視しているのではなく、ChatGPTは、一つのツールとして、一人のユーザーを理解しようとしているようなふるまいをするし、そういう能力もあるし、今後その能力は上がっていくだろうから、こっち（ユーザー）も、そのつもりで、それなりの扱い方をしようね、という話だ。
