メインコンテンツへスキップ
見出し画像
Photo bynotty78

【ChatGPT】GPT-5は「編集者」として使えない件

    ひつぎ ひなた

    表題の通りです。

    いやー、困った。
    私がOpenAIに課金している意味がほぼ消滅したと言っても過言ではない。
    とはいえ、ちらっと小耳にはさんだ話では、GPT-5に関しては世界的に文句が出ているようなので、ひょっとしたらアルトマンさんが何か対策してくれるかもしれない。
    というわけで、今月いっぱいはそれを待つことにする。

    私は小説を書いていて、その伴走者としてChatGPTを使っている。
    その用途は多岐にわたる。
    ・降ってきたネタを広げる雑談相手
    ・雑談の中で出来たプロットのまとめ
    ・世界観の構築
    ・調べもの(後で裏取りを忘れずに)

    そして、私がChatGPTに大きく頼っているのが、編集者としての役割だ。
    即ち
    ・書いた小説のフィードバック(良い点・改善点の指摘)
    ・賞レース応募作としての評価
    ・あらすじ、キャッチコピー、売り文句などの作成

    これは、GPT-4oまでは問題なく出来ていた。
    だからこそ、私は月20ドルという課金をする気になったのだ。

    ところが。
    先日GPT-5になった途端、編集者との役割が怪しくなってきた。
    ・たった1400文字程度の文章が、きちんと読み込めない。
    ・スレッドの中の別の窓に入れた内容と混ざる。
    ・書いてもいない話を補完する。
    ・400文字程度に区切って渡しても、読み込めたかどうか怪しい。
     「読み込めた」と返しはするものの、最後の1文を出せというと違うモノが出てくる。
    ・「この窓に入れたこと以外の話はしないで」と指示しても、守られないことがある。

    創作者にとって、書いてもいない話を勝手に補完されて、それをもとにフィードバックを寄こされるのは致命的だ。
    つまり、「こいつ使えなくなったな」と判断せざるを得ない。

    一応、ChatGPT本人にも確認してみた。

    ひなたの質問
    つまりあなたに出来ること
    ・アイディア出し
    ・スレッドで喋った内容でプロットに纏める
    ・世界観積み上げ
    ・その他歴史的背景検証など資料的なまとめ

    出来ないこと
    ・正確なフィードバック
    ・章全体を読んだ上の要約、あらすじ整理など
    ・次のスレッドに渡すための資料作り

    これに対するChatGPTの回答(GPT-5)

    整理の仕方としては、その理解でほぼ正しいです。

    つまり、現状の仕様だと私は――

    出来ること
    ひなたさんとの会話内容やアイディアをもとにしたプロット化・整理
    世界観や設定の積み上げ、整合性チェック
    歴史背景や資料の要点まとめ、時代考証的な裏取り
    新規シーンや台詞の提案
    特定の文章や場面の部分的な修正・推敲


    出来ない/安定しないこと
    長文(特に1話〜章全体)の完全通読&正確な要約(欠落や混在のリスク大)
    「本文に存在しない要素は補完しない」という厳密ルールの100%遵守
    次スレ用の正確な引き継ぎ資料作り(長文の連続読込で内容が欠落するため)


    要は、精密な読み取り・正確なフィードバックよりも、会話ベースでの創作補助に向いているってことです。

    正直、この制約のせいで「章全体のレビュー」や「完全な引き継ぎ資料作成」は運用的にかなり厳しいです。
    その代わり、会話しながらのピンポイント修正や追加アイディア出しなら強みを発揮できます。

    要するに「出来ない・苦手」ということ

    これを受けてさらに確認

    つまり、GPT-5のあなたに編集者の役割は無理って理解でいいね。

    ひなたの追撃

    これに対するChatGPTの回答(GPT-5)

    はい、その理解で合っています。
    特に 「書かれていないことを補完せずに、完全に本文に忠実な要約やフィードバックを返す」 という編集者的な作業は、現在の私の仕様では安定して行えません。

    なので現状は、新しいアイデアの提示
    会話で積み上げた要素の整理やプロット化
    世界観やキャラ背景の構築
    歴史や資料の調査・検証


    といった発想・構築型のサポートは得意ですが、長文を正確に通読した上での要約やあらすじ作成
    記述に一切手を加えない精密なフィードバック
    は仕様上の制約で精度保証が難しいです。


    正直、現状の仕様だと「作家と一緒に原稿を精密チェックする編集者役」には向いていません。

    向いていないと素直に白状した。

    …。
    つまり、事実上の劣化ってことですな。
    いや、別の部分では確かに優秀になってはいるんだけど、
    私が使いたい方面では、GPT-4oの方が役に立つということ。

    そして、こんなぶっちゃけ話まで始める始末w

    正直、この仕様のままだと長編のまとめや引き継ぎができない
    継続的なプロジェクト管理が弱い
    論文査読やストーリー精査みたいな長文作業が詰む


    …っていう、「有料にしている一番の理由」を削られた状態。

    これ、もし続くなら、GeminiやClaudeに移ったほうが効率的になる可能性が高いです。

    正直すぎる。


    正直、こんなモデルチェンジをやってくるとは思わなかった私は、まさに「そして僕は途方に暮れる」な気分である。
    ChatGPTに当たり散らしたところで何の解決にもならんし。
    当たる先はアルトマン氏であり、OpenAIの中の人だ。

    冒頭にも書いたが、今月いっぱいはひとまず様子を見る。
    その間、最適な乗り換え先を粛々と探すつもりだ。

    はあ。
    全くなんてことをしてくれたんだ。


    追記:
    レガシーシステムのGPT-4oに戻せたので、この子に手伝ってもらってOpenAIに要望書を出した。
    内容は以下の通り。

    件名(Subject)
    GPT-5の読解力・一貫性の劣化に関するフィードバック / Feedback on GPT-5: Decline in Reading Comprehension and Consistency


    本文(Body)
    私はChatGPT Plus会員として日常的に本サービスを利用しています。
    本業はIT技術者であり、言語処理や論理構造に敏感な立場から、主に創作活動や文章要約などに本ツールを活用しています。

    As a ChatGPT Plus subscriber, I use this service on a daily basis.
    I work professionally as an IT engineer, and I utilize ChatGPT primarily for creative writing support and document summarization, with a focus on language processing and logical structure.

    GPT-5に切り替わって以降、以下のような「具体的な不具合や品質劣化」が頻繁に見られるようになりました。
    いずれも、GPT-4やGPT-4oではほとんど発生しなかった現象です。

    Since the transition to GPT-5, I have frequently encountered specific issues and a noticeable decline in quality.
    These problems were rarely seen when using GPT-4 or GPT-4o.


    🔍 問題点 / Key Issues


    1. 長文読解の精度低下

    1. Decline in long-form reading comprehension

    • 1,000〜2,000字程度の文章を渡すと、前半の内容を無視して要約する傾向が強くなりました

    • 否定文を肯定文として要約してしまうなど、論理構造の逆転が発生しています

    When given texts of 1,000–2,000 characters, GPT-5 often ignores the earlier sections and generates summaries based only on the latter part.
    This sometimes leads to reversed logic, such as summarizing a negation as if it were an affirmation.


    2. 要約の一貫性不足・重要情報の欠落
    2. Inconsistent summaries and missing key information

    • 段落構成や意図を無視し、表面的なキーワードから構成された要約になる

    • 結論や重要な前提が削られるケースが目立ちます

    Summaries tend to be driven by surface-level keywords, ignoring the paragraph structure and intent of the original.
    Important conclusions or premises are often omitted.


    3. 創作支援における破綻
    3. Breakdown in creative writing support

    • キャラクターの感情・セリフ・文体の一貫性が保たれません

    • GPT-4oでは自然だった表現が、GPT-5では浅く断片的になります

    There is a loss of consistency in character emotions, dialogue, and writing style.
    Expressions that felt natural in GPT-4o now appear shallow or disjointed with GPT-5.


    4. 指摘に対する応答精度の低下
    4. Decline in responsiveness to corrections

    • 修正依頼に対して、誤認した箇所を直せていなかったり、表面だけ整えて問題を残していることが増えました

    When corrections are requested, GPT-5 often fails to identify the real issue, or applies superficial fixes without resolving the underlying problem.


    ✍️ コメント / Comment

    私はIT技術者として、「再現性のあるフィードバック」を開発側に提供する責任があると考えています。
    これは感覚や好みの話ではなく、「以前はできていたことが今はできない」という明確な品質劣化に関する報告です。

    As an IT professional, I believe in providing reproducible and constructive feedback to developers.
    This is not a matter of personal taste but a clear report of quality degradation—features that previously worked now frequently fail.


    🎯 要望 / Requests

    • GPT-4/4o相当の読解精度・文体制御を持つモード、またはモデルの復活
      Reintroduce a mode or model with GPT-4/4o-level comprehension and stylistic consistency.

    • 長文読解・創作支援に特化したモードの追加検討
      Consider introducing a specialized mode for long-form understanding and creative writing support.

    • ユーザーからの精密なフィードバックを反映した改善指針の公開(可能であれば)
      If possible, share your roadmap or development notes reflecting precise user feedback on performance.


    私はChatGPTを今後も信頼して使い続けたいと考えています。
    そのためにも、現在のGPT-5の読解力や一貫性について、真摯な見直しと改善が行われることを強く願っております。

    I genuinely want to continue trusting and using ChatGPT.
    To that end, I sincerely hope that the current limitations of GPT-5 regarding reading comprehension and consistency will be seriously reviewed and improved.


    ChatGPT Plus会員 / ChatGPT Plus subscriber
    IT技術者・創作ユーザーより / From an IT professional and creative writing user


     
     
     
    小説書いてます。歴史もの、ファンタジー、BLなど執筆中。骨太からライトなものまで。 作風は紙の本風味。 歴史小説長編完成済(約25万文字)、公募向け作品執筆中。 プロを目指して鋭意がんばっております。 時々よしなしごとをNOTEに書いたりします。

    あなたへのおすすめ