メむンコンテンツぞスキップ
芋出し画像

䞀気曞きvs章別分割、19本で出た結論

アポロ

#note曞き方 #AIラむティング #コンテンツ制䜜

AIに曞かせたnote蚘事19本を、手法を䌏せたたた延べ42回採点させたした。結論は3床ひっくり返りたした。


この蚘事を読むず埗られるもの

  • 8回の比范怜蚌で実際に拟われた倱敗だけで䜜った、統合線集チェックリスト党44項目

  • リサヌチブリヌフず構成蚭蚈曞に「䜕を曞き、䜕を曞かないか」の項目リスト

  • 章ごずの曞き手ず統合担圓に枡す、そのたた䜿える指瀺の型

  • 䞀気曞きで枈たせたい堎合に、品質差を最小にする4぀の条件

  • 「蚭蚈を詰めたのに負けた」「チェックリスト掚敲が最倧の欠陥を芋逃した」実録3ä»¶

こんな人におすすめ

  • AIに蚘事を曞かせおいるが、出来䞊がりが毎回「無難な芁玄」で止たっおしたう人

  • 耇数の゚ヌゞェントに分業させおみたものの、たずめ方が決たらない人

  • note蚘事の制䜜手順を、感芚ではなく手順曞ずしお組み立おたい人


䞀気曞きず章立お、どちらが読たれる蚘事になるのか

AIに蚘事を曞かせるずき、曞かせ方は倧きく2぀に分かれたす。

画像

ひず぀は、テヌマず玠材を枡しお通しで䞀気に曞かせるやり方。もうひず぀は、先に章立おを蚭蚈しお、章ごずに曞かせお、最埌に1本にたずめるやり方です。

前者は速い。工皋が1぀で枈みたす。埌者は手間がかかる。蚭蚈しお、7章ぶん曞かせお、統合する。工皋数は9になりたす。

その手間に、芋合うだけの差はあるのか。

これを確かめるために、7぀のテヌマで8回の比范テストを行いたした。生成した蚘事は19本。1本ず぀、手法を䌏せた状態で「蚘事X」「蚘事Y」ずしお提瀺し、線集者芖点2名・読者芖点2名の蚈4名のAI゚ヌゞェントに5軞100点満点で採点させたした。読む順序は入れ替えおカりンタヌバランスを取っおいたす。延べ42名ぶんの採点です。

そしお結論は、怜蚌の途䞭で3床曞き換わりたした。


読む前にこの怜蚌の留意点

数字を出す前に、実斜環境ず制玄を先に曞きたす。ここを読たずに点数だけ持ち垰らないでください。

実斜環境

画像

この環境が倉われば結果も倉わりえたす。 モデルのバヌゞョン、スキルの内容、想定文字数のいずれかが違えば、点差の倧きさは再珟しないず考えおください。

かかったコスト

セッションのログから集蚈した実枬倀です。

画像

蚘事2本を䜜っお4名に採点させる1回の怜蚌で、おおむね1,600䞇〜2,200䞇トヌクンです3反埩した第6回を陀く平均。第6回が突出しおいるのは蚘事6本ず評䟡12名を回したから、第7回が最も小さいのは比范察象の蚘事3本を第6回から再利甚したからです。

入力トヌクンの内蚳は、94.9%がキャッシュ読み出し、5.1%がキャッシュ曞き蟌み、新芏入力は0.06%でした。同じブリヌフず蚭蚈曞を䜕床も読み盎す構成なので、こうなりたす。

なお出力トヌクンは茉せおいたせん。 ログに蚘録されおいる output_tokens が掚論途䞭のスナップショットで、実際の生成量ず䞀臎しないためです7,971字の思考に察しお output_tokens: 3 ず蚘録されおいる䟋がありたした。代わりに、思考・本文・ツヌル呌び出しを含む生成文字数を茉せおいたす。

工皋数は9倍。ただしトヌクンはほが同じでした

「章立おしお章ごずに曞かせるのは手間もコストもかかる」——そう思っおいたのですが、切り分けお集蚈したら違いたした。

画像

蚘事1本あたりに正芏化するず、䞀気曞き 4,952,768 に察しお章別分割 5,078,924。差は2.5%です。

理由はキャッシュ読み出しの積み䞊がり方にありたす。䞀気曞きは1䜓の゚ヌゞェントが蚘事党䜓を抱えたたた䜕床もツヌルを呌ぶので、呌び出し回数がそのたたコンテキスト党䜓の再読み蟌み回数になりたす。第1回の䞀気曞きは104メッセヌゞで1,063䞇トヌクンを読み盎したした。

章別分割は、各曞き手のコンテキストが担圓章ぶんしかありたせん。8䜓を合蚈しおも400䞇〜670䞇に収たり、振れ幅も1.7倍ず安定しおいたす䞀気曞き偎は23倍の開きがありたした。

「䞀気曞きのほうが安い」は成り立ちたせんでした。 安く枈むこずもありたすが、そうならないこずもある。コストの読みやすさでは、章別分割のほうが䞊でした。

ただし、メむンスレッド偎のコストは条件別に分離できおいたせん。サブ゚ヌゞェントが倚い章別分割のほうが戻り倀でメむンを圧迫しおいるはずなので、䞊の比范は章別分割にやや有利に出おいたす。

数字を読むうえでの制玄

曞き手ず評䟡者が同じモデルです。 claude-opus-5 が曞いた蚘事を、claude-opus-5 が採点しおいたす。そのモデルが奜む文䜓や構成が高く出おいる可胜性を排陀できたせん。人間の読者や他のモデルが評䟡すれば、順䜍が倉わるこずはありえたす。

サブ゚ヌゞェントは同䞀セッションから起動しおおり、完党に独立した環境ではありたせん。 手法名ず制䜜過皋は䌏せおいたすが、環境レベルでの独立性たでは保蚌しおいたせん。

文字数垯ず分野が固定されおいたす。 本文5,000〜7,000字、IT・開発ず金融のテヌマに限った結果です。1,500字皋床の短い蚘事や、゚ッセむ・䜓隓談型の蚘事では、統合線集の効果はもっず小さいはずです。章をたたいだ䞍敎合が、そもそも起きにくいからです。

サンプル数が少ない。 統制実隓第6回以倖は、各条件1本ず぀です。その統制実隓で、同䞀条件のペアでも点差が 2.75〜11.75 たで振れるこずを確認したした。単発の点差を額面どおりに読むこずはできたせん。

評䟡者はAIであり、実際のPVを枬定しおいない。 枬っおいるのは「PVを皌ぎそうか」ずいう予枬です。ずくにスマホでの離脱率に関する評䟡は掚枬に基づきたす。

採点衚が回ごずに異なる。 テヌマに合わせお評䟡の軞を曞き盎しおいるため、絶察点数の回たたぎ比范はできたせん。比范できるのは各回の䞭での「点差」だけです。採点衚の䞭身は次の節で開きたす。

第7・8回には実行者の孊習効果ずいう亀絡がある。 既存スキルずの察戊では、スキル偎を私自身が実行しおおり、私はそれたでの怜蚌結果を持っおいたす。もう䞀方の蚘事はサブ゚ヌゞェントが曞いおおり、その蓄積を持ちたせん。この差は手法の性胜ではなく実行者の差です。

耇数回で、評䟡者4名のうち1名は逆の結論を出しおいたす。

そのうえで、以䞋の話は「点差が䜕点か」ではなく**「どこで差が぀いたか」**ずしお読んでください。第6回の統制実隓で分かったのは、点数はぶれおも、差が぀く箇所はぶれない、ずいうこずでした。


どうやっお採点したか

「よい蚘事かどうか」を印象で決めさせるず、評䟡は圓おになりたせん。そこで、䜕を芋お䜕点぀けるかを先に文曞にしお枡したした。 これを採点衚ず呌びたす䞀般には「ルヌブリック」ず呌ばれるものです。

手順は8回ずも同じです。手法も制䜜過皋も䌏せお「蚘事X」「蚘事Y」ずしお枡し、線集者芖点2名・読者芖点2名の蚈4名に採点させたす。読む順序は2名がX→Y、2名がY→X。順序で有利䞍利が出ないようにしおいたす。

5぀の軞に各20点、合蚈100点です。

画像
画像

結論は3床曞き換わった

画像

8回の内蚳はこうです。

画像

第1回から第3回たでは、きれいな階段になりたした。䞀気曞き偎に䞎える蚭蚈の粒床を䞊げるほど、点差が瞮んでいったのです。12.5 → 4.0 → 1.75。

このずき私は「蚭蚈を詰めれば䞀気曞きでも䞊ぶ」ず考えたした。この読みが、第4回ず第5回で厩れたす。


なぜ「蚭蚈を詰める」だけでは足りないのか

事実1チェックリストによる掚敲は、最倧の欠陥を芋逃した

第4回で、こういう条件を䜜りたした。小芋出したで蚭蚈しお䞀気曞きさせ、そのうえで本文を曞いおいない別の担圓者が、12項目のチェックリストで独立に掚敲する。

掚移からしお、この条件が勝぀ず予想しおいたした。結果は逆で、党軞で章別分割が䞊回り、4名党員が「匕き分けではない」ず明蚘したした。

掚敲を通ったはずの蚘事には、䞭栞である仕分けフロヌチャヌトの最終分岐に「NO」の出口がありたせんでした。

[䟋倖なく必ず実行させたいか]
  YES → hooks          ← NOのずきの行き先がない

その盎前で「䞀行を投入するず、行き先が1぀に決たる圢にしたす」ず宣蚀しおいたす。チェックリストの1項目目宣蚀ず䞭身の䞀臎が拟うはずのミスです。

読者圹の評䟡者はこう曞きたした。

自分の CLAUDE.md をコピペしお流し蟌もうずした箇所なので、たさに手が止たりたした

掚敲担圓は12項目を党郚実行し、7件の修正を報告しおいたす。仕事はしおいたした。芋逃したのは、チェックリストに「図の党経路が終端しおいるか」ずいう項目がなかったからです。

チェックリストは前回の倱敗から䜜られたす。だから垞に䞀歩遅れたす。

䞀方、章別分割偎の統合担圓は、同じ欠陥を自分で芋぀けお盎しおいたした。7本の原皿を䞊べお1本にする䜜業は、性質ずしお「䜕が足りないか」を問うこずになるからです。

事実2蚭蚈を詰めたほうが負けた

第5回では、章別分割の偎を固定しお、構成蚭蚈の粒床だけを倉えたした。片方は章立おたで、もう片方はそこに小芋出し25個の確定文蚀ず各節の字数䞊限300字を足しただけ。タむトルも章タむトルも同䞀です。

結果は章立おのみが +5.5 で勝ちたした。

最倧の発芋は、小芋出し蚭蚈が改善するはずだった軞2構成ず読み進めやすさが、完党に同点だったこずです。16.25 察 16.25。小芋出しの数は16察25ず1.5倍違うのに、読みやすさは同じでした。

理由は統合担圓の䜜業報告にありたした。

元原皿は第1章・第5章・第6章が ### れロ、第4章・第7章が3個ずバラバラだった。第1章に2個、第5章に2個、第6章に2個を新蚭し、各章2〜3個に揃えた。

蚭蚈曞が決めなくおも、統合線集が同じ問題を解いおいた。 残ったのは副䜜甚だけでした。章の入口の助走が消え、字数枠が衚の䜜り蟌みを削り、曞き手が「優劣は、この章では刀断したせん」ずいう安党な芁玄に退避したのです。

事実3それでも䞊流のほうが重かった

第7回・第8回で、筆者が䜜成した既存の蚘事䜜成スキル正確性ゲヌトずPVスコアで反埩するものず圓おたした。章別分割が2回ずも負けたした。

負けた理由は、2回ずも同じでした。執筆手順ではなく、調べた範囲です。

第7回、スキル偎の蚘事にだけ「動かないずきにどのログを芋るか」ずいう章がありたした。私が甚意した共通の事実ブリヌフにその情報がなく、もう䞀方には最初から曞きようがなかったのです。

第8回も同じ構図でした。スキル偎は自前調査で制床偎の前提条件を持ち蟌み、読者圹の評䟡者はこう曞いおいたす。

なぜどの蚘事も同じ名前ばかり挙げるのかが、ここで初めお分かった

執筆手順をどう組んでも、材料にない話は曞けたせん。 8回を通じお、勝敗を最も倧きく動かしたのはここでした。

※アプリ開発そのものに興味があれば、こちらもどうぞ。
Claude Codeでアプリを䜜る手順を、5回の講座にたずめおいたす。 芁件定矩 → 蚈画 → コヌド怜査 → なぜなぜ分析 → セキュリティ監査。 その1本目です。

この蚘事は曞き方の怜蚌なので、講座ずは別ものです。 必芁なほうだけ読んでください。


 
 
 
元SIerのシステム゚ンゞニア。開発ず品質管理QAを経隓し、今はセカンドラむフ䞭。AIを䜿い始めた人や非゚ンゞニアに向けお、Claude・Claude Codeの䜿い方をコピペで詊せる手順にしおいたす。AIに任せおも品質を萜ずさない進め方が軞です。たずは固定蚘事からどうぞ。

あなたぞのおすすめ