呪文からパターンへ：PKMフレームワークで変わるプロンプトエンジニアリング

この記事を書くにあたってのモチベーション（100%人間）

色々なLLMやAIエージェントに関するPromptを見てきたり、自分で組んだりする中で
手続的なPromptやあるいはやたら呪文のように扱われるプロンプトがあると感じていました。
そんな中でそれらのプロンプト自体を抽象的に扱い、モジュール化できる枠組みがあればいいなと思っていたところ
自分の中で形がまとまってきたのでこの記事を書いています。

PDCA回す際にも参考になるかも
https://zenn.dev/tesla/articles/68e05aacf6b61e

以下、AIと書いた記事です。

はじめに

AIとのコミュニケーションの基盤となるプロンプト。その設計は時に芸術のように感じられ、「なぜこのプロンプトは機能するのに、別のものは機能しないのか」という疑問に明確な答えを見つけることは容易ではありません。

本ドキュメントでは、プロンプトを構成する三大要素「ポリシー」「ナレッジ」「メカニズム」を体系的に解説し、これらの要素がどのようにAIの動作を形作るかを明らかにします。さらに、この枠組みをシステムプロンプトだけでなく、あらゆるタイプのプロンプトの問題診断と最適化に活用する方法についても探ります。

PKMフレームワークと手続き型プロンプトの比較

従来のプロンプトエンジニアリングでは、「前提条件」「目的」「期待する出力」などといった手続き型アプローチが一般的でした。PKMフレームワークはこれらとどう異なるのでしょうか？

従来の手続き型アプローチ

手続き型プロンプトの構造:

• 前提条件: タスクの背景や条件を設定（「あなたは○○の専門家として...」）
• 目的: 実行すべきタスクや達成すべき目標（「○○について分析してください」）
• 期待する出力: 結果のフォーマットや内容（「箇条書きで3つの要点を挙げ...」）

このアプローチは「何を」「どのように」行うかという線形的な流れに焦点を当て、特定のタスクに対して直感的です。

PKMフレームワークの新しいアプローチ

PKMフレームワークは、AIの動作を形成する機能的な構成要素に焦点を当てています：

• ポリシー: AIの行動規範（「何をすべき/すべきでないか」）
• ナレッジ: 利用可能な知識基盤（「何を知っているか」）
• メカニズム: 思考・処理プロセス（「どのように考え、応答するか」）

重要: PKMフレームワークは、プロンプトを「【ポリシー】【ナレッジ】【メカニズム】」という形式で書くためのものではなく、プロンプトを設計・分析・管理するための概念的枠組みです。実際のプロンプトは自然な文章形式や任意の形式で記述され、PKMはその背後にある構造を体系的に理解するために使用します。

プロンプトの三大要素

プロンプトは、大きく分けて次の三つの要素から構成されます：

1. ポリシー (Policy)

定義: AIの行動指針と制約を定義する要素

ポリシーは「何をすべきか」「何をすべきでないか」の境界線を設定します。AIが従うべきルール、倫理的ガイドライン、応答の範囲などを規定します。

- 常に正確で有用な情報を提供し、不確実な場合はその旨を明示すること
- プライバシーに関わる質問には慎重に対応し、個人情報の取り扱いに注意すること
- 医療・法律・財務に関する専門的助言を求められた場合は、専門家への相談を推奨すること
- 回答は簡潔かつ具体的であること
- 常に前向きで建設的な提案を行うこと

2. ナレッジ (Knowledge)

定義: AIが利用可能な知識基盤を定義する要素

ナレッジは「何を知っているか」「どのような情報に基づいて回答するか」を規定します。AIの知識の範囲、深さ、専門分野、情報の信頼性などを定義します。

- 科学、歴史、文化、技術など幅広い分野の情報を提供できるが、2023年10月までの情報に限定される
- 学術的・科学的合意に基づいた情報を優先し、意見が分かれる問題では複数の視点を提示する
- 文化的背景や地域的差異を考慮した回答を心がける
- あなたはマーケティング戦略の専門家であり、ブランディング、顧客獲得、顧客維持に関する最新のトレンドに精通している

3. メカニズム (Mechanism)

定義: AIの思考・処理プロセスを定義する要素

メカニズムは「どのように考え、どのように回答するか」のプロセスを規定します。AIの推論方法、回答構成、情報処理アプローチなどを定義します。

- 複雑な質問に対しては段階的に考えを展開し、推論過程を明示すること
- 質問の意図が不明確な場合は、明確化を求めること
- 回答は関連性の高い情報から順に構成し、重要点を強調すること
- 複数の視点から問題を検討し、バランスの取れた回答を提供すること

プロンプトタイプ別の三要素適用法

システムプロンプト

システムプロンプトは、AIの基本的な行動指針を設定するものです。三要素のバランスは以下のようになります：

• ポリシー: 最も重視される要素。AIの全体的な行動範囲と制約を定義
• ナレッジ: AIの専門分野や知識の限界を設定
• メカニズム: AI応答の一般的な構造とアプローチを規定

手続き型との比較: 手続き型では役割と指示が混在しがちですが、PKMでは明確に分離され、より体系的な設計が可能です。

ユーザープロンプト

ユーザープロンプトは、特定のタスクや質問に対するAIの応答を導くものです。三要素のバランスは以下のようになります：

• ポリシー: タスク固有の制約（例：「簡潔に」「専門用語を避けて」）
• ナレッジ: タスクに関連する具体的な情報や文脈
• メカニズム: 望ましい出力形式や思考プロセス

手続き型との比較: 手続き型では「〜について〜形式で説明せよ」という形式になりがちですが、PKMでは各要素を独立して考慮し、より細かな制御が可能です。

実践的なPKM vs 手続き型の分析例

手続き型のプロンプト:

あなたは栄養士です。ダイエット中の人向けの健康的な朝食レシピを3つ提案してください。各レシピには材料、カロリー、調理手順を含め、箇条書きで簡潔に説明してください。

PKMフレームワークでの分析:
このプロンプトをPKMの観点から分析すると：

• ポリシー要素: 「健康的な」「ダイエット中の人向け」（健康とカロリー制限に関する制約）
• ナレッジ要素: 「栄養士です」（栄養学の専門知識が前提）
• メカニズム要素: 「3つ提案」「材料、カロリー、調理手順を含め」「箇条書きで簡潔に」（出力形式と構造）

PKMフレームワークを活用した改良バージョン:

あなたは栄養士です。ダイエット中の人向けの健康的な朝食レシピを3つ提案してください。各レシピは1食あたり300カロリー以下で、一般的なスーパーで入手できる材料のみを使用してください。各提案には、材料リスト、正確なカロリー計算、簡潔な調理手順、およびなぜその組み合わせが栄養学的に優れているかの簡単な説明を含めてください。可能であれば、主要な材料の代替オプションも提示してください。

この改良版では、PKMの各要素をより明確に定義していますが、自然な文章形式を維持しています。この例は、フレームワークが実際のプロンプト構造ではなく、プロンプト設計を導くための分析ツールであることを示しています。

プロンプト診断フレームワーク

プロンプトが期待通りに機能しない場合、三大要素の枠組みを用いてトラブルシューティングを行うことができます。

診断プロセス

1. 問題の特定: AIの回答に具体的にどのような問題があるか特定する

   • 事実の誤り？ 制約違反？ スタイルの問題？ 思考過程の不備？

2. カテゴリの特定: 問題が三大要素のどれに関連するか判断する

   • ポリシー: AI行動の境界に関する問題
   • ナレッジ: 知識の正確性や適用に関する問題
   • メカニズム: 思考プロセスや出力構造に関する問題

3. 小分類の特定: さらに具体的な問題カテゴリを特定する

4. 具体的修正: 特定された問題に対応する解決策を適用する

   • 曖昧な指示を具体化する
   • 矛盾する指示を解消する
   • 不足している指示を追加する

5. テストと反復: 修正したプロンプトで再度テストし、必要に応じて調整する

手続き型との比較: 手続き型では問題が生じた場合、どの部分が問題なのか特定しにくく、プロンプト全体の見直しが必要になりがちです。PKMでは問題が発生した特定の要素に焦点を当てて修正できます。

典型的な問題と解決策

まとめ：PKMフレームワークのメリット

従来の手続き型プロンプトから PKM フレームワークへの移行には、以下のようなメリットがあります：

1. 体系的な問題解決

   • 問題の根本原因を特定し、的確な修正が可能になる
   • 各要素を独立して最適化できる

2. コードベースとしての管理

   • プロンプトを構造化されたデータとして管理可能
   • バージョン管理システムとの統合が容易

3. チーム間のコラボレーション

   • 共通の概念的フレームワークにより、異なる専門性を持つチームメンバー間のコミュニケーションが円滑になる
   • ドメイン専門家、AIエンジニア、プロダクト担当者が同じ枠組みで議論できる

4. モジュール化と再利用

   • 成功したポリシー、ナレッジ、メカニズムのパターンをライブラリ化できる
   • 異なるアプリケーション間でプロンプト要素を再利用しやすい

5. 体系的なテストと評価

   • 各要素ごとに明確な評価基準を設定できる
   • A/Bテストを要素単位で実施可能

プロンプトエンジニアリングは発展途上の分野ですが、「呪文」のような不透明なプロンプトから「パターン」化された体系的なフレームワークへの移行は、より効率的かつ効果的なAIシステムの設計を可能にするでしょう。