【翻訳】ChatGPT公式・推論モデル利用のベストプラクティス

以下の内容は、OpenAI公式ドキュメント【Reasoning best practices】の勝手翻訳版です。

Reasoning best practices
`Learn when to use reasoning models and how they compare to GPT models.`
https://platform.openai.com/docs/guides/reasoning-best-practices

この文書はOpenAIの「推論モデル(oシリーズ)」と「GPTモデル」を上手に使い分けるための解説です。
全体の目的は「どのような場合に推論モデルを使い、どう促す（プロンプトを作る）と効果的か」を分かりやすく説明することにあります。
本文中では、実際の利用例や導入企業の声が紹介されており、推論モデルが得意とすること・利用時の注意点などがまとめられています。

推論のベストプラクティス

複雑なタスクに取り組むときに「推論モデル」を使うタイミングや、GPTモデルとの違いについて学びましょう。

OpenAIでは、大きく分けて2種類のモデルを提供しています。1つは推論モデル（例：o1やo3-mini）で、もう1つは GPTモデル（例：GPT-4o）です。これらのモデルファミリーは異なる特性をもち、使いどころも違います。

このガイドでは、以下について説明します。

1. 推論モデルと、推論を行わないGPTモデルの違い

2. 推論モデルを使うべきタイミング

3. 推論モデルを効果的にプロンプトする方法

推論モデル vs. GPTモデル

GPTモデルと比べて、oシリーズ（推論モデル）は得意とするタスクが異なり、プロンプトの書き方も変わってきます。どちらが「より優れている」というわけではなく、あくまで「違う特性をもつ」モデルファミリーです。

oシリーズ（いわゆる「プランナー」）は、複雑なタスクに対して時間をかけて深く考えるように訓練されています。そのため、戦略を考えたり、複雑な問題の解決策を計画したり、大量かつあいまいな情報に基づいて意思決定を行うといった場面で力を発揮します。また、高い正確性や精密さが求められるタスクにも向いており、数学・科学・エンジニアリング・金融・法務などの専門領域で、人間の専門家が必要となるような業務にも適しています。

一方、処理速度が速く、コストを抑えられるGPTモデル（「ワークホース」）は、単純な実行が求められるタスクに向いています。例えば、アプリケーションがoシリーズを使って戦略を立て、その後、具体的な作業を素早くこなす部分をGPTモデルに任せる、という使い方が考えられます。特に速度やコストが正確性より重視されるケースではGPTモデルが有効です。

どう使い分けるか

あなたのユースケースで一番大切なのは何でしょう？ たとえば、以下のように考えてみてください。

• 速度とコスト → GPTモデル：速く、コストが低め

• 明確に定義されたタスクの実行 → GPTモデル：はっきりと決まった手順や処理を得意

• 正確性と信頼性 → oシリーズモデル：信頼できる意思決定が可能

• 複雑な問題解決 → oシリーズモデル：あいまいさや複雑さを整理しながら解決

もし「速度とコストが最優先」で、なおかつ「タスクが明確に定義されている」なら、GPTモデルが適しています。しかし、「正確性や信頼性が最優先」で、かつ「非常に複雑で多段階な問題を解決する」場合は、oシリーズモデルが適しています。

多くの場合、oシリーズモデルで計画や意思決定を行い、GPTシリーズで実際の作業を実行させるように、両方を組み合わせるワークフローが最適です。

推論モデルを使うタイミング

ここでは、OpenAI 社内および顧客から観察された、成功した使用方法のパターンをいくつか紹介します。これは、考えられるすべての使用例を包括的にレビューするものではなく、o シリーズ モデルをテストするための実用的なガイダンスです。

推論モデルを使用する準備はできましたか? クイックスタートにスキップ →

1. あいまいなタスクの処理

推論モデルは、限られた情報しかない状況や、バラバラに存在する情報をまとめて理解し、簡潔なプロンプトでユーザーの意図をくみ取るのが得意です。また、誤った推測をする前に確認の質問を行うことも多いので、「穴埋め的に勝手に推測を行ってしまう」リスクを下げられます。

2. 大量の情報の中から重要な点を抜き出す（“Needle in a Haystack” 問題）

大量の非構造的な情報がある場合、その中から必要な情報だけを見つけ出すのに、推論モデルはとても便利です。

3. 大きなデータセットから関係性や微妙な差異を読み取る

oシリーズは、数百ページにわたる法的文書や財務諸表、保険金請求など、複雑で非構造的な大量データを扱うのが得意です。文書同士を関連付けたり、データの中に暗示的に含まれている情報を元に合理的な判断を下す能力に長けています。

また、微妙な規則やポリシーなどを正しく把握し、それをタスクに適用して妥当な結論を導くのも得意です。

4. 多段階のエージェント型プランニング

推論モデルは、多段階で戦略を組み立てる「エージェント型のプランニング」や戦略立案に欠かせません。実際には、「プランナー」として推論モデルを使い、具体的なタスクの実行は「実行役（ワークホース）」であるGPTモデルに任せるといった使い方で成功している事例が多く見られます。

5. 画像（ビジョン）を使った推論

現時点で、画像を扱うことができる推論モデルはo1だけです。GPT-4oも画像関連の機能がありますが、o1はチャートやテーブルのように構造があいまいな画像、画質が悪い写真など「難易度が高い画像」の内容を理解できるのが特長です。

OpenAI内部のテストでも、o1が建築図面など非常に複雑な画像から、建築に使われる部材を特定して「資材表」を生成できることを確認しています。特に驚いたのは、あるページにある凡例（Legend）の情報を、明示的に指示しなくても別のページに反映して活用できる点です。
以下の画像では「4x4 PT Wood Post（4x4インチの防腐処理木柱）」が、凡例の記述「PT = Pressure Treated（防腐処理）」とちゃんと関連づけられています。

6. コードのレビューやデバッグ、品質向上

推論モデルは、大量のコードをレビューしたり改善案を提案したりするのが得意です。処理に時間はかかるかもしれませんが、その分、高度な解析が可能です。

コードを書くことに特化したGPT-4oやGPT-4o miniもありますが、多少の遅さが許容されるケースでは、o3-miniがより高度なコード生成に役立つ場合があるという報告もあります。

7. 他モデルの回答を評価・ベンチマークする

他のモデルが出力した回答を評価し、どれくらい妥当かを検証する作業にも推論モデルが有効です。特に医療のようにデータの信頼性が重要な分野では、データ検証が非常に大切です。ルールベースのチェックだけでは見逃しが発生するかもしれませんが、推論モデルのような柔軟な判断ができるモデルを加えることで、よりしっかりと検証できます。

推論モデルを上手にプロンプトする方法

これらのモデルは、シンプルなプロンプトに最もよく反応します。「ステップ・バイ・ステップで考えて」といった細かい「思考過程をすべて書き出せ」というような指示は必ずしも効果的ではなく、かえって性能を下げることもあります。
以下のベストプラクティスを参考にしてください。あるいは 具体例はこちら をどうぞ。

・ 開発者向けメッセージが新しいシステムメッセージ

o1-2024-12-17 以降の推論モデルでは、モデル仕様 にある「チェーン・オブ・コマンド」という動作に合わせるため、開発者向けメッセージ（developer messages）を使うようになりました。以前のsystemメッセージに相当する役割と考えてください。

・ プロンプトはシンプルで直接的に

モデルは短く分かりやすい指示を得意としています。

・ チェーン・オブ・ソート（思考過程の逐次説明）を無理に要求しない

モデルは内部で推論を行うので、「ステップごとに詳しく考えて」などの指示は不要です。かえって混乱を招くこともあります。

・ 区切り文字（デリミター）で明確化

マークダウン、XMLタグ、セクションタイトルなどを使って、入力の各部分がどこからどこまでなのかをはっきり示しましょう。モデルが意味を取り違えにくくなります。

・ まずはゼロショットで試す。必要なら少数ショット（few-shot）

推論モデルは、例示がなくても良い結果を出すことが多いです。結果が思うようにいかない場合のみ、ほんの少しだけ例示を加えるようにしましょう。ただし、例示が実際の指示と食い違っていると逆効果になることがあります。

・ 具体的なガイドラインを提示する

「予算は500ドル以内の案にしてください」など、モデルが守るべき具体的な制約や条件は必ず明示してください。

・ 最終目標をはっきり示す

「成功条件」を詳しく指示し、モデルに「条件を満たすまで推論・修正し続ける」よう伝えると良い結果が得られることがあります。

・ マークダウン形式の出力を再有効化する

o1-2024-12-17 以降の推論モデルでは、デフォルトでマークダウン形式の出力を行わなくなりました。出力にマークダウンを使いたい場合は、開発者向けメッセージの先頭行に Formatting re-enabled という文言を加えて、モデルに「マークダウンを使ってOK」と伝えてください。

そのほかのリソース

さらに詳しい情報やコード例を知りたい場合は、OpenAI Cookbookをご覧ください。サードパーティのリソースも紹介されています。あるいは、以下のリンクも参考になるでしょう。

• 当社が提供するモデルの概要

• Reasoningガイド

• 推論を使ったデータ検証の方法 （※訳注：原文でもリンク切れ）

• 動画コース「o1での推論」

• 高度なプロンプトによる推論向上に関する論文

以上が、推論モデル（oシリーズ）とGPTモデルの使い分け、および推論モデルの効果的な使い方に関するガイドです。ユースケースや必要な要件に応じて、最適なモデルを選んで活用してください。