Responses API と Agents SDK のまとめ

OpenAI が新たに発表した「新しいエージェント開発向けツール群」について、発表会の内容をもとに技術的観点から見ていきたい。今回の発表のポイントは以下のとおりです。

• 3つの新しい組み込みツール

  1. Web Search

  2. File Search

  3. Computer Use

• 新しい API “Responses API” の公開

• オープンソースのエージェント開発向けフレームワーク“Agents SDK” 　(旧称 Swarm) の公開

1. 背景とゴール

エージェントとは

OpenAI では「エージェント (Agent)」を「ユーザの代わりに自律的に行動しタスクを実行するシステム」と定義しています。
ChatGPT 自体もエージェントのコンセプトを取り入れており、これまでに下記のような機能拡張（プラグイン）を通じて、Web やシステム上でタスクを実行する役割を提供してきました。

• Operator: Web ブラウザを介して情報検索やタスク実行が可能。

• Deep Research: 複数ステップのリサーチを自動的に行い、詳細レポートをまとめて返す機能。

今回発表された新しいツールや API、そして SDK は、開発者が同様のエージェント機能をアプリケーションに簡単に組み込めるようにすることを主眼にしています。

2. 新しい組み込みツール

発表されたツールは次の 3 つです。これらは単体で利用できるほか、後述の新 API や SDK と組み合わせて使うことで柔軟なエージェントを実装できます。

2.1 Web Search Tool

• 概要
  モデルがインターネットにアクセスし、最新情報を取得するためのツールです。ChatGPT の Web ブラウジングと同じ仕組みで動作します。

• 特徴

  • 最新の情報をモデル回答に反映できる。

  • 大規模な Web 情報の中から効率よく関連する箇所を抽出し、引用付きで回答する。

  • モデルとしては Fine-tuned 版の GPT-4 (または “GPT-4 mini” と表現) がバックエンドで動作し、検索結果を適切に要約・引用。

  • ベンチマーク (Simple QA など) で最高水準（約 90% 正解率）を達成。

2.2 File Search Tool

• 概要
  開発者が自分のドキュメントやデータをアップロードし、検索可能な形（ベクトル埋め込み）で保存しておき、自然言語でそれらの文書を検索するためのツールです。

• 特徴・新機能

  • メタデータフィルタリング: 各文書に属性（タグ）を付与しておき、特定の属性に基づいたフィルタリング検索が可能。

  • ダイレクトサーチエンドポイント: 従来は「クエリをモデルに送り、モデルがファイル検索を呼び出す」パターンだったが、モデルを経由せずにベクトルストアへ直接クエリを投げることも可能になった。

  • 大規模データに対する RAG（Retrieval-Augmented Generation）構成が容易になる。

2.3 Computer Use Tool

• 概要
  ChatGPT (特に Operator プラグイン) が内部で使っているものと同じ技術を API で利用できるようにしたツール。ユーザが操作したい環境（仮想マシン、GUI ベースのアプリケーション、レガシーシステムなど）に対して自動操作を行う。

• 特徴

  • 仮想マシンのスクリーンショットを取得し、モデルが「クリック」「文字入力」「ドラッグ」などのアクションを提案・実行。

  • 既存システムが REST API を持っていない場合でも GUI 操作を介して自動化が可能。

  • ベンチマーク（SODA, OS-WebArena, WebVoyager など）で高評価を得ている “KUA” モデルを使用。

  • 後述の “Responses API” からこのツールを呼び出し、対話的に複数アクションをモデル主導で連続実行できる。

3. 新しい API: Responses API

3.1 従来の Chat Completions API の課題

• もともと ChatGPT のエンドポイントとしては Chat Completions API が使われていたが、入出力は基本的に「テキストのみ」。

• 今回のように複数のツールを呼び出したり、マルチモーダル（画像、音声）を扱ったり、複数ターンをまたいだ複雑なフローを管理する場合に、やや制約が大きかった。

3.2 Responses API の特徴

• ツールやマルチモーダルに対応した汎用的なインタラクション設計
  「テキスト」だけでなく、ツール呼び出し（外部 API 呼び出し）や画像/音声の入出力がすべて統合的に扱える。

• 単一の API リクエスト内で複数ツールを呼び出し可能
  例：ユーザが「あるユーザの好みを調べる ⇒ そのユーザに合う商品情報を Web から探す ⇒ 同時に在庫チェックをする」など、ツール連携が複数ステップにわたっても 1 回のレスポンスで完結させられる。

• フォーマットは従来の Chat Completions に近く、比較的移行がしやすい
  チャット風のプロンプト構造や役割指定（system, user, assistant）などに慣れていれば比較的簡単に使える。

これに対してモデルがツール呼び出しを挟まず、直接回答を返す場合はシンプルなテキストが返ってきます。

ファッションスタイリストエージェントを想定し、ユーザプロファイルをベクトルストアから取得 (File Search) し、さらに Web から店舗情報を取得 (Web Search) し、最終的に回答をまとめるイメージです。

このとき、モデルは File Search を使ってユーザの嗜好データを参照し、さらに Web Search を呼び出して近くの店舗情報を検索し、最終回答をまとめて 1 回のレスポンス内で返すことが可能です。

コンピュータユースツールのデモンストレーションの一部を詳細に示しています。以下、その各ステップと技術的なポイントについて解説します。

 ツールとモードの選定

• 「computer use preview mod」および「computer use preview tool」

  • ここでは、プレビュー用のモードとツールを使って、実際のコンピュータ操作をシミュレートする設定になっています。

  • このモードは、ユーザーからの入力や状況に応じた操作（クリック、ドラッグ、タイピングなど）を自動で実行するための準備段階として機能します。

スクリーンショットを用いたフィードバックループ

• スクリーンショットの要求

  • モデルは、コンピュータの現状（例えば、開いているアプリケーションや表示されている情報）を把握するために、ユーザーにスクリーンショットを要求します。

  • ここで重要なのは、ローカルで稼働しているDockerコンテナが利用されている点です。Dockerを使うことで、隔離された環境内で安全に操作を実行し、その状態を画像として取得できます。

• フィードバックとアクションの連続

  • スクリーンショットを受け取ったモデルは、その画像から現在のコンピュータの状態を解析します。

  • 解析結果に基づいて、モデルは次の操作（クリック、ドラッグ、マウス移動、タイピングなど）を指示します。

  • 指示されたアクションを実行後、再びスクリーンショットが撮られ、モデルに送信されます。

  • このプロセスは、タスクが完了するまで連続して行われます。つまり、モデルは常に最新の状態を確認しながら、次に実行すべきアクションを判断していきます。

タスク完了と最終回答

• タスクの完了判定

  • モデルは、連続する操作とフィードバック（スクリーンショット）を経て、最終的にタスクが完了したと「判断」します。

  • 完了と判断した後、モデルは最終的な結果（例えば、見つけた商品情報や購入候補など）をユーザーに返答します。

このデモンストレーションは、AIが実際にコンピュータの画面を観察しながらユーザーの指示に従って自律的に操作を行う、という高度な自動化プロセスを示しています。

• 技術的意義:

  • ユーザーとのインタラクションをリアルタイムにフィードバックすることで、より正確で状況に応じた操作を実現します。

  • Dockerコンテナなどの技術を用いることで、安全かつ効率的な操作環境を提供し、外部APIやツールとの連携もスムーズに行える仕組みになっています。

このようなツールは、従来のテキストベースの指示だけでは実現が難しかった、実際のコンピュータ操作やGUIを介したタスク自動化を可能にするため、将来的なエージェント開発において大きな可能性を秘めています。

3.3 Chat Completions API との住み分け

• 継続利用可能
  従来の Chat Completions API は引き続き提供され、アップデートも行われる。

• Responses API が必須になる機能

  • 内部的にツールコールを必要とする新モデルや、今後追加される多機能なエージェント機能。

  • マルチモーダル入出力を積極的に活用する場合。

• 最終的な移行スケジュール
  Assistance API が 2026 年に廃止予定。Chat Completions API は存続するが、大きな新機能は Responses API を優先して追加される見込み。

4. オープンソースのエージェント開発フレームワーク: Agents SDK

4.1 背景

• 企業向けにエージェント機能を開発する場合、複数のエージェントを並行して開発・運用し、それぞれに別々のロジックやツール接続を行う必要が出てくる。

• 例えば、顧客サポート用エージェント、注文管理エージェント、FAQ エージェントなどが統合的に動くような仕組みが求められる。

• これを整理するために、2024 年頃から実験的に “Swarm” という SDK を出していたが、開発者コミュニティの要望を受けて正式に「Agents SDK」としてリリースされた。

4.2 Agents SDK の構成

• マルチエージェントオーケストレーション
  複数のエージェントを同時に管理し、どのエージェントがユーザリクエストを処理すべきかを “ハンドオフ” 機能で制御する。

• レスポンス生成のバックエンド
  デフォルトでは Responses API を使ってツール呼び出しを行うが、汎用的に Chat Completions など他のエンドポイントにも対応可能。

• Python 関数をツール化
  Python の型ヒントから自動で JSON Schema を生成し、エージェントがそれを使って関数呼び出し（ツール呼び出し）を行える。

• ガードレール機能
  ビジネスロジックや制御要件に基づき、望ましくない出力を抑制・ハンドリングできる仕組み。

• モニタリング & トレース機能
  エージェントが実際にどのツールをいつ呼び出したのか、エラーはどこで起きたのかを可視化するダッシュボード。デバッグ効率を高める。

handoffs とは、一つのエージェントが処理しているタスクを、適切なタイミングで別のエージェントにシームレスに引き継ぐ仕組みのことです。これにより、ユーザとのやりとり全体を中断せず、各エージェントが専門の分野に応じたタスク処理を行うことが可能となります。

4.3 インストールと今後の展望する

• すでに Python 用パッケージが公開済み。JavaScript 版も近々リリースされる予定。

• 今後もガードレールやモニタリング機能、ライフサイクルイベントなどが強化され、複雑な業務用途にも耐えうるエージェント構築プラットフォームとして進化していく。

5. 今後の開発方針として

1. Responses API と Chat Completions API の関係

• Responses API の導入

  • この API は、従来のChat Completions API 機能に加えて、内蔵ツールの呼び出しやマルチモーダルな入力・出力を統合的に扱えるよう設計されています。

  • 例えば、Web 検索、ファイル検索、コンピュータ操作など、さまざまなツールを 1 つの API 呼び出しで連携させ、複雑なワークフローをシームレスに実行できる仕組みとなっています。

• Chat Completions API の継続サポート
  一方で、従来の Chat Completions API は引き続きサポートされ、今後も新しいモデルや機能が追加される予定です。

  • ただし、将来的に一部の高度な機能やエージェント製品は、Responses API でのみ利用可能になるため、必要に応じて移行することが求められます。

  • この移行はスムーズに行えるように設計されており、ユーザは比較的簡単に新しい API に切り替えることができる見込みです。

2. Assistance API の位置づけと今後の計画

• Assistance API の歴史とフィードバック
  OpenAI は、これまでベータユーザからのフィードバックをもとに Assistance API を構築してきました。

  • この API は、エージェントが複雑なタスクを実行するための基礎となる機能を提供していました。

• Responses API への統合と Asssistance API の廃止予定
  今後、Assistance API の機能は Responses API に統合される予定です。

  • そのため、将来的に Assistance API は移行ガイドに沿って、機能やデータの損失なくスムーズに Responses API へ切り替えられるよう支援されます。

  • OpenAI は、十分な移行期間を設けた上で、2026 年頃に Assistance API を廃止する計画を示しています。

3. エージェント時代の幕開け

• 統合された強力なツール群
  発表者は、Responses API を中心に、RAG（Retrieval-Augmented Generation）、ファイル検索、Web検索、KUA、コンピュータ操作（Operator）など、さまざまなツールをひとまとめにできる強力な API プラットフォームの登場を強調しています。

• 実世界でのタスク実行へ
  これにより、ChatGPT や開発者向けツールは、単なる質問応答だけでなく、実際にユーザのために具体的なタスクを実行できるエージェントへと進化するというビジョンが示されています。

  • 発表者は、これからの時代を「エージェントの年」と位置付け、開発者が新しいツールやモデルを用いて、より実用的で自律的なアプリケーションを構築できることに大きな期待を寄せています。

6. まとめ

今回の OpenAI の発表は、エージェント開発における大きなマイルストーンといえます。単一のモデルに対するチャット補完の枠を超え、複数のツールを組み合わせたり、複雑なワークフローを自動実行する「エージェント」の活用が一段と容易になりました。

• 3 つの組み込みツール:

  • 最新情報取得 (Web Search)

  • カスタムデータ検索 (File Search)

  • GUI や OS レベル操作 (Computer Use)

• Responses API:

  • マルチモーダルやツール呼び出し対応を統合した新しい API

  • 複数ステップのやり取りをまとめて実行できる

  • 従来の Chat Completions API との互換性にも配慮

• Agents SDK:

  • 複数のエージェントとツールを組み合わせ、ビジネスロジックに応じたフローを構築可能

  • オープンソースでモニタリングやガードレール機能もサポート

  • Python/JS 対応で多様な環境に導入できる

• Responses API は、従来の Chat Completions API の機能を拡張・統合したもので、今後エージェント機能を実現するための中核となる。

• Assistance API は Responses API へ統合され、2026 年頃に廃止予定であるため、移行ガイドに沿ったスムーズな切り替えが予定されている。

• これらの取り組みにより、開発者はより多機能で柔軟なエージェントを容易に構築できるようになり、実際の業務や日常生活で、AI が「質問に答える」だけでなく「実際に行動する」時代が本格化する。

公式ドキュメント・参考リンク

• Responses API クイックスタートガイド

• 組み込みツール（Web検索 / File検索 / Computer Use など）のガイド

• Agentsに関するガイド

• Agents SDKのドキュメント

• Operators / CUA（Computer Use）モデルの詳細説明

• Web Searchツールの詳細ガイド

• File Searchツールの詳細ガイド

• Assistants APIに関する概要

• OpenAI公式GitHub（Agents関連）

• OpenAI公式GitHub（Computer Use関連サンプル）