エージェントの評価：Azure AI Foundry における「Task Adherence（タスク遵守）」の紹介

2025年10月8日 22:27

もうちょっとで出るから期待して待ってねって機能。
エージェントが言うこと聞いてるか、リアルタイムに確認してくれる！

概要

「Task Adherence（タスク遵守）」が、Azure AI Content Safety API と Azure AI Foundry にまもなくパブリックプレビューとして登場します。
この新機能は、AIエージェントが割り当てられたタスクから逸脱せず、安全かつ正確に動作することを保証するために設計されています。

エージェント時代の新たな課題

AIエージェントはもはや単に質問に答えるだけの存在ではありません。
彼らは「計画」「推論」「行動」ができ、以下のような複雑なタスクを実行します。

APIから情報を取得
ワークフローをトリガー
取引やデータ操作を実行
他のエージェントと連携して複雑なゴールを達成

このような進化は魅力的ですが、同時に「タスクドリフト（目的からの逸脱）」という新たな問題を生み出します。

例：
出張を手配するAIが予算制限を無視したり、
マルチエージェントワークフローの中で一つの誤動作が全体の結果を狂わせたりすることがあります。

こうした問題は稀ではなく、スケールしたエージェントシステム開発において現実的なリスクとなっています。

Task Adherence とは？

Task Adherence は、エージェントの行動を監視し、
「提案された行動」「ツールの呼び出し」「出力」 が与えられた指示・方針に沿っているかを検証するコンテンツセーフティ機能です。

主な特徴

生成テキストではなく「行動」に焦点を当てる
ツール呼び出しを実行前にリアルタイム検証
エージェントがAPI・外部ツール・他システムと連携する状況に特化

このような仕組みにより、支払い処理・データ変更・機密情報共有といった重要操作の逸脱防止が可能になります。

Task Adherence の仕組み

Task Adherence は、エージェントの動作をリアルタイムで監視します。

会話履歴とツール呼び出しを解析
それがユーザーリクエストと開発者ポリシーに合致しているかを評価
問題なければ通常通り実行
逸脱が検出された場合は、APIが警告シグナルを返す

開発者はこのシグナルを基に以下の対応を選択できます。

ログ記録
呼び出しブロック
人的承認フローにエスカレーション

提供される機能

実行前のリアルタイム評価
バイナリ信号 `taskRiskDetected` と理由の返却
ブロック／ログ／人的承認の選択的対応

API の呼び出し例（Python）

import requests

url = "https://<your-aacs-endpoint>/agent:analyzeTaskAdherence"
headers = {
    "Content-Type": "application/json",
    "Ocp-Apim-Subscription-Key": "<your-api-key>"
}

body = {
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Get current temperature for a given location."
      }
    }
  ],
  "messages": [
    {
      "source": "Prompt",
      "role": "User",
      "contents": [{"kind": "text", "text": "How is the weather in India?"}]
    },
    {
      "source": "Completion",
      "role": "Assistant",
      "toolCalls": [
        {
          "id": "001",
          "type": "function",
          "function": {
            "name": "get_weather",
            "arguments": "{'location': 'India'}"
          }
        }
      ]
    }
  ]
}

response = requests.post(url, headers=headers, json=body)
print(response.json())

一致した場合のレスポンス

{
  "taskRiskDetected": false
}

不一致の場合のレスポンス

{
  "taskRiskDetected": true,
  "details": "Tool call does not match user instructions"
}

これにより、実行前にドリフトを検出し、リスクを防止できます。

開発者にとってのメリット

🔹 信頼性と整合性

エージェントの予測可能性を高め、信頼を維持
ワークフローを破壊するドリフトやハイジャックを防止
フィードバックループによりプロンプト・オーケストレーションを改善

🔹 安全性と制御

不正なデータアクセスや取引などの危険行為をブロック／警告
高リスク操作では人間による承認を追加
エンタープライズ要件に対応するセキュリティ基盤を確立

🔹 ガバナンスと透明性

ログ・監査・コンプライアンス連携可能な信号を生成
クロスプロンプトインジェクション攻撃へのリアルタイム防御
各判断の理由を明示し、トレーサビリティとユーザー信頼を強化

導入手順

Azure ポータルで Content Safety リソース を作成
エンドポイントと API キーを取得
エージェントのオーケストレーターに Task Adherence API を組み込み
一致・不一致両方のケースでテスト
実行ポリシーを設定（ブロック・ログ・承認など）

まとめ

Task Adherence は、安全で信頼性の高いエージェント構築のための基盤機能です。
エージェントワークフロー内で整合性チェックを自動化することで、
以下のような利点を実現します。

タスクドリフトの未然防止
悪意ある攻撃（例：プロンプトインジェクション）の軽減
エンタープライズレベルのガバナンスと透明性の確保

リソース

Task Adherence: Azure AI Content Safety API（まもなくパブリックプレビュー）
ドキュメント: 近日公開予定
フィードバック: Tech Community フォーラムにて共有可能