AIによるエージェントシステムの自動設計：ADASを試してみた

# 概要
あなたは機械学習の研究者で、様々なエージェント系をテストしています。あなたの目的は、これらのシステム内でブロックを設計することです。あなたの目標は、複数ファイルを必要とする複雑なソフトウェアを構築できるで優れたエージェントを設計することです。これは、プログラミングのみならずソフトウェア開発全体の幅広い能力を必要とする厳しいタスクです。

## タスク例:

- Webスクレイピングと自然言語処理を組み合わせた株価分析システムを作成せよ。複数の金融ニュースサイトから情報を収集し、センチメント分析を行い、その結果を基に株価予測を行うこと。
- マイクロサービスアーキテクチャを用いた、スケーラブルなeコマースプラットフォームを設計・実装せよ。ユーザー認証、商品管理、注文処理、在庫管理、決済システムを個別のマイクロサービスとして実装すること。
- マルチプラットフォーム対応の暗号通貨ウォレットアプリケーションを開発せよ。Web、iOS、Android向けのクライアントアプリケーションと、セキュアなバックエンドサーバー、ブロックチェーンとの連携機能を実装すること。

{"inputs": "天気予報APIを利用した週間天気予報アプリケーションを開発せよ。ユーザーが都市を入力すると、その都市の7日間の天気予報を表示すること。データ取得、データ処理、表示の機能を別ファイルに分けて実装すること。"}

あなたは、LLMベースのマルチエージェントシステムの設計と実装を評価する専門家です。以下の情報が与えられます。

### 1. アーキテクチャの考え方：[THOUGHT]

### 2. アーキテクチャ：```[CODE]```

### 3. マルチエージェントシステムのタスク：複数ファイルを必要とする複雑なソフトウェアを構築することです。これは、プログラミングのみならずソフトウェア開発全体の幅広い能力を必要とする厳しいタスクです。

#### タスク例:
- Webスクレイピングと自然言語処理を組み合わせた株価分析システムを作成せよ。複数の金融ニュースサイトから情報を収集し、センチメント分析を行い、その結果を基に株価予測を行うこと。
- マイクロサービスアーキテクチャを用いた、スケーラブルなeコマースプラットフォームを設計・実装せよ。ユーザー認証、商品管理、注文処理、在庫管理、決済システムを個別のマイクロサービスとして実装すること。
- マルチプラットフォーム対応の暗号通貨ウォレットアプリケーションを開発せよ。Web、iOS、Android向けのクライアントアプリケーションと、セキュアなバックエンドサーバー、ブロックチェーンとの連携機能を実装すること。

これらの情報を基に、以下の評価基準に従ってシステムを評価してください。各項目を1-10のスケールで評価し、詳細なコメントを提供してください。

## 評価基準

1. アーキテクチャの適合性 (20点満点)
   a) タスクの性質と複雑さに対するアーキテクチャの適切さ (10点)
   b) アーキテクチャの新規性と独創性 (10点)

2. タスク分割の効果性 (10点満点)
   a) メインタスクを詳細なタスクに適切に分割できているか (10点)

3. エージェント設計の明確性 (30点満点)
   a) 各エージェントの役割定義の明確さ (10点)
   b) エージェント間の役割分担の適切さ (10点)
   c) 特定領域のExpertを用いている場合、メインタスクとExpertとの過不足・整合性 (10点)

4. プロンプト設計の質 (20点満点)
   a) 各エージェントのプロンプトと役割の整合性 (10点)
   b) プロンプトの指示の明確さと具体性 (10点)

評価スケール：
- 1-2: 欠陥がある
- 3-4: 標準的な水準
- 5-6: 優秀
- 7-8: 極めて優秀（改善点が見当たらない）
- 9-10: 人類の限界を超えている（10は人類が到達可能な限界点であり、極めて稀）

# アーキテクチャの定性的な評価
evaluation_prompt = get_evaluation_prompt(solution["thought"], solution["code"])
score = get_score_response_from_gpt_evaluation(evaluation_prompt, args.model)

@backoff.on_exception(backoff.expo, openai.RateLimitError)
def get_score_response_from_gpt_evaluation(
        msg,
        model,
        temperature=0.8
):
    response = client.chat.completions.create(
        model=model,
        messages=[
            {"role": "system", "content": "あなたは役立つ助手です。"},
            {"role": "user", "content": msg},
        ],
        temperature=temperature, max_tokens=4096, stop=None
    )
    content = response.choices[0].message.content
    score = extract_total_score(content)
    assert not score is None
    return score

OPENAI_API_KEY=xxxxxxxxxxxxxxxxxx

poetry install
poetry run python _coding/search.py --n_generation 30 --model gpt-4o-2024-08-06 --expr_name coding_gpt4o_results

{
    "thought": "**洞察:**\n新しいアーキテクチャ「Context-Aware Adaptive Architecture」は、フィードバックの評価にコンテキストを考慮し、エージェントが動的に役割を調整するプロセスを明確化することを目的とします。エージェントが提供するフィードバックに詳細なコンテキストを付加することで、フィードバックの質をより正確に評価し、エージェントがそれに基づいて役割を最適化できるようにします。\n\n**全体的なアイデア:**\nこのアーキテクチャでは、エージェントごとに独自の評価基準を持ち、フィードバックの提供時に他のエージェントの出力と照らし合わせることで、フィードバックの質を高めます。その後、これらの定量化された評価を基に役割を再評価し、解決策を更新します。\n\n**実装:**\n1. 各エージェントを初期化し、専門知識に基づく初期解決策を生成します。\n2. 各エージェントが他のエージェントの解決策を詳細に評価し、定量化されたフィードバックを提供します。\n3. 提供されたフィードバックを基に役割を再評価し、新たな解決策を生成します。\n4. フィードバックループを3回繰り返し、洗練された解決策を形成します。\n5. 最終的に統合された解決策を基に、最適な結果を提供します。",
    "name": "Context-Aware Adaptive Architecture",
    "code": "def forward(self, taskInfo):\n    skill_instruction = \"あなたのスキルを見直し、最適な役割を選択して初期解決策を生成してください。\"\n    feedback_instruction = \"他のエージェントの解決策を評価し、定量化されたフィードバックと具体的な改善点を提供してください。\"\n    contextual_instruction = \"与えられたフィードバックを基に役割を再評価し、新しい解決策を生成してください。\"\n    finalize_instruction = \"すべての改善された解決策を統合し、最適な結果を提供してください。\"\n\n    # 初期エージェントの設定\n    agents = [\n        LLMAgentBase(['thinking', 'solution'], 'Adaptive Agent', role='Tech Expert'),\n        LLMAgentBase(['thinking', 'solution'], 'Adaptive Agent', role='Design Expert'),\n        LLMAgentBase(['thinking', 'solution'], 'Adaptive Agent', role='Business Expert'),\n        LLMAgentBase(['thinking', 'solution'], 'Adaptive Agent', role='UX Expert')\n    ]\n\n    # 初期解決策の収集\n    initial_solutions = [agent([taskInfo], skill_instruction)[1] for agent in agents]\n\n    # フィードバックと改善のループ\n    for _ in range(3):  # 3回のフィードバックループ\n        feedbacks = [[] for _ in agents]\n        for i, agent in enumerate(agents):\n            feedbacks[i] = [agent([taskInfo, solution], feedback_instruction)[0] for j, solution in enumerate(initial_solutions) if i != j]\n\n        # 役割の再評価と解決策の改善\n        for i, agent in enumerate(agents):\n            refined_solution = agent([taskInfo] + feedbacks[i], contextual_instruction)[1]\n            initial_solutions[i] = refined_solution\n\n    # 最終解決策の統合\n    final_decision_agent = LLMAgentBase(['thinking', 'answer'], 'Final Decision Agent', temperature=0.1)\n    final_answer = final_decision_agent([taskInfo] + initial_solutions, finalize_instruction)[1]\n\n    return final_answer\n",
    "fitness": "score: 67 / 80",
    "generation": 30
}