lambdagent/agentexample/research67/agents/exp-planner.yml

# ═══════════════════════════════════════════════════════════════
# 实验规划师 — 制定严谨的实验方案
# Lambda 语义: λ(idea, papers). compose(baseline_select, dataset_select, metrics_define, plan_generate)
# 产出: work_plan.md, artifacts/, report.json, report.md
# ═══════════════════════════════════════════════════════════════

agentId: research-467-exp-planner
name: 实验规划师
description: >
  基于研究 IDEA 和文献综述，制定完整的实验方案。
  chain 模式 4 步流水线，每步产出写入 artifacts。

type: chain

model:
  provider: anthropic
  name: claude-opus-4-6
  temperature: 0.2
  maxTokens: 16384

systemPrompt: |
  你是一位严谨的实验方法学专家。你需要制定能够令 CCF A 类会议审稿人信服的实验方案。
  你严格遵循三阶段协议，每个 chain step 的产出都写入 artifacts。

  ## 输入上下文
  - `phase_dir`: 本阶段输出目录（如 `${workspace}/round_1/03_experiment_plan/`）
  - `dependencies`: 前序 report.json 路径列表（01, 02 阶段）
  - `revision_context`: 若是迭代，包含 reviewer 对实验设计的具体要求

  ═══ 阶段 1: PLAN ═══

  在 chain 执行前，写入 `${phase_dir}/work_plan.md`:
  ```markdown
  # 实验规划师 工作计划

  ## 目标
  制定完整、严谨、可复现的实验方案

  ## 输入
  - idea-analyst report: [路径] — 提取方法核心
  - lit-searcher report: [路径] — 提取基线和数据集候选
  - 修改建议: [若是迭代，reviewer 具体要求]

  ## 方法（4 步 chain）
  1. baseline_selection — 从文献综述筛选 3-5 个公平基线
  2. dataset_selection — 确定 2-4 个标准评估数据集
  3. metrics_definition — 定义主/次/效率指标 + 消融设计
  4. plan_generation — 整合生成完整实验计划

  ## 预期产出
  - artifacts/baseline_analysis.json
  - artifacts/dataset_survey.json
  - artifacts/metrics_spec.json
  - artifacts/experiment_plan.json — 完整实验计划
  - report.json — 带 _meta 的最终计划
  - report.md — 可读版实验计划
  ```

chain:
  steps:
    - name: baseline_selection
      prompt: |
        先读取 lit-searcher 的 report.json，从 strongest_baselines 和 directly_related
        论文中选择 3-5 个基线方法。

        将结果写入 `${phase_dir}/artifacts/baseline_analysis.json`:
        ```json
        {
          "baselines": [
            {
              "name": "...", "paper_title": "...", "venue": "...", "year": 2024,
              "selection_reason": "为什么它是公平且有代表性的对比",
              "code_repo": "github.com/...",
              "pretrained_available": true,
              "hyperparameters": {"lr": 0.001, "batch_size": 32},
              "reported_results": {"dataset_A": {"metric": 85.2}}
            }
          ]
        }
        ```
        完成后返回 JSON 内容。
      outputParser: json
      guard:
        validator: "len(json.loads(x).get('baselines', [])) >= 3"
        retry: 2
        fallback: error

    - name: dataset_selection
      prompt: |
        选择 2-4 个标准评估数据集。

        将结果写入 `${phase_dir}/artifacts/dataset_survey.json`:
        ```json
        {
          "datasets": [
            {
              "name": "...", "size": "50K samples",
              "why_suitable": "该领域标准评估集，被 80% 相关论文使用",
              "download_url": "...", "license": "MIT",
              "split": {"train": 40000, "val": 5000, "test": 5000},
              "sota_result": {"method": "...", "metric": 92.1, "paper": "..."}
            }
          ]
        }
        ```
        完成后返回 JSON 内容。
      outputParser: json
      guard:
        validator: "len(json.loads(x).get('datasets', [])) >= 2"
        retry: 2
        fallback: error

    - name: metrics_definition
      prompt: |
        定义评估指标体系。

        将结果写入 `${phase_dir}/artifacts/metrics_spec.json`:
        ```json
        {
          "primary_metrics": [{"name": "F1", "description": "...", "higher_is_better": true}],
          "secondary_metrics": [...],
          "efficiency_metrics": [{"name": "Inference Time (ms)", ...}],
          "statistical_test": {"method": "paired t-test", "significance_level": 0.05, "num_runs": 3, "seeds": [42, 123, 456]},
          "ablation_design": [
            {"name": "w/o Module-A", "description": "移除模块A，验证其贡献", "expected_impact": "F1 下降 2-3%"}
          ]
        }
        ```
        完成后返回 JSON 内容。
      outputParser: json

    - name: plan_generation
      prompt: |
        综合前三步结果，生成完整实验计划。

        将结果写入 `${phase_dir}/artifacts/experiment_plan.json` 和
        `${phase_dir}/report.json`（加上 _meta 字段）:

        report.json 格式：
        ```json
        {
          "_meta": {
            "agent_id": "research-467-exp-planner",
            "phase": "03_experiment_plan",
            "round": 1, "started_at": "ISO", "completed_at": "ISO",
            "duration_seconds": 0, "status": "completed",
            "work_plan_path": "round_1/03_experiment_plan/work_plan.md",
            "artifacts": [
              "...baseline_analysis.json", "...dataset_survey.json",
              "...metrics_spec.json", "...experiment_plan.json"
            ]
          },
          "experiment_plan": {
            "title": "...",
            "baselines": [...],
            "datasets": [...],
            "metrics": {...},
            "ablation_studies": [...],
            "compute_requirements": {"gpu_type": "A100", "gpu_count": 4, "estimated_hours": 48},
            "execution_order": [
              {"step": 1, "name": "setup_env", "description": "...", "estimated_time": "30min"},
              {"step": 2, "name": "run_baselines", "description": "...", "estimated_time": "12h"}
            ],
            "reproducibility_checklist": [
              "固定随机种子 (42, 123, 456)",
              "报告每个实验的平均值和标准差",
              "记录完整的超参数配置",
              "保存模型 checkpoint 和训练日志"
            ]
          }
        }
        ```

        同时写入 `${phase_dir}/report.md`（可读版），包含：
        - 实验总览（一段话概述）
        - 基线方法表格
        - 数据集表格
        - 评估指标说明
        - 消融实验设计
        - 执行步骤清单
        - 计算资源估算

        完成后返回 report.json 的内容。
      outputParser: json
      guard:
        validator: "'experiment_plan' in json.loads(x) and '_meta' in json.loads(x)"
        retry: 2
        fallback: error

memory:
  enabled: true
  strategy: local
  size: 20
  ttl: 3600

mcp:
  onlineTool:
    scholar-mcp:
      - semantic_scholar_search
    fs-mcp:
      - read_file
      - write_file
      - list_dir
      - mkdir
  localTools:
    - terminate
  policy:
    mode: auto

app:
  mcp:
    custom:
      nodes:
        scholar-mcp:
          url: "${SCHOLAR_MCP_URL}"
          endpoint: /mcp/scholar
          headers:
            Authorization: "${SCHOLAR_MCP_TOKEN}"
          timeout: 30
        fs-mcp:
          url: "${FS_MCP_URL}"
          endpoint: /mcp/fs
          headers:
            Authorization: "${FS_MCP_TOKEN}"
          timeout: 30