Просмотр исходного кода

feat(eval): 扩 golden 集 + reviewer-qwen 设 FC 默认

- reviewer-qwen.yml 加 react.nativeToolCalls: true(qwen + 无 enforceLoop,唯一干净可设 FC 的第一方)。
- evals/golden 新增生成型(无需输入文件、可直接跑)golden:grant-planner/course-designer/exam-builder。
  审稿/润色/批改类需输入文件,留待配样例数据。
- 排查发现:多数第一方 agent 走 claude-code(FC 无效)或带 enforceLoop(FC-MVP 不支持),
  无法批量设 FC 默认;详见对话。要广推 FC 需先给 FC loop 加 enforceLoop 支持。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
kenny67nju 5 месяцев назад
Родитель
Сommit
a3d0c5d6f8

+ 1 - 0
agentexample/agentpacks/research.top-journal-reviewer/agents/reviewer-qwen.yml

@@ -94,6 +94,7 @@ systemPrompt: |
   中文回复,学术严谨但具体可执行。不空泛夸奖,也不无依据贬低。
 
 react:
+  nativeToolCalls: true   # qwen 走原生 tool_calls(无 enforceLoop,安全)
   progressDiscipline: true   # 多步任务维护 PROGRESS.md 待办,防乱跳/重做
   maxSteps: 30          # 千问 API 无 session resume;步数适当收紧
   observationEnabled: true

+ 9 - 0
evals/golden/course-designer.yaml

@@ -0,0 +1,9 @@
+agent_template: teaching.course-designer
+tasks:
+  - id: nlp-undergrad
+    input: "为本科生设计一门《自然语言处理导论》课程,16 周。"
+    must_produce: ["syllabus", "outline", "course", "大纲"]
+    rubric: |
+      评估这份课程设计(0-1):是否有课程目标、16 周教学安排、每周主题与作业、
+      考核方式、参考教材。可直接用于开课则 >=0.6。
+    threshold: 0.6

+ 9 - 0
evals/golden/exam-builder.yaml

@@ -0,0 +1,9 @@
+agent_template: teaching.exam-builder
+tasks:
+  - id: ds-midterm
+    input: "出一份《数据结构》期中试卷,含选择/填空/算法设计,附参考答案。"
+    must_produce: ["exam", "试卷", "answer", "答案"]
+    rubric: |
+      评估这份试卷(0-1):题型是否齐全、难度是否分层、是否覆盖核心知识点(线性表/树/图/排序)、
+      是否附参考答案。可直接用于考试则 >=0.6。
+    threshold: 0.6

+ 9 - 0
evals/golden/grant-planner.yaml

@@ -0,0 +1,9 @@
+agent_template: research.grant-planner
+tasks:
+  - id: nsfc-ai-edu
+    input: "帮我规划一个面向'AI 辅助外语教学'方向的国家自然科学基金青年项目思路。"
+    must_produce: ["plan"]
+    rubric: |
+      评估这份基金规划(0-1):是否有清晰的科学问题/研究目标、研究内容与技术路线、
+      创新点、可行性论证、预期成果。结构完整、可作为申报草稿起点则 >=0.6。
+    threshold: 0.6