# LambdaRAG TODO List

> 基于 Maritime 180题 (90.8%) + Finance 95题 (55%) 实验结果
> 综合自身问题分析 + 业界最佳实践 (CRAG/RAGAS/GraphRAG/FAIR-RAG等)
> 2026-04-08

---

## P0 — 立即可做 (< 30 min each, 高回报)

### P0-1: 修复 graph keywords 错误
- **问题**: `[graph] Error: 'keywords'` 每次查询都报错
- **原因**: 规则分类路径返回的 dict 没有 `keywords` 字段
- **改动**: `search_unified.py` 的 `_rule_based_entities` 确保返回 keywords
- **文件**: `search_unified.py`
- **预期**: 消除报错，graph 路径正常工作

### P0-2: 分类规则增加领域词 + 优先级排序
- **问题**: Finance 意图准确率 46%, Maritime 60%
- **原因**: process/compare 边界模糊，"能不能报销"同时命中两个
- **改动**: 
  - process 关键词优先于 compare（先匹配 process）
  - Finance 增加: 报销/预约/退回/建账/扣税/签字/审批/发放
  - Maritime 增加: 检验/登记/适任/发证/申请/备案
  - 改为评分制而非先命中返回
- **文件**: `search_unified.py` intent_entity_extract
- **预期**: 意图准确率 +15-20%

### P0-3: 查询日志 (JSONL)
- **问题**: 无法追踪哪些问题失败、哪些策略有效
- **改动**: 每次查询后 append 到 `feedback/query_log.jsonl`
  ```json
  {"ts":"2026-04-08T12:00:00", "query":"...", "intent":"fact", 
   "strategy":"v3(fact|...)", "has_result":true, "elapsed":3.2,
   "path_counts":{"bm25":10,"vector":8,"graph":3,"wiki":2}}
  ```
- **文件**: `search_unified.py` search() 末尾
- **预期**: 数据基础，后续所有优化的度量依据

### P0-4: "未找到"记录到 feedback
- **问题**: Finance 45题未找到，不知道缺什么文档
- **改动**: 当回答含"未找到"时，记录到 `feedback/missing_queries.jsonl`
- **文件**: `app.py` rag_answer() + `search_unified.py`
- **预期**: 指导知识库补充，定期分析哪些问题需要新文档

---

## P1 — 本周内 (< 2hr each, 显著提升)

### P1-1: Corrective RAG — 检索质量门控
- **问题**: 检索到不相关文档但仍生成回答（如行政清单 vs 法律原文）
- **改动**: RRF 融合后、生成前，用 LLM 快速评估 top-3 文档相关性
  - 相关性 < 0.4 → 自动改写 query 重新检索（retry 1次）
  - Lambda: `Guard(fusion_search, quality_check, retry=1, on_fail=reformulate)`
- **文件**: `search_unified.py` 新增 `_check_retrieval_quality`
- **预期**: 减少"未找到"5-10题，减少错误回答

### P1-2: compare 类跳过实体增强
- **问题**: compare 类 v3 比 v2 下降 4%（93→89%）
- **原因**: 实体增强把两个法律名扩展为更多词，反而稀释了精确匹配
- **改动**: `entity_enhanced_search` 中 compare 类用原始 query 不做增强
- **文件**: `search_unified.py`
- **预期**: compare +4% 回到 93%

### P1-3: FAIR-RAG 内联证据评估（改 prompt）
- **问题**: LLM 有时生成无依据的内容
- **改动**: answer prompt 增加要求：每个论点标注 `[证据:doc_id, 置信度:0-1]`
  - 置信度 < 0.7 的论点不输出
- **文件**: `instance.yml` 的 prompts.fact_answer / process_answer
- **预期**: 减少编造，提高引用准确性

### P1-4: 语义查询缓存
- **问题**: 重复问题每次都要全量检索 + LLM
- **改动**: 
  - 查询前 embed query → 对比缓存 → 相似度 > 0.92 返回缓存
  - 缓存存: `feedback/query_cache.json` (LRU 1000条, TTL 4hr)
- **文件**: `search_unified.py` search() 开头加缓存检查
- **预期**: 30-50% 缓存命中，延迟 12.5s → 0.5s

### P1-5: temporal 时间展开
- **问题**: temporal 类 82%，"近五年"等模糊时间无法匹配
- **改动**: 检测到时间模糊词时，自动展开为绝对年份
  - "近五年" → "2021年 2022年 2023年 2024年 2025年"
  - "最新" → 当前年份
- **文件**: `search_unified.py` 或 `_path_bm25` 中增加时间展开
- **预期**: temporal +5-10%

---

## P2 — 下周 (< 1天 each, 架构提升)

### P2-1: RAGAS 自动评估框架
- **问题**: 只有关键词命中率，无法评估回答质量
- **改动**: 新增 `eval_ragas.py`
  - 3 个指标: faithfulness, relevancy, context_precision
  - 用本地 vLLM 做 LLM-as-judge
  - 批量评估 + 结果存 `feedback/eval_results.jsonl`
- **文件**: 新文件 `scripts/eval_ragas.py`
- **预期**: 每次改动有量化评估，回归测试

### P2-2: 上下文分块 (Contextual Chunking)
- **问题**: "本条例"、"上述规定"等指代不明
- **改动**: build_vector_index.py 中，每个 chunk 前加 LLM 生成的上下文
  - `"[文件:《海上交通安全法》第三章 船舶检验] 原文内容..."`
- **文件**: `build_vector_index.py`
- **预期**: 向量检索准确率 +10%，一次性重建索引

### P2-3: 领域同义词表
- **问题**: "适任证书"vs"资格证书"，"报销"vs"列支"，检索不互通
- **改动**: 
  - 新增 `feedback/synonym_map.json`
  - BM25 tokenize 时自动展开同义词
  - 从 query_expand 历史中积累
- **文件**: `search_engine.py` tokenize + `feedback/synonym_map.json`
- **预期**: 检索召回 +5%

### P2-4: MinerU 深度文档解析
- **问题**: 84个扫描版 PDF 无法提取，表格结构丢失
- **改动**: 用服务器已有的 MinerU Docker 镜像替代 PyMuPDF
- **文件**: 新文件 `scripts/extract_mineru.py`
- **预期**: +84 个文件可检索，表格质量提升

### P2-5: 路由成功率统计 + 自适应权重
- **问题**: 权重是手动调的，不同领域需要不同权重
- **改动**:
  - 从 query_log.jsonl 统计各 (intent, strategy) 的成功率
  - 每 100 次查询自动更新 `feedback/routing_stats.json`
  - 用成功率加权替代固定权重
- **文件**: `search_unified.py` + 新文件 `scripts/update_routing.py`
- **预期**: 自动调优，适配不同领域

---

## P3 — 长期 (架构演进)

### P3-1: MA-RAG 多智能体分解
- 复杂问题先分解为子问题，各自检索后合并
- 对应现有的 `map_reduce` pattern + `DeepAnalysis` tool

### P3-2: LazyGraphRAG 增量图谱
- 每次查询结果中提取新关系，增量更新图谱
- 对应现有 knowledge_feedback 设计

### P3-3: 更强模型重编译 Wiki
- 用 72B+ 模型重新编译 Wiki，提升摘要和关系质量

### P3-4: 用户反馈收集
- Web Demo 加 👍/👎 按钮，收集用户反馈
- 用反馈训练分类器和调整权重

---

## 完成进度追踪

| ID | 状态 | 完成日期 |
|----|------|---------|
| P0-1 | ✅ | 2026-04-08 |
| P0-2 | ✅ | 2026-04-08 |
| P0-3 | ✅ | 2026-04-08 |
| P0-4 | ✅ | 2026-04-08 |
| P1-1 | ✅ | 2026-04-08 |
| P1-2 | ✅ | 2026-04-08 |
| P1-3 | ⬜ | |
| P1-4 | ⬜ | |
| P1-5 | ✅ | 2026-04-08 |
| P2-1 | ⬜ | |
| P2-2 | ⬜ | |
| P2-3 | ⬜ | |
| P2-4 | ⬜ | |
| P2-5 | ⬜ | |