LiJiaZhou
pushed to main at LiJiaZhou/CustomesDataAgent
2326996475 feat(ui,ledger): 界面可视化验证与修复 + 数据面台账补齐
用 Edge 无头模式真实渲染四个页面并截图(docs/images/),据此修掉一批只在真实
浏览器里才暴露的问题,同时补齐"数据面台账没记录 data_read"的实现缺口。
数据面台账(Python)
- data_read / customs_process 接受 BFF 传入的 call_id、session_id,按同一 call_id
写入数据面台账(调用级 + 行级 value_index);此前只有 calculator 会记录
- stat 对象的 bytes 改为统计整次运行目录的真实占用(原为 0,界面显示 0 B)
- 新增 2 项接口测试覆盖上述记账行为
前端
- 新增 hash 路由:#/chat、#/process、#/files、#/system 可直连/刷新/截图;
BFF 对未知无扩展名路径回退 index.html,对缺失的 /assets/* 改为 404
- 历史消息现在也显示溯源 chip(此前只有流式过程中显示)
- 处理页打开时自动加载最近一次成功结果,右侧不再空白
- 工具卡片:无行数时显示摘要(如"2 个对象"),失败时显示原因
- 年度/月度/排名列不再加千分位(2025 不再显示成 2,025)
- 文件页"规模"列区分原始数据(N 行)与统计结果(23 表 · N 行)
- 系统页分别展示数据面台账与会话台账的调用数/索引值数
文档
- README 与使用手册加入四张界面截图与界面导览
- 架构文档补充两本台账的写入口径;实现说明补充前端路由与首屏性能
测试
- Python 85、BFF 54、前端 23、端到端 28 项,合计 190 项全部通过
a9687ea58d fix(verify): 消除核验层两类误判 + 端到端稳定性
联调反复运行时暴露了两个"正常表述被判无来源"的问题,均已修复并加回归测试:
1) 报表名里的数字被当成数据断言
答案里提到 "4.2.3 (1-4)_MLCC"、"1.0-3.0_MLCC"、"DDR4" 时,抽取器会把
4.2 / 3 / 1 / 4 拆成独立数字,台账里查不到 → 整条答案被拒绝交付。
修复:抽取前把"报表名/代次"片段遮成等长空格(偏移不变),
新增 STRUCTURAL_PATTERNS + maskStructural(bff/src/verify/extract.ts)。
2) 工具返回的标量没进台账
模型引用 "共 20 行"、"处理 1057 条" 这类工具元数据时被判无来源。
修复:新增 collectScalars,把工具内容里的标量与数字字符串一并写入会话台账
(跳过 rows 与 verification_context),由 runtime 传给 SessionLedger.record。
配套调整
- e2e 的对话断言改为验证"机制正确":核验必须给出明确裁决,且 delivered 与 verdict 一致
(模型输出随机,不应把模型质量问题当成平台回归);问题也收窄为"只回答一个数字"。
- e2e 启动前清理占用测试端口的残留进程,避免上一轮异常退出造成假失败。
测试
- BFF 54 项(新增 4 项:报表名不产生 claim、遮罩后真实数字仍可抽出、
collectScalars 行为、标量写台账),前端 22 项,Python 83 项,端到端 28 项 × 连续 3 次
- 合计 187 项全部通过;文档同步更新(README、docs/05 测试报告)
1a9b2df88c feat: 海关问数 Agent 平台 1.0(DSH 架构 + 数据真实性核验 + 可替换数据处理工具)
按《海关问数 agent 架构设计》实现完整平台。
架构(五层)
- 前端:React + Vite + TS,四个工作区(工作区/文件/数据处理/对话),SSE 流式 + 溯源 chip
- BFF:Node 24 + TS,零运行时依赖(node:http / node:sqlite / 自写 YAML 子集解析器)
- Harness:与 DeepSeek Harness 同语义的内嵌运行时(defineTool / finalizeContent /
Preset / provider),并保留切换官方 DSH 运行时的适配器接缝
- 工具执行层:Python + FastAPI,customs_process / data_read / calculator / list_objects
- 核验与存储:对象库、行级血缘、两本台账(数据面哈希链 + 会话核验索引)
数据真实性
- 工具输出经 finalizeContent 注入不可伪造的 call_id + 行哈希
- 答案路径上由确定性核验层裁决:accept / flag / reject;reject 注入修正提示重试一次,
仍失败则拒绝交付
- 换算必须经过 calculator:台账只有 400316.13 时,答案写“40.03 万美元”会被拒绝
可替换的数据处理工具
- tools-service/toolsvc/customs/ 独立成包:contract.py 定义协议、factory.py 装配,
可用 CUSTOMS_PROCESSOR 环境变量整体替换,前端与 Agent 均无需改动
- 参考实现移植第一阶段第三版口径:16 张模板表 + 7 张补充表、三类指数、
价格指数样本封顶再分配、周四归月、两轮应用领域映射、逐层分析与供应链联合统计
- 输出 xlsx + 逐表 CSV + stat.sqlite(行哈希 + 数值影子列),供 data_read 查询
一键部署
- 启动.bat / 停止.bat、scripts/start.mjs(环境自检→装依赖→起服务→开浏览器)
- deploy/Dockerfile + docker-compose.yml(单镜像单端口)
- offline/ 离线 wheel 方案;bff/dist 与 web/dist 预构建入库,离线机免 npm install
测试(共 183 项,全部通过)
- Python 83 项;BFF 50 项;前端 22 项;端到端 28 项检查(真实服务 + 真实模型)
文档
- docs/01 架构设计、02 实现说明、03 零基础使用手册、04 工具模块替换指南、05 测试报告
4 days ago