LiJiaZhou

LiJiaZhou pushed to main at LiJiaZhou/CustomesDataAgent

  • 54d8d47f12 feat(ui,api): 明确"结果文件在哪"——结果目录可见 + 一键打包下载全部产物 用户反馈:处理完成后不知道结果文件在哪看。补三处: 1) 数据处理页结果区新增「结果文件在哪」区块:直接显示本次结果的绝对目录(data\runs\run_xxx)、 一句话说明目录里有什么、以及「复制路径」按钮 2) 新增「打包下载全部结果(Excel + 逐表 CSV)」按钮(zip,实测 34 个文件 / 18.6 MB) 3) 文件页统计结果行把「下载」拆成「Excel」与「全部文件」两个入口 后端 - tools-service 新增 GET /objects/{id}/archive?include=all|xlsx|csv: 把结果目录打成 zip(含 统计结果.xlsx、精确结果CSV/、明细/审计 CSV、run_config.json、 run_summary.json、stat.sqlite),排除 working.sqlite;文件名按对象名生成(RFC 5987) - BFF 新增 GET /api/objects/:oid/archive 透传(Content-Disposition 原样转发) - 修 get_workspace 不返回 object_count 的问题:新建工作区后侧边栏显示"0 个文件"(截图里的现象), 现在返回真实计数;前端在任何数据变更后刷新工作区列表,避免计数过期 测试 - Python +2:archive 打包内容断言(含 精确结果CSV/、排除 working.sqlite、include=csv 只含 csv/json)、 create_workspace 返回 object_count - 全部 7 组测试通过(Python 274 / BFF 69 / 前端 29 / 端到端 33 / UI 探针) 文档 - 使用手册新增 4.9「处理完的结果文件在哪看(三种方式)」:当场下载 / 文件页留存 / 磁盘目录, 并给出 zip 内文件清单 - 实现说明接口表补 /archive;测试报告计数更新;截图刷新

2 days ago

LiJiaZhou pushed to main at LiJiaZhou/CustomesDataAgent

  • 42df3460e4 merge: 合并远端工具增强与本地的核验/UI 修复,并让测试在任意终端下稳定 背景:远端 main 在我提交 857198f 之上又合入了两次工具增强(040cb64 是显式保留云端核验修复的 合并提交),本地落后 3 个提交。已 ff 合并到 5c6930f,我的提交与文件均完好(核验层、溯源抽屉、 深链高亮、进度 SSE、探针脚本都在)。 合并后验证与修复 - Python 272 项、BFF 69 项、前端 29 项、端到端 33 项、UI 探针 7 组,全部通过 - 修 tools-service/tests/test_large_query_design.py:两处 subprocess 调子进程时未指定编码, 在 PYTHONIOENCODING=utf-8 的终端里父进程会用 GBK 解码中文输出而崩溃(UnicodeDecodeError 导致 stdout=None)。改为 env 里强制 PYTHONIOENCODING=utf-8 且 encoding='utf-8' - 重新构建 bff/dist 与 web/dist,使其与合并后的源码一致(此前仓库里的 dist 与源码有出入) 脚本增强(scripts/ui_probe.mjs) - 服务没起时自动拉起(方便 run_tests.ps1 一键跑) - 没有历史对话时自动造数据:建工作区 → 上传 samples/small.csv → 处理 → 提一个问题 - 每次导航带变化的 query 参数,强制整页重载(此前只改 hash 不会重新拉数据,导致找到 0 个 chip) 文档同步(合并后的事实) - 表数量 23 → 25(新增 查询_* 两张汇总表);测试数字更新为 272/69/29/33 = 403 - docs/05 增加"2026-11-18 合并说明";README 与 01/02/03 的表数量、测试数字、截图一并刷新

3 days ago

LiJiaZhou pushed to main at LiJiaZhou/CustomesDataAgent

  • 857198fb9c fix(verify): 核验层只审该审的数据(修表号误拦 + 负数丢符号) 用户实测暴露:一份 318 个数字的长报告被拒,被拦的是 4.2 / 5.2 这类**表号**。核验层把 "答案里出现的数字"一律当数据断言,方向错了。按"只审数据"重做判定,并用真实输出取证。 判定重构(bff/src/verify/extract.ts + verify.ts) - 抽取前遮蔽结构标记:表号(4.2.3 (1-4)_MLCC、1.0-3.0_MLCC、5.2.1&3&5_存储器)、 4.2.x 版本号、区间 1.0-3.0 / 2025-01、三段版本号、DDR3-5、行首序号、第 N 名 - 每个数字打 severity: strict = 金额 / 百分比 / 指数 / ≥1000 的数量 / ≥2 位小数 / 10 位 HS 编码 → 查不到即拒绝 soft = 无单位裸整数、整数百分比、"10% 封顶"这类政策常数 → 只标"参考计数",不拦截 - 指数判定改为看前缀(价格指数 1124.46),修掉"728 | 价格指数…"把行数误判成指数 - 负号保留:金额环比 -0.4470999746… 之前丢符号导致台账查不到;支持 - − - - 台账新增近似反查(相对 0.02% + 绝对值 0.006):四舍五入 0.609412 ↔ 60.94%、 单位换算 18,166,535.27 ↔ 1,816.65 万 视为一致;差 4.6% 的"约 1,900 万"仍被拦 - 前端:核验面板新增"类型(必审/参考)"列,reference 状态中性显示 - 系统提示补一句:表号/章节号/年份不属于数据断言 取证与回归 - 新增 scripts/verify_probe.mjs:打印一段答案里每个候选数字的 kind/severity/状态 - 把那次的真实答案固化为 bff/test/fixtures/answer-medium.txt(+.ledger.json) - 新增 5 个用例:不把表号当数据、删一条金额只拦那一个、四舍五入容差、换算一致放行/差远拦截、负数符号 真实数据复测(medium,10,571 行) - 修符号前:318 个数字 → reject(2 个负数环比);526 个数字 → reject(1 个) - 修符号后:492 个数字、必审 392、已溯源 473 → accept,15,926 字长报告正常交付 测试:Python 85 + BFF 65 + 前端 27 + 端到端 33 + UI 探针,合计 210 项全绿

3 days ago

LiJiaZhou pushed to main at LiJiaZhou/CustomesDataAgent

  • 25c42c4fed fix(ui): 补齐会话重命名入口 + 文档记录 Docker 未实测原因 - 会话列表加 ✎ 重命名(后端 PUT /api/sessions/:id 早已就绪,只缺前端入口) - 使用手册补"改名字/删对话"两行速查 - 测试报告如实记录:本机 Docker Desktop 守护进程未启动,只做了 docker compose config 结构校验(通过),镜像构建未实测,并给出在有守护进程环境下的验证命令

4 days ago

LiJiaZhou pushed to main at LiJiaZhou/CustomesDataAgent

  • f5ed8dd507 feat: 补齐架构文档要求的交互与接口(溯源抽屉、跳转高亮、进度 SSE、按行取数) 按架构文档逐条自查后补齐 5 处缺口,并用 CDP 驱动真实浏览器点击验证。 溯源 chip 可点击(文档 4.3/5 的明确要求) - 新增 TraceDrawer:点开数字 → 对象 / 表 / 行号 / 行哈希 / 字段 + 这一行全部原文(命中字段高亮) + 下钻谓词(source_rows)+ 原始数据对象 - calculator 产生的数字改为展示"计算 ID / 参数 / 结果哈希" - 抽屉底部"在结果表中查看这一行" → #/files?object=&table=&row= 深链 → FilesPage 用 preview 的 offset 定位并蓝色高亮该行(scrollIntoView) - 核验面板里"已溯源"的数字同样可点开 按行取数 / 预览定位(后端) - 新增 GET /objects/{id}/row(原文 + 行哈希 + 行级血缘)与 /api/objects/:oid/row - preview 支持 offset,并返回 row_indexes / row_hashes,供前端定位高亮 - 新增 GET /objects/{id}/sheet_meta;BFF 补齐契约里的嵌套路径 /api/workspaces/:wid/objects/:oid 处理进度 SSE(文档 4.2) - 新增 GET /api/process/:runId/stream(progress 事件流 + done) - 前端优先用 SSE,流断自动退回 700ms 轮询 其他 - 文件页新增 SHA256 指纹列 - 数据处理页显式展示血缘五项(输入文件/输入指纹/参数哈希/输出哈希/引擎) - 自定义聚合补齐"过滤条件"编辑器(文档要求的"配置过滤条件") - 新增 GET /api/sessions/:id/ledger/:callId(单次调用详情) 真实浏览器验证(新脚本 scripts/ui_probe.mjs) - 用 Chrome DevTools Protocol 打开页面、点 chip、断言抽屉出现、点跳转、断言弹窗与高亮行 - 顺带抓出并修掉"抽屉里年度显示成 2,026"的问题 - 6 张截图存入 docs/images/,README 与使用手册加入对应图廊与操作步骤 测试 - BFF 58(+4:按行取数/嵌套路径、预览 offset、进度 SSE、台账调用详情)、前端 27(+4:抽屉、深链解析)、 Python 85(+3:row/sheet_meta/preview offset)、端到端 33(+5:SSE 进度、按行取数、越界 404)、 UI 探针 7 组汇总全绿

4 days ago

LiJiaZhou pushed to main at LiJiaZhou/CustomesDataAgent

  • 2326996475 feat(ui,ledger): 界面可视化验证与修复 + 数据面台账补齐 用 Edge 无头模式真实渲染四个页面并截图(docs/images/),据此修掉一批只在真实 浏览器里才暴露的问题,同时补齐"数据面台账没记录 data_read"的实现缺口。 数据面台账(Python) - data_read / customs_process 接受 BFF 传入的 call_id、session_id,按同一 call_id 写入数据面台账(调用级 + 行级 value_index);此前只有 calculator 会记录 - stat 对象的 bytes 改为统计整次运行目录的真实占用(原为 0,界面显示 0 B) - 新增 2 项接口测试覆盖上述记账行为 前端 - 新增 hash 路由:#/chat、#/process、#/files、#/system 可直连/刷新/截图; BFF 对未知无扩展名路径回退 index.html,对缺失的 /assets/* 改为 404 - 历史消息现在也显示溯源 chip(此前只有流式过程中显示) - 处理页打开时自动加载最近一次成功结果,右侧不再空白 - 工具卡片:无行数时显示摘要(如"2 个对象"),失败时显示原因 - 年度/月度/排名列不再加千分位(2025 不再显示成 2,025) - 文件页"规模"列区分原始数据(N 行)与统计结果(23 表 · N 行) - 系统页分别展示数据面台账与会话台账的调用数/索引值数 文档 - README 与使用手册加入四张界面截图与界面导览 - 架构文档补充两本台账的写入口径;实现说明补充前端路由与首屏性能 测试 - Python 85、BFF 54、前端 23、端到端 28 项,合计 190 项全部通过
  • a9687ea58d fix(verify): 消除核验层两类误判 + 端到端稳定性 联调反复运行时暴露了两个"正常表述被判无来源"的问题,均已修复并加回归测试: 1) 报表名里的数字被当成数据断言 答案里提到 "4.2.3 (1-4)_MLCC"、"1.0-3.0_MLCC"、"DDR4" 时,抽取器会把 4.2 / 3 / 1 / 4 拆成独立数字,台账里查不到 → 整条答案被拒绝交付。 修复:抽取前把"报表名/代次"片段遮成等长空格(偏移不变), 新增 STRUCTURAL_PATTERNS + maskStructural(bff/src/verify/extract.ts)。 2) 工具返回的标量没进台账 模型引用 "共 20 行"、"处理 1057 条" 这类工具元数据时被判无来源。 修复:新增 collectScalars,把工具内容里的标量与数字字符串一并写入会话台账 (跳过 rows 与 verification_context),由 runtime 传给 SessionLedger.record。 配套调整 - e2e 的对话断言改为验证"机制正确":核验必须给出明确裁决,且 delivered 与 verdict 一致 (模型输出随机,不应把模型质量问题当成平台回归);问题也收窄为"只回答一个数字"。 - e2e 启动前清理占用测试端口的残留进程,避免上一轮异常退出造成假失败。 测试 - BFF 54 项(新增 4 项:报表名不产生 claim、遮罩后真实数字仍可抽出、 collectScalars 行为、标量写台账),前端 22 项,Python 83 项,端到端 28 项 × 连续 3 次 - 合计 187 项全部通过;文档同步更新(README、docs/05 测试报告)
  • 1a9b2df88c feat: 海关问数 Agent 平台 1.0(DSH 架构 + 数据真实性核验 + 可替换数据处理工具) 按《海关问数 agent 架构设计》实现完整平台。 架构(五层) - 前端:React + Vite + TS,四个工作区(工作区/文件/数据处理/对话),SSE 流式 + 溯源 chip - BFF:Node 24 + TS,零运行时依赖(node:http / node:sqlite / 自写 YAML 子集解析器) - Harness:与 DeepSeek Harness 同语义的内嵌运行时(defineTool / finalizeContent / Preset / provider),并保留切换官方 DSH 运行时的适配器接缝 - 工具执行层:Python + FastAPI,customs_process / data_read / calculator / list_objects - 核验与存储:对象库、行级血缘、两本台账(数据面哈希链 + 会话核验索引) 数据真实性 - 工具输出经 finalizeContent 注入不可伪造的 call_id + 行哈希 - 答案路径上由确定性核验层裁决:accept / flag / reject;reject 注入修正提示重试一次, 仍失败则拒绝交付 - 换算必须经过 calculator:台账只有 400316.13 时,答案写“40.03 万美元”会被拒绝 可替换的数据处理工具 - tools-service/toolsvc/customs/ 独立成包:contract.py 定义协议、factory.py 装配, 可用 CUSTOMS_PROCESSOR 环境变量整体替换,前端与 Agent 均无需改动 - 参考实现移植第一阶段第三版口径:16 张模板表 + 7 张补充表、三类指数、 价格指数样本封顶再分配、周四归月、两轮应用领域映射、逐层分析与供应链联合统计 - 输出 xlsx + 逐表 CSV + stat.sqlite(行哈希 + 数值影子列),供 data_read 查询 一键部署 - 启动.bat / 停止.bat、scripts/start.mjs(环境自检→装依赖→起服务→开浏览器) - deploy/Dockerfile + docker-compose.yml(单镜像单端口) - offline/ 离线 wheel 方案;bff/dist 与 web/dist 预构建入库,离线机免 npm install 测试(共 183 项,全部通过) - Python 83 项;BFF 50 项;前端 22 项;端到端 28 项检查(真实服务 + 真实模型) 文档 - docs/01 架构设计、02 实现说明、03 零基础使用手册、04 工具模块替换指南、05 测试报告

4 days ago

LiJiaZhou created new branch main at LiJiaZhou/CustomesDataAgent

4 days ago

LiJiaZhou created repository LiJiaZhou/CustomesDataAgent

4 days ago