E4 实验跨模型对比分析

分析时间: 2026-03-22 对比模型: Qwen2.5-7B vs Mistral-7B

一、核心发现汇总

发现	Qwen2.5-7B	Mistral-7B	一致性
H1: 谱压缩	❌ 证伪 (r_eff +303%)	❌ 证伪 (r_eff +65%)	✅ 方向一致
H2: 域专一化	✅ 支持 (STG 22.5x)	✅ 支持 (STG 2.0x)	✅ 方向一致

总体结论: 谱展开 + 域分化效应在两个架构上普适

二、详细对比

2.1 指令域 r_eff 对比

模型	Base	Instruct	增幅
Qwen2.5-7B	3.01	12.14	+303%
Mistral-7B	16.79	27.69	+65%

观察:

方向一致：都是 Instruct > Base
效应量差异：Qwen 更显著
基线差异：Mistral-Base 的 r_eff 本身较高

解释:

Qwen2.5-Base 可能预训练时较少接触指令数据
Mistral-Base 预训练数据可能包含更多指令样文本
但对齐效应的方向一致

2.2 通用域 r_eff 对比（对照）

模型	Base	Instruct	增幅
Qwen2.5-7B	3.37	4.03	+20%
Mistral-7B	6.03	6.53	+8%

观察:

通用域变化小（vs 指令域的大幅变化）
说明 Instruct 微调的影响是域特异性的

2.3 STG (域专一化) 对比

STG = |r_eff_instruction - r_eff_general|

模型	Base STG	Instruct STG	提升倍数
Qwen2.5-7B	0.36	8.11	22.5x
Mistral-7B	10.76	21.16	2.0x

观察:

两个架构都显示 Instruct 版 STG 更高
Qwen 的 STG 提升更显著
Mistral-Base 已经有较高 STG（10.76）

解释:

Mistral 预训练可能已经有一定的域分化
但 Instruct 微调进一步增强了域分化

2.4 SPD (谱距离) 对比

模型	指令域 SPD	通用域 SPD
Qwen2.5-7B	8.26	0.51
Mistral-7B	5.83	0.45

观察:

指令域 SPD >> 通用域 SPD
说明 Base/Instruct 的主要差异在指令域

三、理论贡献

3.1 原始假设的证伪

原始假设: 对齐 = 谱压缩（Instruct 版 r_eff 更低）

实际发现:

Qwen2.5: r_eff 从 3.01 升至 12.14 (+303%)
Mistral: r_eff 从 16.79 升至 27.69 (+65%)
两个架构都被证伪

3.2 新理论：对齐即谱展开 + 域分化

核心论点:

对齐使模型在指令域上展开表示（使用更多维度）
对齐使模型学会域切换（指令域高维，通用域低维）
效应在两个架构上普适

3.3 架构差异的启示

维度	Qwen2.5	Mistral
Base r_eff (指令)	3.01 (低)	16.79 (高)
预训练差异	较少指令数据	更多指令数据
Instruct 效应量	+303%	+65%

启示:

基线 r_eff 反映预训练数据的组成
但 Instruct 微调的方向是普适的

四、统计显著性

检验	Qwen2.5	Mistral-7B
指令域差异	p < 0.01	p < 0.01
通用域差异	n.s.	n.s.
STG 差异	p < 0.001	p < 0.01

五、结论

核心结论: "对齐即谱展开 + 域分化"效应在两个架构上普适

论文价值:

跨模型验证增强了结论的可信度
效应方向一致支持理论的普适性
基线差异本身也是有意义的发现（预训练数据影响）

未来方向:

增加更多架构验证（如 LLaMA、Gemma）
分析预训练数据组成与基线 r_eff 的关系
探索不同对齐方式（SFT vs DPO vs RLHF）的谱效应

报告生成时间：2026-03-22

e4_cross_model_analysis.md 3.7 KB Permalink Riwayat Mentahan