Direction9/experiments/output/e4_qwen/e4_report.md

E4 实验报告：对齐即谱工程

实验时间: 2026-03-22T12:54:25.895468 模型对: Qwen2.5-7B-Base (Base) vs Qwen2.5-7B-Instruct (Instruct)

---

一、实验目标

验证对齐（SFT/Instruct 微调）对模型谱结构的影响：

• 假设 H1: Instruct 版在指令集上的 r_eff 更低（谱压缩）
• 假设 H2: Instruct 版的域专一化程度更高（STG 更大）

---

二、实验配置

配置项	值
Base 模型	Qwen2.5-7B-Base
Instruct 模型	Qwen2.5-7B-Instruct
指令数据集	alpaca
通用数据集	flores200
样本数量	200 条

---

三、核心结果

3.1 指令集上的 r_eff 对比

模型	r_eff
Qwen2.5-7B-Base	3.0146
Qwen2.5-7B-Instruct	12.1414
RS_cross	20.8244

3.2 通用集上的 r_eff 对比（对照）

模型	r_eff
Qwen2.5-7B-Base	3.3722
Qwen2.5-7B-Instruct	4.0306
RS_cross	0.1084

3.3 域专一化 (STG)

STG = |r_eff_instruction - r_eff_general|

模型	STG
Qwen2.5-7B-Base	0.3576
Qwen2.5-7B-Instruct	8.1108

3.4 谱距离 (SPD)

数据集	SPD (Base vs Instruct)
指令集	8.2593
通用集	0.5081

---

四、假设验证

H1: 谱压缩假设

预测: Instruct 版在指令集上的 r_eff < Base 版

结果: ❌ 不支持

假设未获支持

H2: 域专一化假设

预测: Instruct 版的 STG > Base 版

结果: ✅ 支持

Instruct 版域专一化程度更高

---

五、总体结论

实验结论: 部分支持

解释

1. 谱压缩效应不显著: Instruct 版 r_eff 反而高 9.1268

   • 可能的原因：指令微调增加了表示的多样性
   • 需要更多模型对验证

2. 域专一化:

   • Instruct 版的 STG 比 Base 版高 7.7532
   • 表明对齐增强了模型对指令域的专一化

---

六、局限性

1. 单一模型对: 仅使用 LLaMA-3-8B Base/Instruct 一对，结论普适性有限
2. 数据集有限: 仅使用 alpaca 作为指令集，可能需要更多指令数据验证
3. 缺少 RLHF/DPO: 仅对比 SFT，没有包含更强的对齐方式

七、未来工作

• 增加 Qwen2.5-7B Base/Instruct 对验证
• 添加 DPO/RLHF 版本对比
• 分析逐层谱变化（LCP）

---

报告生成时间：{datetime.now().strftime('%Y-%m-%d %H:%M:%S')}