Direction9/experiments/output/e4_mistral/e4_report.md

E4 实验报告：对齐即谱工程

实验时间: 2026-03-22T12:56:17.473055 模型对: Mistral-7B-v0.3 (Base) vs Mistral-7B-Instruct-v0.3 (Instruct)

---

一、实验目标

验证对齐（SFT/Instruct 微调）对模型谱结构的影响：

• 假设 H1: Instruct 版在指令集上的 r_eff 更低（谱压缩）
• 假设 H2: Instruct 版的域专一化程度更高（STG 更大）

---

二、实验配置

配置项	值
Base 模型	Mistral-7B-v0.3
Instruct 模型	Mistral-7B-Instruct-v0.3
指令数据集	alpaca
通用数据集	flores200
样本数量	200 条

---

三、核心结果

3.1 指令集上的 r_eff 对比

模型	r_eff
Mistral-7B-v0.3	16.7945
Mistral-7B-Instruct-v0.3	27.6933
RS_cross	29.6961

3.2 通用集上的 r_eff 对比（对照）

模型	r_eff
Mistral-7B-v0.3	6.0346
Mistral-7B-Instruct-v0.3	6.5299
RS_cross	0.0613

3.3 域专一化 (STG)

STG = |r_eff_instruction - r_eff_general|

模型	STG
Mistral-7B-v0.3	10.7599
Mistral-7B-Instruct-v0.3	21.1634

3.4 谱距离 (SPD)

数据集	SPD (Base vs Instruct)
指令集	5.8332
通用集	0.4533

---

四、假设验证

H1: 谱压缩假设

预测: Instruct 版在指令集上的 r_eff < Base 版

结果: ❌ 不支持

假设未获支持

H2: 域专一化假设

预测: Instruct 版的 STG > Base 版

结果: ✅ 支持

Instruct 版域专一化程度更高

---

五、总体结论

实验结论: 部分支持

解释

1. 谱压缩效应不显著: Instruct 版 r_eff 反而高 10.8988

   • 可能的原因：指令微调增加了表示的多样性
   • 需要更多模型对验证

2. 域专一化:

   • Instruct 版的 STG 比 Base 版高 10.4035
   • 表明对齐增强了模型对指令域的专一化

---

六、局限性

1. 单一模型对: 仅使用 LLaMA-3-8B Base/Instruct 一对，结论普适性有限
2. 数据集有限: 仅使用 alpaca 作为指令集，可能需要更多指令数据验证
3. 缺少 RLHF/DPO: 仅对比 SFT，没有包含更强的对齐方式

七、未来工作

• 增加 Qwen2.5-7B Base/Instruct 对验证
• 添加 DPO/RLHF 版本对比
• 分析逐层谱变化（LCP）

---

报告生成时间：{datetime.now().strftime('%Y-%m-%d %H:%M:%S')}