# E4 实验报告：对齐即谱工程

**实验时间**: 2026-03-22T12:56:17.473055
**模型对**: Mistral-7B-v0.3 (Base) vs Mistral-7B-Instruct-v0.3 (Instruct)

---

## 一、实验目标

验证对齐（SFT/Instruct 微调）对模型谱结构的影响：
- **假设 H1**: Instruct 版在指令集上的 r_eff 更低（谱压缩）
- **假设 H2**: Instruct 版的域专一化程度更高（STG 更大）

---

## 二、实验配置

| 配置项 | 值 |
|--------|-----|
| Base 模型 | Mistral-7B-v0.3 |
| Instruct 模型 | Mistral-7B-Instruct-v0.3 |
| 指令数据集 | alpaca |
| 通用数据集 | flores200 |
| 样本数量 | 200 条 |

---

## 三、核心结果

### 3.1 指令集上的 r_eff 对比

| 模型 | r_eff |
|------|-------|
| Mistral-7B-v0.3 | 16.7945 |
| Mistral-7B-Instruct-v0.3 | 27.6933 |
| **RS_cross** | 29.6961 |

### 3.2 通用集上的 r_eff 对比（对照）

| 模型 | r_eff |
|------|-------|
| Mistral-7B-v0.3 | 6.0346 |
| Mistral-7B-Instruct-v0.3 | 6.5299 |
| **RS_cross** | 0.0613 |

### 3.3 域专一化 (STG)

STG = |r_eff_instruction - r_eff_general|

| 模型 | STG |
|------|-----|
| Mistral-7B-v0.3 | 10.7599 |
| Mistral-7B-Instruct-v0.3 | 21.1634 |

### 3.4 谱距离 (SPD)

| 数据集 | SPD (Base vs Instruct) |
|--------|----------------------|
| 指令集 | 5.8332 |
| 通用集 | 0.4533 |

---

## 四、假设验证

### H1: 谱压缩假设

**预测**: Instruct 版在指令集上的 r_eff < Base 版

**结果**: ❌ 不支持

假设未获支持

### H2: 域专一化假设

**预测**: Instruct 版的 STG > Base 版

**结果**: ✅ 支持

Instruct 版域专一化程度更高

---

## 五、总体结论

**实验结论**: 部分支持

### 解释

1. **谱压缩效应不显著**: Instruct 版 r_eff 反而高 10.8988
   - 可能的原因：指令微调增加了表示的多样性
   - 需要更多模型对验证

2. **域专一化**:
   - Instruct 版的 STG 比 Base 版高 10.4035
   - 表明对齐增强了模型对指令域的专一化

---

## 六、局限性

1. **单一模型对**: 仅使用 LLaMA-3-8B Base/Instruct 一对，结论普适性有限
2. **数据集有限**: 仅使用 alpaca 作为指令集，可能需要更多指令数据验证
3. **缺少 RLHF/DPO**: 仅对比 SFT，没有包含更强的对齐方式

## 七、未来工作

- 增加 Qwen2.5-7B Base/Instruct 对验证
- 添加 DPO/RLHF 版本对比
- 分析逐层谱变化（LCP）

---

*报告生成时间：{datetime.now().strftime('%Y-%m-%d %H:%M:%S')}*