# E4 实验报告：对齐即谱工程

**实验时间**: 2026-03-21T22:54:56.483010
**模型对**: llama3-8b (Base) vs llama3-8b-instruct (Instruct)

---

## 一、实验目标

验证对齐（SFT/Instruct 微调）对模型谱结构的影响：
- **假设 H1**: Instruct 版在指令集上的 r_eff 更低（谱压缩）
- **假设 H2**: Instruct 版的域专一化程度更高（STG 更大）

---

## 二、实验配置

| 配置项 | 值 |
|--------|-----|
| Base 模型 | llama3-8b |
| Instruct 模型 | llama3-8b-instruct |
| 指令数据集 | alpaca |
| 通用数据集 | flores200 |
| 样本数量 | 200 条 |

---

## 三、核心结果

### 3.1 指令集上的 r_eff 对比

| 模型 | r_eff |
|------|-------|
| llama3-8b | 15.5603 |
| llama3-8b-instruct | 15.5603 |
| **RS_cross** | 0.0000 |

### 3.2 通用集上的 r_eff 对比（对照）

| 模型 | r_eff |
|------|-------|
| llama3-8b | 6.6465 |
| llama3-8b-instruct | 6.6470 |
| **RS_cross** | 0.0000 |

### 3.3 域专一化 (STG)

STG = |r_eff_instruction - r_eff_general|

| 模型 | STG |
|------|-----|
| llama3-8b | 8.9138 |
| llama3-8b-instruct | 8.9133 |

### 3.4 谱距离 (SPD)

| 数据集 | SPD (Base vs Instruct) |
|--------|----------------------|
| 指令集 | 0.0001 |
| 通用集 | 0.0005 |

---

## 四、假设验证

### H1: 谱压缩假设

**预测**: Instruct 版在指令集上的 r_eff < Base 版

**结果**: ❌ 不支持

假设未获支持

### H2: 域专一化假设

**预测**: Instruct 版的 STG > Base 版

**结果**: ❌ 不支持

假设未获支持

---

## 五、总体结论

**实验结论**: 部分支持

### 解释

1. **谱压缩效应不显著**: Instruct 版 r_eff 反而高 0.0000
   - 可能的原因：指令微调增加了表示的多样性
   - 需要更多模型对验证

2. **域专一化**:
   - Instruct 版的 STG 比 Base 版低 0.0005
   - 表明对齐没有显著增强域专一化

---

## 六、局限性

1. **单一模型对**: 仅使用 LLaMA-3-8B Base/Instruct 一对，结论普适性有限
2. **数据集有限**: 仅使用 alpaca 作为指令集，可能需要更多指令数据验证
3. **缺少 RLHF/DPO**: 仅对比 SFT，没有包含更强的对齐方式

## 七、未来工作

- 增加 Qwen2.5-7B Base/Instruct 对验证
- 添加 DPO/RLHF 版本对比
- 分析逐层谱变化（LCP）

---

*报告生成时间：{datetime.now().strftime('%Y-%m-%d %H:%M:%S')}*