# Spectral Sufficiency: Label-Free Estimation of Discriminative Efficiency from Pretrained Feature Geometry

> **One-sentence summary**: We ask *when and how* the unsupervised spectral geometry of a pretrained feature matrix suffices to predict its supervised discriminative efficiency — unifying the label-free SVD framework (Paper06/07) with the capacity–efficiency diagnostic (NeurIPS01) into a fully label-free quality assessment pipeline.

---

## 1. Motivation: The Label Bottleneck in Dataset Quality Diagnosis

三篇前序论文构成了一个逐步深入的谱几何研究体系：

| 论文 | 核心工具 | 是否需要标签 | 度量维度 |
|------|---------|:----------:|---------|
| Paper06/SDG | SCR = r_eff / (SA_k · UID · log C) | **否** | 模型质量 (单维排序) |
| Paper07/Collapse Model | r̂_merged = f(r_A, r_B, α, γ) | **否** | 合并后多样性 (capacity) |
| NeurIPS01 | (r̂_eff, BSER) 象限诊断 + 几何工程 | **是** (BSER需要类标签) | capacity + efficiency (双维诊断) |

**核心矛盾**：NeurIPS01 证明了单靠 capacity（r̂_eff）不够——SVHN 的 r̂_eff = 0.402 看似正常，但 BSER = 0.057 揭示了 94.3% 的谱能量浪费在类内噪声中。双通道诊断将偏相关从 r = 0.514 提升到 r = 0.871。然而 BSER = tr(Σ_B)/tr(Σ_T) 需要类标签来计算类间散布矩阵 Σ_B，这在迁移学习的 target domain 中恰恰不可用。

**Paper06/07 提供了强大的无标签 SVD 工具**（r_eff, SA_k, UID, STG），却只度量 capacity 维度。它们无法区分 "高 r_eff 但低效率"（如 SVHN）和 "高 r_eff 且高效率"（如 STL-10）。

**根本问题**：无标签的谱统计量能否蕴含足够的信息来推断有标签的判别效率？

---

## 2. Core Research Question

> **Spectral Sufficiency Conjecture**: 对于由预训练编码器提取的特征矩阵 H ∈ ℝ^{N×d}，存在纯粹基于 H 的奇异值分布（无需标签）的统计量 η(H)，使得 η(H) 与 BSER(H, y) 之间的 Spearman 相关 ρ ≥ 0.7，跨数据集和编码器成立。

这个问题之所以 **non-trivial**，是因为：
- BSER 本质上度量类结构与谱结构的对齐程度，而无标签的谱统计量看不到类结构
- 但预训练编码器已经在其训练数据上学习了类结构，这种先验知识编码在特征的几何形状中
- 关键假设：预训练编码器的特征空间中，**谱形状（singular value distribution 的形态）隐式编码了判别效率信息**

---

## 3. Proposed Approach

### 3.1 理论基础：谱形状与效率的联系

**Neural Collapse 提供了锚点**：在 NC1 极限下（Σ_W → 0），BSER → 1，同时谱分布退化为 K 个等能量方向（r_eff → K, 条件数 κ → 1）。远离 NC 极限时，类内噪声扩散谱能量到非判别方向，导致 BSER 下降，同时谱分布变得更 heavy-tailed（κ 增大）。

**关键观察**：谱形状不仅由 r_eff（谱熵的指数）描述，还包含高阶信息：
- **谱条件数** κ = σ_1/σ_k：flat spectrum → 高效率（NC 极限）; heavy-tail → 低效率
- **谱峰度** (kurtosis of {p_i})：度量能量集中在少数方向的程度
- **谱间隙** (spectral gap)：σ_1 与其余奇异值的分离程度

这些量与 BSER 之间应存在可刻画的关系，因为：
$$\text{BSER} = \frac{\text{tr}(\Sigma_B)}{\text{tr}(\Sigma_T)} = 1 - \frac{\text{tr}(\Sigma_W)}{\text{tr}(\Sigma_T)}$$

而 tr(Σ_W)/tr(Σ_T) 的大小直接影响谱形状——类内散布越大，越多谱能量"泄漏"到非判别方向，使谱更加 heavy-tailed。

### 3.2 候选无标签效率代理

| 代理指标 | 公式 | 直觉 |
|---------|------|------|
| **谱平坦度** (Spectral Flatness) | SF = r_eff / rank(H) | 1 = perfectly flat (NC极限), → 0 = peaked |
| **归一化谱条件数** | κ̂ = 1/κ = σ_k/σ_1 | 1 = flat, 0 = ill-conditioned |
| **谱基尼系数** | Gini({p_i}) | 0 = 均匀, 1 = 极度不均 |
| **UID 比率** | UID / r̂_eff | 几何维度 vs 谱维度的比值 |
| **SVD 通道耦合度** | f(r_eff, UID, SA_k) | Paper06 三通道的非线性组合 |

### 3.3 理论目标

**Theorem (目标)**：在 isotropic within-class noise 模型下（h_i = μ_{y_i} + ε_i, ε ~ N(0, σ²I)），
$$\text{BSER} \geq g(\text{SF}, K, \text{SNR})$$
其中 SF 是谱平坦度，SNR = Δ²/(dσ²)（Δ 为最小类间距离），g 是单调递增函数。

更强的结果：在 principal-angle model（与 Paper07 Collapse Model 相同的假设）下，建立 BSER 与谱形状统计量之间的双向界。

### 3.4 实验设计

**E1: 无标签效率代理的预测力**
- 30 数据集 × 3 编码器 = 90 (dataset, encoder) pairs
- 计算所有候选代理指标 + ground truth BSER
- 报告每个代理与 BSER 的 Spearman ρ（控制 K 和 r̂_eff 后的偏相关）
- 关键比较：候选代理 vs BSER 在预测下游准确率方面的差距

**E2: 完全无标签的象限诊断**
- 用最佳无标签效率代理替换 BSER，重建 NeurIPS01 的 capacity-efficiency 象限图
- 度量：象限分配一致率（与使用真实 BSER 的象限分配相比）
- 关键测试：SVHN 是否仍被正确识别为 Q4（高 capacity, 低 efficiency）

**E3: 无标签诊断指导的几何工程**
- 无标签诊断 → 选择操作（CA / PP / Mixup）→ 验证准确率提升
- 对比：基于真实 BSER 的诊断 vs 基于无标签代理的诊断，两者指导的操作选择一致率

**E4: 与 Collapse Model 的统一**
- Paper07 预测合并后 r_eff（capacity）；扩展预测合并后效率
- 预测合并后 BSER（或其无标签代理）的变化
- 应用：在池选择中同时优化 capacity 和 efficiency，而非仅优化 r_eff

---

## 4. Why This Is More Generic Than Prior Work

| 维度 | Paper06 | Paper07 | NeurIPS01 | **本工作** |
|------|---------|---------|-----------|----------|
| 需要标签 | 否 | 否 | BSER需要 | **否** |
| 度量维度 | 1D (score) | 1D (diversity) | 2D (cap+eff) | **2D (cap+eff), label-free** |
| 可解释性 | 三通道 | 三通道 + 闭合公式 | 象限诊断 | **象限诊断 + 三通道归因** |
| 可操作性 | 排序 | 预测+选择 | 诊断+工程 | **诊断+工程+选择, 全无标签** |
| 适用场景 | model selection | dataset merging | dataset curation | **统一框架** |

**核心贡献定位**：
1. **理论**：Spectral Sufficiency —— 建立无标签谱形状与有标签判别效率之间的定量关系
2. **方法**：完全无标签的 capacity-efficiency 双通道诊断
3. **统一**：将 Paper06 的模型选择、Paper07 的数据集选择、NeurIPS01 的数据集工程统一到一个无标签框架中
4. **实践**：无需任何标注即可完成 "度量→诊断→工程→验证" 的完整闭环

---

## 5. Key Risks and Mitigations

| 风险 | 严重度 | 缓解策略 |
|------|--------|---------|
| 无标签代理与 BSER 相关性不够强 (ρ < 0.5) | 高 | 退路：证明在特定编码器族内相关性足够；或构造 ensemble 代理 |
| 理论界太松（vacuous bound）| 中 | 退路：提供经验定律 + concentration inequality style 的有限样本界 |
| 效率代理对编码器类型敏感（supervised vs CLIP）| 中 | Paper07 已发现 spectral geometry divide，可分编码器族建模 |
| 象限一致率不够高 | 低 | SVHN 等极端案例本身谱形状就极端，应该容易捕捉 |

---

## 6. Connection to Broader Impact

这个问题超越了具体的 benchmark 和 metric，触及一个基础性的问题：

> **预训练编码器在多大程度上将判别结构编码到了特征的几何形状中？**

如果 Spectral Sufficiency 成立，这意味着预训练编码器的特征空间不仅包含"what information is there"（capacity），还隐式编码了"how well-organized it is for discrimination"（efficiency）。这对理解预训练表征的本质有深远意义：

- 解释为什么某些预训练模型在 zero-shot/few-shot 场景下表现更好
- 为 foundation model 的评估提供无需下游标签的诊断工具
- 连接 Neural Collapse 理论（训练终态的特征几何）与预训练特征分析（推理时的特征几何）

---

## 7. Suggested Title Candidates

1. **Spectral Sufficiency: When Singular Values Predict Discriminative Efficiency Without Labels**
2. **Beyond Capacity: Label-Free Efficiency Diagnosis via Pretrained Feature Geometry**
3. **The Shape of Discrimination: Spectral Flatness as a Label-Free Proxy for Feature Efficiency**
