1. 对比损失 $\mathcal L_C$：拉近相关，推远不相关#

在标准 InfoNCE 的基础上，单个样本的损失为：

$\ell_i=-\log\frac{e^{\operatorname{sim}(q_i,p_i^+)/\tau}}{e^{\operatorname{sim}(q_i,p_i^+)/\tau}+w_i\,e^{\operatorname{sim}(q_i,p_i^-)/\tau}+\sum_{j\ne i}\mathbb 1_{\text{TN}}(i,j)\,e^{\operatorname{sim}(q_i,p_j^+)/\tau}}$

其中 $\operatorname{sim}$ 是余弦相似度，$\tau$ 是温度。正例在所有候选中的相对得分越高，损失越小。分母中除了正例自身，还有两类负例：

• 困难负例：权重 $w_i=\exp\left(\alpha\,\mathrm{sg}(\operatorname{sim}(q_i,p_i^-))\right)$，$\alpha=5.0$。负例越像查询，权重越大，模型越重视它；$\mathrm{sg}$ 表示停止梯度，权重只反映当前难度，本身不参与求导。困难负例是可选的：大规模、噪声多的 pre-finetuning 阶段只用 (query, target) 对，微调阶段才加入。
• batch 内负例：同一 batch 中其他样本的正例 $p_j^+$。每个 batch 只取自同一数据集，这样的负例更难区分、更有价值；$\mathbb 1_{\text{TN}}$ 会把查询或正例与当前样本重复的项 mask 掉，避免误当负例。

2. 分散正则 $\mathcal L_S$：避免向量挤在少数方向上#

对 batch 内两两不同的查询、两两不同的正例，分别惩罚它们内积的平方：

$\mathcal L_S= \frac{\sum_{i\ne j}(q_i^\top q_j)^2}{B(B-1)} + \frac{\sum_{i\ne j}((p_i^+)^\top p_j^+)^2}{B(B-1)}$

内积越接近 0（近似正交），惩罚越小，于是向量整体在空间中铺开。思路来自 GOR（global orthogonal regularizer）：让随机两条文本的向量，在内积的均值和二阶矩上都接近单位球面上独立均匀采样的两点；论文只保留了二阶矩这一项。

它约束的是整体统计性质，并不要求语义相近的文本彼此正交：拉近相关文本仍由对比损失负责，两者相互制衡。作者还希望这种分布让模型对量化更鲁棒，也更适合近似最近邻（ANN）检索。

3. 嵌入匹配 $\mathcal L_D$：直接学习老师的向量#

老师是更大的 Gemini Embedding。以往的蒸馏大多只让学生模仿老师给出的查询-文档相关性分数；这里基于 EmbedDistill，直接把学生的向量对齐到老师的向量，学到的是老师整个向量空间的几何结构。

与 EmbedDistill 不同，论文不只对齐查询和正例，也对齐困难负例，并发现这能明显提升效果。直觉上，这和对比损失中使用困难负例的作用相同：学生能学到老师是如何区分查询与困难负例的。三项等权相加：

$\mathcal L_D=\mathcal L_D^{Q}+\mathcal L_D^{P^+}+\mathcal L_D^{P^-}$

补充：MRL#

$\mathcal L_C$ 和 $\mathcal L_S$ 还套用了 MRL（Matryoshka Representation Learning），在多个嵌套的前缀维度（768 / 512 / 256 / 128）上分别计算损失再直接相加。这样训练出的向量可以直接截断到低维使用。