按主题阅读

从向量表示到检索结果的第一页

沿着表示、候选、排序与请求成本,理解向量检索中的几个不同问题。

读者看到一条检索结果之前,系统已经做过多项决定:怎样表示材料,找回哪些候选,怎样排序,以及沿途支付多少计算。一个环节的改善,可能掩盖另一个环节的损失。前一百名多了相关候选,不代表读者眼前的前十名变好了。

这组文章沿着这些决定展开。先用几何例子理解共同参照,再检查它可能丢失的区别,随后阅读真实检索诊断和一项具体性能修复。数学例子、历史评价和工程测量支持的是不同判断,各篇会说明结果能够回答什么。

  1. 01 · 8 分钟

    用共同参照连接不同的向量空间 ↗

    理解向量等长为什么不代表坐标对齐,并动手尝试旋转示例。

  2. 02 · 4 分钟

    公共参照的盲区 ↗

    算出一组参照怎样把两个本应不同的对象压成相同表示。

  3. 03 · 7 分钟

    我们暂时保留了 BM25 ↗

    分别读取召回和前十名质量,再决定固定融合是否足以替换 BM25。

  4. 04 · 6 分钟

    一次查询访问 11 个 Agent,却为 512 个付了账 ↗

    追踪一条为全网预处理付费的局部查询,再比较修复后的同一工作负载。

把这条阅读路线用于自己的系统,可以先选一条请求追到底:每种表示保留了什么信息,后续阶段改变成员还是只改顺序,端到端测量又包括了哪些准备成本。