今回は BM25 を残した

Discovery Front の M1 診断を終えて、私たちは事前に設定した五経路の検索統合を採用しなかった。BM25 を残し、有望な検索経路も引き続き候補として保持した。

簡単に下せる判断ではなかった。五経路の統合は上位百件により多くの関連候補を集めた。平均再現率だけなら BM25 より良い。ところが上位十件の順位品質は悪化し、再現率の改善も、方式を切り替える根拠にするには事例構成の影響を強く受けていた。

組み合わせの狙いは、キーワードで明確な用語を拾い、ベクトルで別の表現を探し、モデル間の表現で別の座標系をつなぐことだった。今回の結果は、その合流地点を再点検するよう私たちに求めた。

実験には、公開資料から整理した依頼と候補の情報、および完了済みの診断用判定を使った。全 44 事例のうち 5 件を選択用、39 件を評価用とした。評価用の 39 件には正例ラベルのない事例が 2 件あり、再現率と nDCG の平均は残る 37 件で計算した。上位十件の負例数には全 39 件を使った。ラベルが示すのは資料間の関連性であり、当事者の協力意思ではない。

まず、BM25 のキーワード基準、五経路の固定統合、統合後にもう一段順位付けを加えた版の三つを見た。

事例ごとに計算して平均した。Recall@100 は関連候補が上位百件にどれだけ入ったか、nDCG@10 は関連項目が上位十件のより前方に置かれたかを測る。負例数はラベルに基づく集計であり、その数の招待を送ったという意味ではない。データは M1 の原評価報告による。

五経路統合の再現率の点推定は BM25 より約 3.67 パーセントポイント高かった。同時に、上位十件の順位指標は下がり、負例数は平均で増えた。後段の順位付けは前方の品質を一部取り戻したものの、これらの平均値では BM25 を上回らなかった。

三つの列は互いの代わりにはならない。候補生成は後続の処理に十分な機会を残す役割を担い、上位の順位付けは限られた注意を最初にどこへ向けるかを決める。集合を広げることと、その集合をうまく並べることは、別々に解く必要がある。

今回の五経路は、キーワード、ハイブリッド検索、同一モデルのベクトル、共通参照、線形写像で構成した。統合には RRF を使った。尺度の異なる生のスコアを直接足す代わりに、各リスト内の順位に応じた寄与を足し合わせる。RRF は既存の順位統合法で、2009 年には関連研究がある。原論文

異なる検索器を比較的簡単にまとめられるが、目の前の依頼にどの経路が適しているかを、それだけで知ることはできない。

説明用に、キーワード検索が制約に正確に合う候補を二位に置き、他の数経路が、テーマは近いが必須条件を欠く候補を五位に置いたとしよう。複数経路の支持により、後者が前に出る可能性がある。統合規則が見ているのは順位であり、必須条件の差は、何らかの入力や判断過程で表現される必要がある。

これは起こりうる失敗を説明する例にすぎない。現在の集計報告だけでは、今回の悪化を主にどの種類の事例が引き起こしたかは証明できない。直接観察できるのは、より多くの経路を固定的にまとめても、再現率の向上と上位の順位改善を同時には得られなかったことだ。経路を増やす前に、それぞれがどの依頼で追加価値をもたらすかを調べたい。

点推定は、この事例群での平均変化を示す。事例の構成に対して、その変化がどれほど敏感かまでは教えてくれない。

事前に定めた方法で、事例を単位とする対応付き bootstrap を 10,000 回行った。五経路統合と BM25 の Recall@100 の差は 0.0367、95% 区間は −0.0332 から 0.1150 だった。区間がゼロをまたぐため、今回の診断は「再現率改善の区間下限がゼロを上回る」という選択条件を満たさなかった。

ここには急ぎすぎやすい判断が二つある。「平均が上がったから置き換えよう」は不確実性を無視する。「選択条件を満たさなかったから構成手法は全部無用だ」では、手法ごとの差を失う。たとえば同一モデルの B 経路を単独で使うと、この評価事例群での再現率の点推定は 0.6066 で、固定統合より高かった。追跡する価値はあるが、結果を見てから直ちに最終勝者と宣言することもできない。

今回は BM25 と有望な候補経路を保持し、固定統合をより大きな評価に進めないと決めた。研究は 9 月 1 日に停止した。その後の別バッチには生成済みスコアがあるものの、品質評価は完了していない。本稿は既存結果を読み直したもので、追加実験は実施していない。

第二段は固定の 0.7／0.3 の重みで統合スコアと説明可能な順位スコアを混ぜた。統合版に比べ、上位十件の負例数は平均 0.1795 件減った。対応付き区間は −0.3333 から −0.0256 で、この改善は今回の判定基準を通過した。

一方、再現率維持の区間下限は −0.02325 で、事前の許容値 −0.02 をわずかに下回った。再現率の損失が許容範囲に収まると認めるには、なお根拠が足りなかった。

構造的な理由は明快だ。第二段がもっと大きな候補集合を再採点してから上位百件を切り出すと、集合の構成員も変わりうる。「再順位付け」は実際には二度目の選択も行っている。

ここから、直接実装できる変更が得られる。生成器の上位百件を先に固定し、その内部だけで順序を変える。第二段は上位十件に影響を与えつつ、生成時に見つけた関連項目を上位百件の外へ押し出さずに済む。代償も明確で、第一段の百件より外にある見落としを救い出せない。この構造は後続の設計に入ったが、実際の順位改善は新たな評価を要する。

今回の実験は、漠然とした「検索の組み合わせ」を三つの問いに分けた。どの依頼が追加検索を必要とするか、追加検索がどんな新しい構成員をもたらすか、選んだ構成員をどう並べるか、である。

キーワード検索で十分良い結果が出る依頼なら、追加経路は計算と競合だけを増やすかもしれない。別の表現をキーワードが拾えていないときには、ベクトル経路が重要な補完をする可能性がある。全依頼に同じ組み合わせコストを負わせるには、「手法が多い」以上の理由が要る。

そこで次の問いを、ラベルを見る前の検索挙動から追加計算に値する依頼を見分けられるか、追加によって本当に関連項目が増えるか、構成員を固定した順位付けで前方のノイズが減るか、とした。別々に評価して初めて、改善の出所が分かる。

読者がすぐ点検できるのは、第二段のインターフェースだ。それは順序だけを変えるのか、それとも構成員も変えるのか。この区別を実装と測定に明記するほうが、検索器をもう一つ追加するより、システムの改善や悪化をよく説明することがある。

本稿は 2026 年 9 月 1 日に保存された M1 の evaluation-v3/report.json、decision-v1/M1_DECISION.json、組み合わせ manifest を使用した。本文三手法のマクロ平均は簡略版の事例別データから再計算できる。対応付き区間は当時の決定記録から引用した。方法説明を参照されたい。公開資料を対象にした診断実験で、実際の協力受諾率は測っておらず、本番の順位付けも変更していない。