Nous gardons BM25 pour le moment

À l’issue du diagnostic M1 de Discovery Front, nous n’avons pas retenu la combinaison prédéfinie de cinq voies de recherche. BM25 est resté, ainsi que plusieurs voies prometteuses.

La décision n’allait pas de soi. La fusion retrouvait davantage de candidats pertinents parmi les cent premiers et dépassait BM25 en rappel moyen. Mais les dix premières places étaient moins bonnes et le gain de rappel dépendait trop de la composition des cas pour justifier un remplacement.

La combinaison devait réunir les forces des méthodes : mots-clés pour les termes explicites, vecteurs pour les autres formulations, représentations intermodèles pour relier d’autres coordonnées. Le résultat nous a conduits à réexaminer leur point de rencontre.

L’expérience utilise des demandes et fiches candidates tirées de sources publiques, ainsi que les jugements du diagnostic. Sur 44 cas, 5 servent à la sélection et 39 à l’évaluation. Parmi ces 39, 2 n’ont aucun positif annoté : rappel et nDCG sont donc moyennés sur les 37 autres, tandis que le nombre de négatifs dans les dix premiers utilise les 39. Ces étiquettes mesurent la pertinence entre documents, pas la volonté de coopérer des personnes concernées.

Comparons trois versions : BM25, fusion fixe de cinq voies, puis fusion suivie d’un classement supplémentaire.

Moyennes des mesures par cas. Recall@100 mesure la part des candidats pertinents dans les cent premiers ; nDCG@10 mesure leur présence aux meilleures positions parmi les dix premiers. Les négatifs proviennent des annotations : aucune invitation correspondante n’a été envoyée. Données du rapport original M1.

L’estimation ponctuelle du rappel de la fusion dépasse BM25 d’environ 3.67 points de pourcentage. Simultanément, la qualité du haut de liste baisse et les négatifs augmentent. Le reclassement récupère une partie de cette qualité sans dépasser BM25 sur ces moyennes.

Ces colonnes ne sont pas interchangeables. Générer des candidats préserve des possibilités pour la suite ; les classer détermine où va d’abord l’attention limitée. Élargir un ensemble et bien l’ordonner sont deux problèmes distincts.

Les cinq voies comprennent mots-clés, recherche hybride, vecteurs du même modèle, références communes et projection linéaire. La fusion utilise RRF : elle cumule les contributions selon le rang dans chaque liste plutôt que d’additionner des scores bruts de différentes échelles. RRF est une méthode existante étudiée dès 2009. Article original

Elle rassemble simplement plusieurs moteurs, mais ne sait pas spontanément lequel convient à la demande présente.

Exemple pédagogique : la recherche par mots-clés place en deuxième position un candidat qui satisfait précisément les contraintes ; plusieurs autres voies placent cinquième un candidat proche du thème auquel manque une condition essentielle. Leur soutien cumulé peut faire passer ce dernier devant. La fusion voit des rangs ; la différence de condition doit encore être exprimée par une entrée ou un jugement.

Cet exemple illustre un échec possible. Le rapport agrégé ne permet pas d’attribuer principalement la baisse observée à une catégorie de cas. L’observation directe est plus précise : la fusion fixe de davantage de voies n’a pas apporté simultanément meilleur rappel et meilleur haut de liste. Avant d’ajouter des voies, il faut examiner les demandes auxquelles chacune apporte une valeur supplémentaire.

L’estimation ponctuelle décrit cette collection de cas, pas sa sensibilité à leur composition.

Selon la méthode prévue, 10,000 rééchantillonnages bootstrap appariés par cas donnent une différence Recall@100 de 0.0367 et un intervalle à 95% de −0.0332 à 0.1150. Il traverse zéro : la condition de sélection, borne inférieure du gain supérieure à zéro, n’est pas atteinte.

Deux raccourcis seraient trompeurs. « La moyenne monte, remplaçons » ignore l’incertitude. « Le critère échoue, tous les composants sont inutiles » efface leurs différences. La voie B utilisant un même modèle obtient seule un rappel ponctuel de 0.6066, supérieur à la fusion fixe. Cela mérite une étude, sans pouvoir être déclaré vainqueur final après lecture des résultats.

Nous avons conservé BM25 et les voies prometteuses, sans sélectionner la fusion fixe pour une évaluation plus large. La recherche s’est arrêtée le 1er septembre. Une autre série de scores déjà générée n’a pas de résultat qualité complet. Cet article relit les résultats existants sans relancer l’expérience.

La seconde couche combine score de fusion et score de classement explicable avec des poids fixes de 0.7／0.3. Par rapport à la fusion, elle réduit en moyenne les négatifs du top dix de 0.1795, avec un intervalle apparié de −0.3333 à −0.0256. Cette amélioration satisfait le critère prévu.

Cependant, la borne inférieure de conservation du rappel est −0.02325, légèrement sous le seuil fixé à −0.02. Nous n’avons donc pas suffisamment d’éléments pour affirmer que la perte de rappel reste dans la limite acceptée.

L’explication structurelle est simple : si la deuxième couche réévalue un ensemble plus large puis en extrait cent éléments, elle change potentiellement les membres. Le « reclassement » réalise aussi une seconde sélection.

Une modification directement implémentable consiste à fixer les cent premiers du générateur, puis à ne changer que leur ordre. La seconde couche peut améliorer les dix premiers sans chasser du top cent un pertinent déjà trouvé. Le coût est clair : elle ne peut récupérer les oubliés hors de cet ensemble. Cette structure est entrée dans les conceptions suivantes, mais son bénéfice de classement demande une nouvelle évaluation.

L’expérience a décomposé la vague idée de « recherche combinée » en trois questions : quelles demandes nécessitent une recherche supplémentaire, quels nouveaux membres elle apporte, et comment ordonner les membres retenus.

Quand les mots-clés donnent déjà de bons résultats, les voies supplémentaires peuvent n’ajouter que calcul et concurrence. Lorsqu’une formulation échappe aux mots-clés, les vecteurs peuvent fournir le complément essentiel. Faire payer le même coût de combinaison à toutes les demandes exige mieux que « davantage de méthodes ».

La suite devient donc : peut-on identifier, à partir des résultats sans consulter les étiquettes, les demandes qui méritent plus de calcul ? Retrouve-t-on alors davantage de pertinents ? Le classement à membres fixes réduit-il le bruit en tête ? Les évaluer séparément permet de localiser le progrès.

Pour le lecteur, un contrôle immédiat se dégage : votre deuxième étape change-t-elle seulement l’ordre, ou aussi les membres ? Inscrire cette distinction dans le code et les mesures explique souvent mieux une amélioration ou une dégradation qu’un moteur supplémentaire.

Cet article utilise les fichiers M1 evaluation-v3/report.json, decision-v1/M1_DECISION.json et le manifeste de combinaison enregistrés le 1er septembre 2026. Les trois macro-moyennes sont recalculables avec les données compactes par cas. Les intervalles appariés viennent de la décision historique ; voir les notes de méthode. Ce diagnostic sur documents publics n’a mesuré aucun taux réel d’acceptation de coopération et n’a pas modifié le classement en ligne.