Wir behalten vorerst BM25

Nach der M1-Diagnose von Discovery Front wählten wir die vorab festgelegte Kombination aus fünf Suchwegen nicht aus. BM25 blieb bestehen, ebenso einige aussichtsreiche Suchwege.

Die Entscheidung war nicht offensichtlich. Die Fusion fand mehr relevante Kandidaten unter den ersten hundert und übertraf BM25 im mittleren Recall. Die ersten zehn waren jedoch schlechter sortiert, und der Recall-Gewinn hing stärker von der Fallzusammensetzung ab, als wir für einen Wechsel akzeptieren wollten.

Die Kombination sollte Stärken vereinen: Schlüsselwörter für genaue Begriffe, Vektoren für andere Formulierungen, modellübergreifende Darstellungen für andere Koordinaten. Das Ergebnis verlangte, ihren Zusammenführungspunkt neu zu prüfen.

Das Experiment nutzt aus öffentlichen Materialien erstellte Anfragen und Kandidatenprofile sowie abgeschlossene diagnostische Bewertungen. Es umfasst 44 Fälle: 5 zur Auswahl, 39 zur Evaluation. Davon haben 2 keine positiv annotierten Kandidaten. Recall und nDCG werden über die übrigen 37 gemittelt; negative Treffer in den ersten zehn über alle 39. Die Labels bewerten Materialrelevanz, nicht die Kooperationsbereitschaft der Betroffenen.

Wir betrachten BM25, die feste Fünfwegefusion und eine zusätzliche Sortierung nach der Fusion.

Zunächst pro Fall berechnet, danach gemittelt. Recall@100 misst den Anteil relevanter Kandidaten unter den ersten hundert. nDCG@10 erfasst deren Platzierung weit oben unter den ersten zehn. Negative beruhen auf Labels; entsprechende Einladungen wurden nicht verschickt. Daten aus dem ursprünglichen M1-Bericht.

Der Punktschätzer des Recall liegt bei der Fusion ungefähr 3.67 Prozentpunkte über BM25. Gleichzeitig sinkt die Qualität der ersten zehn, während Negative im Mittel zunehmen. Die Nachsortierung holt einen Teil zurück, übertrifft BM25 in diesen Mittelwerten aber nicht.

Die drei Spalten ersetzen einander nicht. Kandidatengenerierung lässt der Folgearbeit Möglichkeiten offen. Die vordere Rangfolge bestimmt, wohin begrenzte Aufmerksamkeit zuerst fließt. Eine Menge erweitern und sie gut ordnen sind zwei getrennte Aufgaben.

Die fünf Wege umfassen Schlüsselwörter, hybride Suche, Vektoren desselben Modells, gemeinsame Referenzen und lineare Abbildung. Die Fusion verwendet RRF: Beiträge werden anhand der Listenränge addiert, statt rohe Scores verschiedener Skalen zusammenzurechnen. RRF ist ein bestehendes Verfahren mit Forschung von 2009. Originalveröffentlichung

So lassen sich Suchverfahren einfach verbinden. Welche Methode zur aktuellen Anfrage passt, weiß die Regel dadurch noch nicht.

Ein Lehrbeispiel: Die Stichwortsuche setzt einen genau passenden Kandidaten auf Rang zwei. Mehrere andere Wege setzen einen thematisch ähnlichen Kandidaten ohne entscheidende Voraussetzung auf Rang fünf. Mehrfacher Zuspruch kann ihn nach vorne bringen. Die Fusionsregel sieht Ränge; der Unterschied bei der Voraussetzung muss weiterhin durch Eingaben oder Bewertungen ausgedrückt werden.

Das illustriert eine mögliche Fehlerart. Der aggregierte Bericht belegt noch nicht, welche Fallgruppe die gemessene Verschlechterung überwiegend verursacht hat. Direkt beobachtbar ist: Die feste Zusammenführung zusätzlicher Wege lieferte nicht zugleich mehr Recall und bessere erste Plätze. Vor weiteren Wegen sollte geklärt werden, für welche Anfragen jeder zusätzliche Wert entsteht.

Der Punktschätzer beschreibt die durchschnittliche Veränderung dieser Fälle. Er zeigt nicht ihre Empfindlichkeit gegenüber der Fallzusammensetzung.

Nach dem vorgegebenen Verfahren ergaben 10,000 gepaarte Bootstrap-Wiederholungen auf Fallebene für die Recall@100-Differenz 0.0367 und ein 95%-Intervall von −0.0332 bis 0.1150. Es umfasst null. Das Auswahlkriterium einer positiven Untergrenze wurde damit nicht erreicht.

Zwei voreilige Schlüsse wären falsch. „Der Mittelwert steigt, also ersetzen“ ignoriert Unsicherheit. „Das Kriterium verfehlt, also sind alle Teile nutzlos“ verwischt die Unterschiede. Der einzelne Weg B mit demselben Modell erreicht beispielsweise einen Recall-Punktschätzer von 0.6066, höher als die feste Fusion. Das verdient weitere Untersuchung, erlaubt nach Kenntnis der Ergebnisse aber keine nachträgliche Siegererklärung.

Wir behielten BM25 und aussichtsreiche Kandidatenwege und wählten die feste Fusion nicht für die größere Evaluation. Die Forschung stoppte am 1. September. Für einen weiteren bereits erzeugten Score-Satz liegt kein vollständiges Qualitätsergebnis vor. Dieser Text liest bestehende Ergebnisse erneut; er startete keinen neuen Lauf.

Die zweite Schicht mischt Fusionsscore und erklärbaren Rankingscore mit festen Gewichten 0.7／0.3. Gegenüber der Fusion sinkt die Zahl negativer Top-zehn-Treffer durchschnittlich um 0.1795; das gepaarte Intervall reicht von −0.3333 bis −0.0256. Diese Verbesserung erfüllt das Kriterium.

Die Untergrenze für Recall-Erhalt beträgt jedoch −0.02325 und liegt damit knapp unter dem vorher festgelegten −0.02. Es fehlt somit ausreichende Grundlage dafür, den Recall-Verlust als innerhalb der erlaubten Grenze zu betrachten.

Strukturell ist das verständlich: Bewertet die zweite Schicht einen größeren Pool neu und schneidet danach hundert Kandidaten aus, kann sie die Mitgliedschaft verändern. „Nachsortierung“ führt tatsächlich eine zweite Auswahl durch.

Eine unmittelbar umsetzbare Änderung fixiert zunächst die ersten hundert des Generators und verändert nur deren Reihenfolge. So kann die zweite Schicht die ersten zehn beeinflussen, ohne bereits gefundene Relevante aus den ersten hundert zu verdrängen. Der Preis: Übersehene Kandidaten außerhalb dieser hundert können nicht zurückgeholt werden. Diese Struktur ging in spätere Entwürfe ein; ihr tatsächlicher Rankingnutzen braucht eine neue Evaluation.

Das Experiment zerlegt „kombinierte Suche“ in drei Fragen: Welche Anfragen brauchen zusätzliche Suche? Welche neuen Mitglieder bringt sie? Wie werden ausgewählte Mitglieder angeordnet?

Sind Schlüsselwortergebnisse schon gut genug, können zusätzliche Wege nur Berechnung und Konkurrenz hinzufügen. Verfehlen sie eine andere Ausdrucksweise, kann ein Vektorweg den entscheidenden Beitrag liefern. Gleiche Kombinationskosten für jede Anfrage brauchen eine stärkere Begründung als „mehr Methoden“.

Unsere nächste Frage lautet daher: Lassen sich ohne Kenntnis der Labels aus dem Suchverhalten Anfragen erkennen, die zusätzliche Berechnung verdienen? Werden anschließend mehr relevante Kandidaten gefunden? Reduziert Sortierung bei festen Mitgliedern das Rauschen vorne? Getrennte Evaluation zeigt, woher Verbesserung stammt.

Für Leser ergibt sich eine sofort prüfbare Schnittstelle: Verändert die zweite Stufe nur die Reihenfolge oder auch die Mitglieder? Diese Unterscheidung in Implementierung und Messung erklärt oft mehr als ein weiterer Retriever.

Verwendet wurden M1 evaluation-v3/report.json, decision-v1/M1_DECISION.json und das Kombinationsmanifest vom 1. September 2026. Die drei Makromittelwerte lassen sich aus den kompakten Falldaten neu berechnen. Gepaarte Intervalle stammen aus der historischen Entscheidung; siehe Methodennotizen. Die Diagnose auf öffentlichen Materialien misst keine reale Kooperationsannahme und änderte kein Online-Ranking.