Por ahora conservamos BM25

Al terminar el diagnóstico M1 de Discovery Front, no elegimos la combinación de cinco rutas que habíamos previsto. Conservamos BM25 y mantuvimos abiertas varias rutas prometedoras.

La decisión no era evidente. La fusión encontraba más candidatos relevantes entre los cien primeros; por el promedio de recuperación, superaba a BM25. Pero ordenaba peor los diez primeros y la mejora de recuperación dependía de la composición de los casos más de lo que considerábamos suficiente para cambiar de método.

La combinación pretendía aprovechar fortalezas distintas: palabras clave para términos explícitos, vectores para otras expresiones y representaciones entre modelos para conectar coordenadas diferentes. El resultado nos obligó a revisar dónde se unían esos caminos.

El experimento usó solicitudes y perfiles de candidatos elaborados a partir de materiales públicos, junto con los juicios diagnósticos ya completados. Había 44 casos: 5 de selección y 39 de evaluación. De estos últimos, 2 no tenían positivos etiquetados; los promedios de recuperación y nDCG usan los otros 37, mientras que el recuento de negativos entre los diez primeros usa los 39. Las etiquetas juzgan la pertinencia entre materiales, no la voluntad de colaborar de sus protagonistas.

Nos centramos primero en tres versiones: la base de palabras clave BM25, la fusión fija de cinco rutas y esa fusión con una segunda capa de ordenación.

Promedios de cálculos por caso. Recall@100 mide qué proporción de candidatos relevantes entra entre los cien primeros; nDCG@10 mide si los relevantes ocupan posiciones más altas entre los diez primeros. Los negativos son un recuento según las etiquetas: no se enviaron esas invitaciones. Datos del informe de evaluación original de M1.

La estimación puntual de recuperación de la fusión superó a BM25 en unos 3.67 puntos porcentuales. A la vez, empeoró la ordenación de los diez primeros y aumentó el promedio de negativos. La reordenación posterior recuperó parte de la calidad inicial, pero no superó a BM25 en estos promedios.

Las tres columnas no son intercambiables. Generar candidatos debe dejar oportunidades al proceso posterior; ordenar los primeros determina dónde se emplea antes la atención limitada. Ampliar un conjunto y ordenarlo bien son problemas distintos.

Las cinco rutas eran palabras clave, búsqueda híbrida, vectores de un mismo modelo, referencias compartidas y mapeo lineal. La fusión empleó RRF: sumaba contribuciones según la posición de cada candidato en cada lista, en vez de sumar puntuaciones originales de escalas diferentes. RRF es un método de fusión de rankings estudiado ya en 2009. Artículo original

Esto permite reunir buscadores de forma relativamente sencilla, pero no descubre por sí solo cuál conviene a la solicitud actual.

Un ejemplo didáctico: las palabras clave colocan segundo a un candidato que cumple exactamente las condiciones; varias otras rutas colocan quinto a uno temáticamente próximo al que le falta una condición esencial. El apoyo de varias rutas puede adelantar al segundo. La regla de fusión ve posiciones; alguna entrada o proceso de juicio todavía debe expresar la diferencia entre las condiciones.

El ejemplo solo ilustra un fallo posible. El informe agregado actual no demuestra qué clases de casos causaron principalmente el descenso. Lo observado es que combinar de forma fija más rutas no produjo simultáneamente mayor recuperación y mejor ordenación inicial. Antes de añadir otras, conviene averiguar en qué solicitudes aporta valor adicional cada una.

La estimación puntual describe el cambio promedio en estos casos. No dice cuánto depende de cuáles integran la muestra.

Con el método preestablecido, realizamos 10,000 réplicas de bootstrap pareado por caso. La diferencia de Recall@100 de la fusión frente a BM25 fue 0.0367, con un intervalo del 95% de −0.0332 a 0.1150. Como cruza cero, el diagnóstico no cumplió la condición de selección: que el límite inferior del intervalo de mejora de recuperación fuera positivo.

Aquí son fáciles dos saltos indebidos. «El promedio mejoró, podemos sustituirlo» omite la incertidumbre. «No pasó el criterio, ningún componente sirve» borra las diferencias entre métodos. La ruta B de un mismo modelo, por ejemplo, alcanzó por sí sola una recuperación puntual de 0.6066 en estos casos, superior a la fusión fija. Merece seguimiento, pero verla después de los resultados no permite declararla ganadora definitiva.

Decidimos conservar BM25 y las rutas prometedoras, sin llevar la combinación fija a una evaluación mayor. La investigación se detuvo el 1 de septiembre. Otra tanda de puntuaciones ya generada no tiene aún resultados completos de calidad. Este artículo relee los resultados existentes; no reanudó las ejecuciones.

La segunda capa mezclaba la puntuación de fusión y una puntuación interpretable con pesos fijos de 0.7／0.3. Frente a la fusión, redujo en promedio 0.1795 negativos entre los diez primeros; el intervalo pareado fue de −0.3333 a −0.0256. Esa mejora sí pasó el criterio de esta prueba.

Sin embargo, el límite inferior del intervalo de conservación de recuperación fue −0.02325, ligeramente por debajo del umbral preestablecido de −0.02. Seguíamos sin tener base suficiente para afirmar que la pérdida de recuperación quedaba dentro del margen permitido.

La explicación estructural es sencilla: si la segunda capa vuelve a puntuar un conjunto mayor y después toma los primeros cien, puede cambiar sus miembros. La «reordenación» está realizando también una segunda selección.

De ahí surge un cambio directamente implementable: fijar primero los cien candidatos del generador y modificar el orden únicamente dentro de ese conjunto. La segunda capa puede alterar los diez primeros sin expulsar de los cien a los relevantes que el generador encontró. El coste es explícito: tampoco puede recuperar a quien quedó fuera de esos cien iniciales. La estructura ya entró en el diseño posterior, pero sus beneficios reales de ordenación requieren otra evaluación.

El experimento separó la vaga idea de «búsqueda combinada» en tres preguntas: qué solicitudes necesitan búsqueda adicional, qué miembros nuevos aporta y cómo ordenar a los ya seleccionados.

Si las palabras clave responden suficientemente bien, otras rutas quizá solo añadan cómputo y competencia. Cuando no reconocen una expresión alternativa, los vectores pueden aportar el complemento decisivo. Cobrar el mismo coste de combinación a cada solicitud requiere una razón más fuerte que tener más métodos.

Reformulamos por ello el siguiente paso: identificar, sin consultar las etiquetas, qué solicitudes merecen más cómputo; comprobar si ese cómputo recupera realmente más relevantes; y medir si ordenar un conjunto fijo reduce el ruido inicial. Evaluarlas por separado permite saber de dónde viene la mejora.

Para el lector, lo más aprovechable es una interfaz que puede revisar hoy: ¿la segunda etapa cambia solo el orden o también la pertenencia? Hacer explícita esa diferencia en código y medición suele explicar mejor los cambios del sistema que añadir otro buscador.

Usamos los archivos M1 evaluation-v3/report.json, decision-v1/M1_DECISION.json y el manifiesto de la combinación guardados el 1 de septiembre de 2026. Los promedios macro de los tres métodos se pueden recalcular con los datos abreviados por caso; los intervalos pareados proceden de la decisión histórica, detallada en las notas de método. Fue un diagnóstico con materiales públicos: no midió aceptación real de colaboraciones ni cambió la ordenación en producción.