Por enquanto, mantivemos o BM25

Ao concluir o diagnóstico M1 do Discovery Front, não escolhemos a combinação de cinco rotas prevista inicialmente. O BM25 ficou, e algumas rotas promissoras também continuaram abertas.

A decisão não era óbvia. A fusão recuperava mais candidatos relevantes entre os cem primeiros; pela recuperação média, superava o BM25. Mas ordenava pior os dez primeiros, e a sensibilidade da melhora à composição dos casos excedia o que aceitaríamos como base para uma troca.

A combinação pretendia reunir vantagens diferentes: palavras-chave capturam termos explícitos, vetores encontram outras expressões e representações entre modelos conectam coordenadas distintas. O resultado exigiu revisar o ponto em que essas rotas se juntavam.

O experimento usou solicitações e perfis de candidatos preparados com materiais públicos e julgamentos diagnósticos já concluídos. Foram 44 casos: 5 de seleção e 39 de avaliação. Destes, 2 não tinham positivos rotulados; por isso, as médias de recuperação e nDCG usam os outros 37, enquanto a contagem de negativos entre os dez primeiros usa todos os 39. Os rótulos avaliam relevância entre materiais, não disposição das pessoas para colaborar.

Começamos por três versões: BM25 como base de palavras-chave, fusão fixa de cinco rotas e fusão seguida de outra camada de ordenação.

Médias calculadas após a medição por caso. Recall@100 mede a proporção de relevantes nos cem primeiros; nDCG@10 mede se os relevantes ficam mais acima entre os dez primeiros. Negativos são contados pelos rótulos; esses convites não foram enviados. Dados do relatório original de avaliação M1.

A estimativa pontual da recuperação da fusão ficou cerca de 3.67 pontos percentuais acima do BM25. Ao mesmo tempo, caiu a qualidade de ordenação dos dez primeiros e aumentou a média de negativos. A reordenação recuperou parte da qualidade inicial, mas não superou o BM25 nessas médias.

As colunas não se substituem. Gerar candidatos deve deixar oportunidades para o processo seguinte; ordenar o topo determina onde a atenção limitada será gasta primeiro. Ampliar um conjunto e ordená-lo bem são problemas separados.

As cinco rotas incluíram palavras-chave, busca híbrida, vetores de um mesmo modelo, referências compartilhadas e mapeamento linear. A fusão usou RRF: soma contribuições a partir das posições dos candidatos nas listas, em vez de somar escores originais com escalas diferentes. RRF é um método existente de fusão de rankings, estudado já em 2009. Artigo original

Isso permite reunir recuperadores de forma simples, mas não descobre sozinho qual rota serve melhor à solicitação atual.

Um exemplo didático: palavras-chave colocam em segundo um candidato que atende exatamente às condições; outras rotas colocam em quinto um candidato de tema parecido, mas sem uma condição essencial. O apoio de várias rotas pode promovê-lo. A regra enxerga posições; algum dado ou processo de julgamento ainda precisa expressar a diferença nas condições.

É apenas uma ilustração de falha possível. O relatório agregado não demonstra quais casos explicam a maior parte da queda. O que observamos diretamente é: combinar fixamente mais rotas não entregou ao mesmo tempo maior recuperação e melhor ordenação no topo. Antes de acrescentar rotas, precisamos saber em quais solicitações cada uma agrega valor.

A estimativa pontual descreve a mudança média nesta amostra. Não mostra quanto a mudança depende da composição dos casos.

Pelo método predefinido, fizemos 10,000 réplicas de bootstrap pareado por caso. A diferença de Recall@100 da fusão em relação ao BM25 foi 0.0367, com intervalo de 95% de −0.0332 a 0.1150. O intervalo cruza zero; portanto, o diagnóstico não cumpriu o critério de seleção de limite inferior positivo para a melhora da recuperação.

Dois saltos são tentadores. “A média subiu, podemos trocar” ignora incerteza. “Não passou, nenhum componente presta” apaga diferenças entre métodos. Por exemplo, a rota B de um mesmo modelo atingiu sozinha estimativa de recuperação de 0.6066, acima da fusão fixa. Vale acompanhar, mas observar isso depois dos resultados não autoriza declará-la vencedora definitiva.

Mantivemos o BM25 e as rotas promissoras, sem selecionar a combinação fixa para avaliação maior. A pesquisa parou em 1º de setembro. Outra rodada de escores já gerada ainda não tem resultados completos de qualidade. Este artigo releu o que existia, sem retomar as execuções.

A segunda camada combinava o escore da fusão e um escore interpretável com pesos fixos de 0.7／0.3. Em relação à fusão, reduziu em média 0.1795 negativos entre os dez primeiros, com intervalo pareado de −0.3333 a −0.0256. Essa melhora passou pelo critério da rodada.

Porém, o limite inferior do intervalo de preservação da recuperação foi −0.02325, ligeiramente abaixo do −0.02 predefinido. Ainda faltava base para considerar a perda de recuperação dentro do limite permitido.

A explicação estrutural é simples: se a segunda camada pontua um conjunto maior e então recorta os cem primeiros, pode mudar seus integrantes. A “reordenação” também está fazendo uma segunda seleção.

Isso sugere uma mudança diretamente implementável: fixar os cem candidatos do gerador e alterar apenas sua ordem. Assim, a segunda camada influencia os dez primeiros sem expulsar dos cem os relevantes já encontrados. O custo é claro: ela não pode recuperar quem ficou fora dos cem iniciais. Essa estrutura entrou no desenho posterior, mas o ganho real de ordenação ainda exige nova avaliação.

O experimento separou a ideia vaga de “busca combinada” em três perguntas: quais solicitações precisam de busca adicional, que novos integrantes ela traz e como ordenar os já escolhidos.

Se palavras-chave já funcionam bem, rotas extras podem apenas adicionar computação e competição. Quando deixam escapar outra expressão, vetores podem trazer o complemento decisivo. Fazer toda solicitação pagar o mesmo custo de combinação exige mais justificativa do que ter mais métodos.

Reformulamos o próximo passo: identificar, antes de olhar rótulos, quais solicitações merecem mais computação; medir se ela recupera novos relevantes; e testar se ordenar integrantes fixos reduz ruído no topo. Avaliar separadamente mostra de onde vem o ganho.

Para o leitor, a descoberta mais útil é uma interface que pode verificar agora: sua segunda etapa muda só a ordem ou também os integrantes? Explicitar isso na implementação e na medição costuma explicar melhorias e pioras melhor que acrescentar outro recuperador.

Usamos os arquivos M1 evaluation-v3/report.json, decision-v1/M1_DECISION.json e o manifesto da combinação salvos em 1º de setembro de 2026. As médias macro dos três métodos podem ser recalculadas com os dados resumidos por caso; os intervalos pareados vêm da decisão histórica, detalhada nas notas de método. Foi um diagnóstico sobre materiais públicos, sem medir aceitação real de colaboração nem mudar o ranking em produção.