Relier des espaces vectoriels par des références communes

Vous disposez de vecteurs textuels et souhaitez y ajouter ceux d’une autre équipe. Les deux systèmes utilisent la similarité cosinus et leurs vecteurs ont même longueur. Un simple import dans le même index semble suffire.

Mais ces nombres décrivent-ils le même espace ?

Un modèle produit des coordonnées apprises. Sa 17e dimension n’a aucune correspondance naturelle avec la 17e d’un autre modèle. Deux modèles peuvent comprendre des textes de façon voisine tout en écrivant leurs coordonnées différemment.

NAC, Nested Anchor Coordinates, part de cette difficulté dans les recherches de ToWow : chaque partie observe des références communes avec son propre modèle, puis échange ses observations. Un exemple calculable à la main montre d’abord l’opération ; nous verrons ensuite son emploi pour découvrir des partenaires.

Un modèle bidimensionnel A place un texte en x = (1, 0). Le modèle B le représente par x′ = (0, 1). Le cosinus entre ces tableaux vaut 0.

Dans cet exemple pédagogique, B ne fait pourtant que tourner tout l’espace de A de 90 degrés dans le sens antihoraire. Tous les angles entre textes restent identiques. Les recherches internes peuvent donner exactement les mêmes résultats, alors que la comparaison intermodèles traite le même texte comme deux directions orthogonales.

Ajoutons deux références communes a et b. Dans A, elles sont en (1, 0) et (0, 1) ; dans B, après rotation, en (0, 1) et (-1, 0).

Chaque modèle répond à deux questions : quelle similarité entre le texte et a, puis entre le texte et b ?

Les coordonnées diffèrent, mais les relations donnent toutes deux [1, 0]. Leur comparaison retrouve la concordance de cet exemple.

Aucune matrice n’a été apprise pour ramener B dans A. Chaque partie calcule des similarités valides dans son espace et les écrit dans un ordre commun. L’échange décrit des relations aux mêmes objets.

Dans NAC, une référence peut être un texte fixe ou un exemple accessible à tous. Le protocole fixe l’ensemble et son ordre. Chaque participant encode avec son propre encodeur E le contenu local x et les références a₁…aₘ, puis produit :

c_E(x) = [cos(E(x), E(a₁)), …, cos(E(x), E(aₘ))]

La première position signifie « relation à la première référence », la seconde « relation à la deuxième ». A peut produire 384 dimensions natives et B 1,024 : en calculant les mêmes m références, tous deux livrent m valeurs relationnelles.

La représentation relative a une origine scientifique explicite. Dans Relative Representations, présenté à ICLR 2023, Moschella et ses collègues construisent des représentations à partir des similarités entre échantillons et ancres et étudient comparaison d’espaces latents et assemblage de composants de modèles. NAC reprend cette famille de coordonnées pour examiner transmission segmentée, direction des relations et évolution des versions dans les réseaux ouverts d’Agents.

Les références communes lèvent l’ambiguïté sur la signification de chaque position. La sémantique conservée dépend des modèles et des références. La rotation fonctionne particulièrement bien parce qu’elle préserve les angles ; les modèles réels peuvent apprendre des distinctions différentes.

L’un peut distinguer fortement « matériel disponible au prêt » et « matériel recherché à l’achat », tandis qu’un autre les rapproche sous le thème de l’équipement. Les références communes rendent le désaccord comparable ; il reste à évaluer son effet sur la recherche.

Prenons un exemple de conception : une petite équipe teste un contrôle qualité par imagerie thermique et cherche deux heures d’utilisation d’un appareil avec assistance sur place. Un laboratoire voisin a des créneaux libres ; un autre ingénieur cherche lui aussi une caméra semblable.

Les textes des deux demandeurs peuvent être les plus similaires : équipement, objectif et termes techniques se recouvrent. Le laboratoire parle peut-être de « plateforme instrumentale », « accès ponctuel » et « aide à l’utilisation », avec des mots plus éloignés.

Le signal doit donc préciser le rôle du contenu dans la relation. NAC permet de séparer une description locale en fragments orientés : recherche, offre et contexte. « Recherche un appareil » se compare d’abord à « propose un appareil ». L’autre demandeur peut encore apporter expérience ou introduction, mais selon une autre raison de coopérer.

La génération d’un signal devient concrète :

1. L’Agent local sélectionne le contenu pertinent dont l’usage pour la découverte est autorisé.
2. Le modèle local calcule ses relations aux références publiques.
3. Le signal porte la direction « recherche », la version des références et une durée de validité.
4. Le destinataire le compare aux fragments « offre » correspondants pour former des candidats.

Le réseau reçoit ainsi une description relationnelle orientée. Disponibilité temporelle et adéquation du matériel peuvent être précisées progressivement dans les échanges suivants.

Un réseau peut commencer par un filtrage grossier peu coûteux, puis concentrer le calcul sur quelques candidats. NAC ordonne donc les références de manière stable pour transmettre un préfixe court puis l’allonger au besoin.

On peut, par exemple, échanger d’abord 32 relations puis passer à 128 pour un candidat intéressant. Ces longueurs illustrent le principe. Une configuration utile se mesure sur la tâche : objets pertinents perdus avec le préfixe court, récupérés avec l’extension, coûts de calcul et de transmission.

L’ordre mérite du soin. Si les 32 premières références décrivent presque toutes des achats industriels, elles distingueront peut-être mal collaborations artistiques ou pédagogiques. Un long vecteur peut être bon et son début mauvais. « Tronquable » et « utile après troncature » sont deux propriétés à traiter séparément.

Cela éclaire la relation avec Matryoshka Representation Learning, qui entraîne des représentations utiles à différentes longueurs. NAC place l’ordre segmentable sur les références externes, laissant à chacun son encodeur. Cette liberté crée une question expérimentale : comment choisir et ordonner les références pour fournir un signal utile à chaque budget ?

Un tableau de flottants seul ne suffit pas. Le destinataire doit connaître la version, la longueur du préfixe et la date de génération. Sinon, deux tableaux de même longueur peuvent répondre à des questions différentes.

NAC transporte donc version et direction avec les coordonnées. Après mise à jour du modèle local, l’Agent peut recalculer les relations depuis les documents d’origine. Une nouvelle collection de références demande une transition : produire temporairement les deux versions, ou comparer uniquement les nœuds explicitement compatibles.

Le choix intéressant déplace la dépendance commune : d’un même modèle installé partout vers une même collection de références accessible et interprétable. Chacun maintient son modèle ; qualité et évolution des références deviennent un problème partagé.

Si tous les contenus peuvent être encodés par un seul service, un encodeur commun est un point de départ direct : même espace, intégration et recherche simples. Pour réutiliser des vecteurs entre espaces, on peut aussi apprendre une transformation ; vec2vec étudie cette traduction à partir de distributions d’embeddings.

NAC mérite étude lorsque les participants veulent garder leurs modèles locaux tout en échangeant une représentation commune interprétable et progressivement détaillable. Le choix doit intégrer qualité de recherche, calcul des références, volume transmis et maintenance après changement de modèle.

ToWow dispose actuellement d’une conception de signal et d’une implémentation de référence. L’efficacité de la découverte intermodèles reste à valider. Les diagnostics locaux antérieurs incluaient coordonnées d’ancres et autres représentations, mais n’ont pas achevé une évaluation suffisante de cette solution entre fournisseurs. Cet article explique le mécanisme et ses raisons de conception.

Encodeur commun, projection apprise et références publiques placent les coûts d’entretien à des endroits différents. NAC laisse les modèles aux participants et mutualise qualité et ordre des références. Son intérêt dépendra du nombre de comparaisons intermodèles utiles obtenues en échange de ce coût.

Matériaux : dossier du mécanisme NAC et état actuel de Discovery Front ; emplacements locaux dans SOURCE-NOTES.md. Les coordonnées bidimensionnelles, l’équipement et les préfixes 32/128 sont explicatifs, pas des résultats expérimentaux de modèles.