公共参照の死角

共通参照でベクトルモデルをつなぐ設計では、各モデルがテキストと同じ参照群との関係を記述する。元の座標を共有しなくても、関係を比較できる。

参照は、どの方向から対象を見るかをシステムへ伝えるという実務を担う。その代償を理解するため、複雑なモデルをいったん置いて平面だけを見よう。

二つの単位ベクトルを取る。

x = (0.6,  0.8)
y = (0.6, -0.8)

第二座標は異なり、内積は −0.28 だ。単位参照 a = (1, 0) だけを選び、コサイン類似度で関係を表すと、こうなる。

x 与 a 的关系 = 0.6
y 与 a 的关系 = 0.6

つまり x と a の関係も、y と a の関係も 0.6 になる。異なる対象が同じ数で表された。後段がその数をどれほど精密に処理しても、それだけで失われた区別を復元できない。

参照 b = (0, 1) を加えると、関係表現は変わる。

x → [0.6,  0.8]
y → [0.6, -0.8]

今度は差が見える。この計算は厳密だ。選んだ表現が情報を失いうることを示すのであり、実在する二つの集団がこの順位結果に遭ったという主張ではない。

第二参照も (1, 0) で番号だけ違うなら、情報は同一だ。増やす参照が同じ方向に近いものばかりなら、長さが増えても、すでに見える区別を繰り返し記述するだけかもしれない。

参照数と有効な識別力の間には、相補性、現在の課題に必要な区別、モデルがそれを表現できるかという条件がある。

テキスト空間は平面よりずっと複雑だ。参照テキストは人が厳密に指定した意味軸に対応するわけではなく、モデルごとの理解も一致するとは限らない。二次元例の用途は実験の問いを立てることだ。ある参照群は、課題に関係する二対象を近づけすぎていないか。参照を変えたらどの関係が変わるか。

販売、宣伝、成長といった参照で長く能力を記述する協力ディレクトリを想像しよう。古い物を修理する人も一部の語と関係づけられるが、故障診断、寿命延長、使用回復の区別は十分に表現されないかもしれない。

これは検証を要する推論だ。システムで「見つけにくい」理由には、資料未収録、記述不足、表現による重要な差の喪失、順位目標がその貢献を評価していないことなどがありうる。修正は原因ごとに違う。

修理者の人数を増やすだけで表現の死角が直るとは限らず、参照の変更も欠けた資料の代わりにはならない。障害を正しい層へ位置づけて初めて、次に資料を足すか、表現を変えるか、課題の判断を調整するかが分かる。

「どの差が重要かを誰が決めるか」も設計判断だ。修理講座なら安全な分解、診断、指導を区別したい。機材調達なら条件は違う。公共参照は相互接続を助けるが、公共であることは、全課題への同等の適合性を意味しない。

参照選択が本当に発見へ影響するか調べるには、依頼、候補、モデル、検索予算、評価方法を固定し、参照集合だけを替える。

まず表現を見る。以前密集していたどの候補が区別可能になったか。次に順位を見る。変化が実際に使う上位十件や百件へ入ったか。最後に課題へ戻る。新候補は必要能力を提供するのか、それとも別のノイズを前に出しただけか。

平均点のほか、事前に関心を持った課題の種類も調べたい。全体を改善しながら少数の課題を悪くし続ける集合もありうる。逆に少数課題向けの専用参照を増やすと、保存、計算、版管理の費用が増える。結果は、どこに共通部分を使い、どこを補うべきかを決める助けになるべきだ。

選択は実験で徐々に改善できる。参照集合は最初から完全でなくてよく、抜けを見つけたから全廃する必要もない。抜けを発見でき、版の変化を比較できることが大切だ。

公共参照には二つの性質を望みたい。参加者が理解し合えるほど安定していること。そして「この集合で私を表すと、課題に重要な一つのことが抜ける」と言えることだ。

後者には具体的な対象が要る。抜けを指摘するとき、区別すべき一組の資料、影響を受ける課題、どの参照を加えると改善しそうかという仮説を添えられる。語彙表が全員を代表するかという論争より、実行できる検証へつなげやすい。

最初のベクトル対が簡単な出発点を示す。今のシステムが分けられず、課題では確かに分ける必要のある二対象を出す。参照を更新すべきかは、その具体的な差から議論を始められる。