공통 참조로 벡터 모델을 잇는 설계에서 각 모델은 텍스트와 같은 참조 집합의 관계를 설명한다. 원래 좌표를 공유하지 않아도 그 관계를 비교할 수 있다.
참조는 실질적인 일을 맡는다. 어떤 방향에서 대상을 볼지 시스템에 알려 준다. 그 대가를 이해하려고 복잡한 모델을 잠시 내려놓고 평면만 보자.
다른 두 대상이 같은 숫자를 얻는다
두 단위 벡터를 잡는다.
x = (0.6, 0.8)
y = (0.6, -0.8)
둘째 좌표가 다르고 내적은 −0.28이다. 단위 참조 a = (1, 0) 하나만 골라 코사인 유사도로 관계를 나타내면 다음과 같다.
x 与 a 的关系 = 0.6
y 与 a 的关系 = 0.6
즉 x와 a의 관계도, y와 a의 관계도 0.6이다. 다른 대상 둘이 같은 숫자로 표현됐다. 후속 시스템이 아무리 정밀하게 처리해도 그 숫자만으로 사라진 차이를 되살릴 수는 없다.
참조 b = (0, 1)을 추가하면 관계 표현이 바뀐다.
x → [0.6, 0.8]
y → [0.6, -0.8]
이번에는 차이가 다시 보인다. 예의 계산은 정확하다. 선택한 표현이 정보를 잃을 수 있음을 증명하며, 실제 두 집단이 이런 순위 결과를 겪었다고 주장하지 않는다.
반복 참조는 새 정보를 채워 주지 않는다
둘째 참조가 번호만 다르고 여전히 (1, 0)이면 정보는 완전히 같다. 추가 참조가 모두 같은 방향 근처라면 표현이 길어져도 이미 본 차이를 반복할 뿐일 수 있다.
따라서 참조 수와 유효한 구별 능력 사이에는 참조의 상호 보완성, 현재 과제에 필요한 차이, 모델의 표현 능력이 놓여 있다.
텍스트 공간은 이 평면보다 훨씬 복잡하다. 참조 텍스트가 사람이 정확히 지정한 의미 축에 대응하는 것은 아니며 모델마다 이해도 다를 수 있다. 2차원 예의 용도는 실험 질문을 만드는 것이다. 어떤 참조 집합이 과제와 관련된 두 대상을 너무 가깝게 압축하는가? 집합을 바꾸면 어떤 관계가 달라지는가?
수학 문제에서 사람의 처지로
판매, 홍보, 성장 같은 참조로 오랫동안 능력을 설명한 협력 디렉터리를 상상하자. 낡은 물건을 고치는 사람도 그중 일부 단어와 관계가 있지만 고장 진단, 수명 연장, 사용 회복의 차이는 선명하지 않을 수 있다.
이는 검증해야 할 추론이다. 시스템에서 “찾기 어렵다”는 데는 여러 원인이 있을 수 있다. 자료가 수록되지 않았거나, 설명이 불명확하거나, 표현이 핵심 차이를 잃었거나, 순위 목표가 그 기여를 보상하지 않을 수 있다. 원인마다 수정이 다르다.
수리자 수만 늘려서는 표현의 사각지대가 반드시 고쳐지지 않는다. 참조만 바꿔도 누락 자료를 대신할 수 없다. 올바른 층에 장애를 위치시켜야 자료를 보충할지 표현을 바꿀지 과제 판단을 조정할지 안다.
“어떤 차이가 중요한지 누가 결정하는가”도 설계 선택이다. 수리 수업용 시스템이면 안전한 분해, 진단, 교육을 구별해야 한다. 장비 구매용이라면 조건이 달라진다. 공통 참조는 상호 운용을 돕지만 공통이라고 모든 과제에 똑같이 맞지는 않는다.
판단력 있는 교체 실험
참조 선택이 실제 발견에 영향을 주는지 판단하려면 요청, 후보, 모델, 검색 예산, 평가 방법을 그대로 두고 참조 집합만 바꿀 수 있다.
먼저 표현을 본다. 붙어 있던 어떤 후보가 구별되는가? 다음에는 순위를 본다. 변화가 실제 사용하는 상위 열 개나 백 개에 들어가는가? 마지막으로 과제로 돌아온다. 새 후보가 필요한 능력을 제공하는가, 다른 잡음을 앞으로 밀었을 뿐인가?
평균 점수 외에 미리 관심을 둔 과제 유형도 봐야 한다. 전체 성능을 높이면서 소수 과제를 계속 악화시키는 집합도 있을 수 있다. 반대로 소수 과제용 참조 추가에는 저장, 계산, 버전 비용이 든다. 결과는 어디에 공통 부분을 쓰고 어디를 보충할지 결정하도록 도와야 한다.
실험으로 선택을 점차 개선할 수 있다. 처음부터 완벽할 필요도, 누락을 발견했다고 전체를 버릴 필요도 없다. 누락을 찾을 기회와 버전 변화를 비교할 수 있는 조건이 중요하다.
누락을 검증 가능한 의견으로 만들기
공통 참조에 두 성질을 바란다. 참여자가 서로 이해할 만큼 안정적일 것, 그리고 “이 집합으로 나를 설명하면 과제에 중요한 한 가지가 빠진다”라고 말할 수 있을 것이다.
후자의 피드백에는 구체적 대상이 필요하다. 누락을 제기할 때 구별되어야 할 자료 한 쌍, 영향을 받는 과제, 어떤 참조를 더하면 나아질지에 대한 가설을 함께 낼 수 있다. 한 어휘표가 모두를 대표하는지 논쟁하는 것보다 실행 가능한 검증으로 바꾸기 쉽다.
처음의 벡터 쌍은 단순한 출발점을 준다. 시스템이 지금 구별하지 못하지만 과제에서는 반드시 나눠야 하는 두 대상을 꺼낸다. 참조를 갱신할 가치가 있는지는 이 구체적 차이에서 논의할 수 있다.