Tag index

#VectorGeometry

01 entries
№001 embedding-research-engineering · 02

Embedding Geometry: 유사도·정규화·Pooling·Hubness (2/14)

Cosine·dot product·L2의 관계와 vector norm, mean·CLS·last-token pooling을 해부하고 anisotropy·hubness·dimension 문제가 실제 nearest-neighbor 검색을 어떻게 바꾸는지 진단합니다.

#Embeddings #VectorGeometry #SimilaritySearch #Pooling
고차원 구면 위의 query와 document vector 사이 cosine 각도, vector norm, 중심부 hub와 pooling 경로를 함께 보여 주는 embedding geometry