Field Log · Entry

Embedding 최근 연구 동향: 2024–2026 논문 지도 (13/14)

2024년 LLM과 합성 데이터 기반 embedding에서 2025년 소형화와 문맥·멀티모달을 지나 2026년 reasoning과 situated retrieval로 확장되는 연구 지도

이번 글의 결론 — 2026년 7월 20일 기준

최근 embedding 연구는 model 크기 하나가 아니라 backbone 전환, data 품질, elastic efficiency, context, reasoning, multimodality, evaluation·security라는 일곱 축으로 전개됩니다.

Decoder-only LLM의 지식을 embedding으로 옮기는 연구가 강해졌지만, 작은 encoder가 latency·memory·다국어 평균에서 더 좋은 Pareto point를 보이는 증거도 있습니다.

합성 데이터의 양보다 positive 정의와 false-negative 정제가 핵심 변수로 이동하고 있습니다. “더 어려운 negative”가 항상 더 좋은 negative는 아닙니다.

긴 input을 한 vector에 넣는 것에서, 짧은 chunk를 넓은 context에 situate하거나 여러 vector로 보존하는 방향으로 문제가 재정의되고 있습니다.

Reasoning-aware와 multimodal embedding은 빠르게 발전 중이지만, 2026년 결과 상당수는 preprint·자체 benchmark에 의존합니다. 독립 평가와 비용 측정 없이 보편적 우위로 일반화하지 않습니다.

앞 글까지 학습·평가·서빙의 구성 요소를 다뤘습니다. 이번 글은 논문 이름을 시간순으로 나열하지 않고, 연구가 어떤 가정을 바꾸고 있는지를 중심으로 읽습니다.

2024  LLM을 embedding backbone으로 전환
      LLM이 synthetic retrieval data를 생성
      long-context·multilingual·multi-function 확장
        │
2025  generative+embedding 통합, context-conditioned retrieval
      small/on-device, multimodal document retrieval
      benchmark의 언어·reasoning·dynamic coverage 확대
        │
2026  situated chunk, reasoning-aware query representation
      universal multimodal·multi-vector, adaptive dimension
      privacy·robustness·system utility를 더 강하게 요구

연도는 발표 흐름을 읽기 위한 구획입니다. Preprint 제출일, conference 발표일, model 공개일은 다를 수 있습니다.

1. 일곱 축으로 읽는 연구 지도

축	바뀌는 가정	반드시 물을 반대 질문
LLM Backbone	encoder-only가 최선인가	parameter·latency gain까지 정당한가
Data·Distillation	human label만 필요한가	synthetic bias·false negative는 없는가
Elastic Efficiency	고정 model·dimension이 필요한가	작은 설정의 critical slice 손실은 무엇인가
Context	chunk는 독립적인가	update amplification·corpus dependence는 감당 가능한가
Reasoning	query를 즉시 한 점으로 만들면 충분한가	reasoning 비용과 환각이 gain보다 작은가
Multimodality	OCR text만으로 충분한가	vision gain과 multi-vector 비용을 분리했는가
Evaluation·Security	benchmark 평균이면 충분한가	contamination·inversion·poisoning에 안전한가

한 논문이나 model이 여러 축에 걸칠 수 있습니다. 예를 들어 Qwen3-VL-Embedding은 LLM backbone, multimodality, variable dimension 축에 동시에 놓입니다.

2. Trend A · Encoder-only에서 LLM Backbone으로

전통적인 sentence embedding은 BERT류 bidirectional encoder와 pooling을 사용했습니다. 최근에는 decoder-only LLM이 가진 instruction following, multilingual, code, world knowledge를 vector에 옮기려는 연구가 늘었습니다.

LLM2Vec

LLM2Vec는 decoder-only LLM을 text encoder로 바꾸기 위해 bidirectional attention, masked next-token prediction, unsupervised contrastive learning을 결합했습니다.

causal LLM
  → bidirectional attention
  → representation adaptation
  → contrastive embedding

핵심 질문은 “생성 model의 hidden state를 pooling하면 embedding이 되는가?”가 아니라, causal generation에 맞춰진 representation을 symmetric comparison에 어떻게 다시 적응시키는가입니다.

NV-Embed

ICLR 2025의 NV-Embed는 decoder-only LLM을 embedding model로 전환하면서 latent attention layer와 two-stage instruction tuning을 제안했습니다. 논문은 retrieval과 non-retrieval task를 함께 다루는 방법을 연구했습니다.

Qwen3 Embedding

2025년 technical report의 Qwen3 Embedding은 0.6B·4B·8B 크기의 embedding/reranking model family, multi-stage training, synthetic data, instruction awareness, Matryoshka dimension을 결합했습니다.

이 흐름의 장점:

instruction과 긴 query 해석
multilingual·code 능력의 transfer
embedding과 reranking model family 공유
더 큰 context window

비용:

query encoding latency·VRAM
tokenizer와 padding sensitivity
last-token pooling·EOS contract
batch throughput 저하
corpus 전체 재인코딩 비용

3. 반대 흐름 · 큰 Backbone이 항상 Pareto-optimal하지 않다

MMTEB 논문은 평가한 language 범위에서 수십억 parameter LLM이 일부 subset에서 강했지만, 공개 model 중 전 언어에 걸친 강한 결과는 훨씬 작은 multilingual-e5-large-instruct에서도 나왔다고 보고했습니다. 2025년 EmbeddingGemma report도 5억 parameter 미만 model이 multilingual·English·code MTEB에서 강한 quality–cost 결과를 보였다고 주장합니다.

이 증거가 주는 해석:

capacity helps
  but
architecture + data mixture + distillation + objective
  can move a small model to a better Pareto point

Model 선택 표에는 parameter 수 대신 다음을 같이 둡니다.

Quality	Cost
in-domain Recall·nDCG	query p95
critical slice	documents/s
multilingual transfer	RAM·VRAM
long/context retrieval	vector dimension
downstream RAG utility	re-embedding wall time

4. Trend B · Embedding과 Generation의 통합

GritLM

ICLR 2025의 GritLM은 한 language model이 generative task와 embedding task를 모두 수행하도록 학습하는 generative representational instruction tuning을 제안했습니다.

one backbone
  ├─ embedding mode → vector
  └─ generation mode → tokens

가능한 이점은 model memory 공유와 두 능력 사이 transfer입니다. 그러나 serving 관점에서는 mode별 batching, pooling contract, KV cache 사용, latency가 달라질 수 있습니다.

통합의 실무 질문

한 model binary가 두 역할을 맡는 것이 GPU utilization을 실제로 높이는가?
Embedding과 generation traffic의 SLO가 다른데 queue를 공유할 수 있는가?
Joint training이 각 task의 최적 checkpoint를 희생하지 않는가?
Generation model update가 corpus re-embedding을 강제하는가?

“하나의 model”은 architecture 단순화일 수 있지만 lifecycle까지 단순해진다는 보장은 없습니다.

5. Trend C · Synthetic Data가 기본 재료가 되다

LLM-generated Diverse Tasks

Improving Text Embeddings with Large Language Models는 proprietary LLM으로 다양한 task·language의 synthetic pair를 만들고 embedding model을 학습하는 방법을 탐구했습니다. 논문은 93개 언어의 synthetic data 생성을 보고했습니다.

Gecko의 Generate–Retrieve–Relabel

Gecko는 LLM이 query와 positive passage를 만드는 데서 멈추지 않고, 먼저 후보를 검색한 뒤 큰 model이 relevance를 다시 평가하는 two-step recipe를 사용합니다.

LLM synthetic query + tentative positive
  → retrieve candidate passages
  → LLM relabel relevance
  → contrastive training

중요한 변화는 synthetic text 생성보다 retrieval distribution 안에서 pair를 다시 검증하는 데 있습니다.

Synthetic Data의 새로운 병목

생성 비용이 낮아지면 data 수보다 다음이 병목이 됩니다.

task taxonomy coverage
실제 corpus와 query style의 일치
positive completeness
negative의 false-negative rate
generator phrase fingerprint
source license·privacy
deduplication과 benchmark overlap

100M pairs라는 숫자만으로 유효 학습 signal의 양을 알 수 없습니다.

6. Trend D · Hard Negative에서 Correct Negative로

4편에서 hard negative는 결정 경계를 날카롭게 하지만 false negative를 끌어들인다고 배웠습니다.

2025년 Hard Negatives, Hard Lessons는 여러 dataset에서 mined hard negative를 정제하는 실험을 통해, 일부 noisy negative를 pruning하거나 false negative를 relabel하는 것이 data를 늘리는 것보다 나을 수 있음을 보고했습니다. 저자들의 실험에서는 15개 중 8개 dataset의 negative를 pruning해 학습량을 줄이면서 BEIR 평균이 개선된 조건도 있었습니다.

이 결과를 보편적 recipe로 복사하지는 않되 방향은 분명합니다.

old question:
  how hard is this negative?

new question:
  is it truly negative, and for which relevance definition?

연구할 변수:

변수	측정
Miner depth	top-10/50/200의 false-negative rate
Teacher threshold	retained data와 downstream quality
Multi-positive	incomplete qrel 완화 효과
Ambiguous pair	exclude vs soft label vs graded label
Refresh frequency	model 발전에 따른 negative drift

7. Trend E · Distillation이 Score를 넘어 Geometry로

전통적 distillation은 teacher의 query-document score나 margin을 student가 맞추게 합니다.

score distillation:
  s_student(q,d) ≈ s_teacher(q,d)

geometry distillation:
  relation(z_student) ≈ relation(z_teacher)

EmbeddingGemma report는 encoder-decoder initialization, geometric embedding distillation, spread-out regularizer, 서로 다른 data mixture로 최적화된 checkpoint merging을 recipe의 구성으로 설명합니다.

최근 distillation 연구에서 볼 질문:

teacher absolute vector를 맞추나, pairwise geometry를 맞추나
student dimension이 다를 때 projection은 학습에만 쓰나 inference에도 쓰나
teacher가 multilingual·domain slice에서도 신뢰할 만한가
teacher와 student tokenizer 차이를 어떻게 다루나
distillation과 contrastive label이 충돌할 때 weight는 무엇인가

Teacher 평균 점수를 복제하는 것보다 student가 배포될 slice의 관계를 보존하는지가 목적입니다.

8. Trend F · Elastic Embedding과 On-device

MRL은 한 model에서 output dimension을 줄일 수 있게 했습니다. 2D Matryoshka는 dimension과 network depth를 함께 유연하게 만들려는 방향을 탐구했습니다. EmbeddingGemma는 quantization과 dimension truncation 뒤의 성능 보존을 강조하며 on-device use case를 겨냥했습니다.

cloud high quality   → full layers + 768d fp16
edge balanced        → full/sliced layers + 256d int8
coarse candidate     → small exit + 128d binary

2026 ACL에는 query마다 유용한 dimension subset이 다를 수 있다는 관점에서 query-aware adaptive dimension selection을 연구한 논문도 등장했습니다.

고정 Dimension에서 Policy로

앞으로의 질문은 “최적 dimension은 256인가?”보다 다음에 가깝습니다.

choose dimension / encoder depth / index effort
conditioned on query difficulty and device budget

다만 서로 다른 dimension의 document index를 여러 벌 유지하면 memory gain이 사라질 수 있습니다. Prefix-compatible MRL, coarse-to-fine rescore, cache policy를 함께 설계해야 합니다.

9. Trend G · 긴 문서에서 Situated Chunk로

긴 input 지원 경쟁은 “더 많은 token을 한 번에 받는다”에 초점을 맞췄습니다. 하지만 single vector의 information bottleneck과 localized evidence 요구는 남습니다.

Late Chunking

긴 document를 먼저 contextual encoding하고 chunk span별 pooling을 해, chunk vector에 앞뒤 문맥을 넣습니다.

Contextual Document Embeddings, CDE

ICLR 2025의 CDE는 각 document를 고립해서 encode하지 않고 corpus의 다른 document context를 함께 사용하는 two-stage architecture를 제안했습니다.

Situated Embedding

ACL 2026의 Situated Embedding은 짧은 chunk를 더 넓은 문맥에 조건화해 표현하는 별도의 training paradigm을 제안했습니다. 논문은 책 plot retrieval을 위해 만든 context-dependent benchmark에서 1B model의 결과를 보고했습니다.

공통 이동:

independent chunk:
  z_i = f(chunk_i)

contextual/situated chunk:
  z_i = f(chunk_i | document context, corpus context)

새로 생기는 운영 비용

한 chunk 수정 시 주변 vector 재계산
corpus context가 바뀔 때 embedding drift
context construction latency
training과 serving context mismatch
tenant 경계를 넘는 context leakage

문맥 gain을 얻는 대신 embedding의 독립성과 locality를 일부 포기합니다.

10. Emerging Trend · Diffusion-pretrained Representation

2026년 pplx-embed preprint는 diffusion language model pretraining을 dense·contextual embedding에 활용하는 방향을 제안했습니다. 저자들은 bidirectional representation과 corpus-aware contextual mode의 장점을 주장합니다.

이 연구는 흥미롭지만 현재 해석은 제한해야 합니다.

2026년 preprint 단계
자체 training·benchmark recipe 영향
독립 reproduction 필요
encoding throughput·index lifecycle 비교 필요

의미 있는 연구 질문은 “diffusion이 무조건 낫다”가 아니라 pretraining attention·denoising objective가 retrieval geometry에 어떤 inductive bias를 주는가입니다.

11. Emerging Trend · Reasoning-aware Embedding

BRIGHT처럼 surface similarity만으로 어려운 query가 부각되면서, query를 바로 embed하지 않고 reasoning·expansion을 representation에 포함하려는 연구가 늘었습니다.

query
  → latent/explicit reasoning or reformulation
  → query embedding
  → retrieve

2025–2026 preprint 사례:

ReasonEmbed: reasoning capability를 embedding 학습에 주입
RITE: reasoning-intensive text embedding을 위한 학습 방향
LREM: e-commerce query에서 reasoning-enhanced embedding과 SFT·contrastive/RL 계열 최적화를 탐구

네 가지 구현 계열

방식	예시 개념	비용·위험
Explicit expansion	query 설명을 생성 후 embed	token·hallucination
Latent reasoning	hidden computation 후 vector	해석·재현 어려움
Reasoning distillation	teacher trace/answer로 student 학습	teacher bias
Retrieval-aware RL	rank reward로 query encoder 최적화	reward·stability

반드시 둘 Baseline

original query embedding
query + deterministic decomposition
query + generated reasoning
hybrid lexical+dense

Reasoning route는 BRIGHT만이 아니라 factual·entity·negation query에서 regression과 p95를 함께 확인합니다. 잘못된 expansion이 원래 entity를 바꾸면 lexical baseline보다 나빠질 수 있습니다.

12. Trend H · Text에서 Universal Multimodal Space로

ColPali와 Visual Document Retrieval

ICLR 2025의 ColPali는 page를 OCR text로만 바꾸는 대신 document page image에서 multi-vector를 만들고 query와 late interaction합니다. 표·layout·figure 같은 시각 정보를 retrieval signal로 보존합니다.

jina-embeddings-v4

2025년 발표된 jina-embeddings-v4는 text와 image를 한 architecture에서 처리하고 single-vector와 late-interaction multi-vector mode를 지원합니다. Task-specific LoRA adapter로 retrieval·STS·code 등의 behavior를 나눕니다.

Qwen3-VL-Embedding

2026년 report와 공개 model family는 text, image, visual document, video 입력을 공통 retrieval space에서 다루는 embedding과 대응 reranker를 제안합니다. 현재는 technical report/preprint이므로 자체 benchmark 결과와 독립 평가를 구분합니다.

Gemini Embedding 2

2026년 공개 model 설명은 text·image·video·audio·document를 하나의 embedding space로 매핑하는 multimodal 방향을 보여 줍니다. API model은 server-side revision과 reproducibility 제한도 함께 평가해야 합니다.

13. Multimodal의 핵심은 Modality 수가 아니다

다음 task는 모두 다른 geometry를 요구할 수 있습니다.

text query  → image
text query  → document page
image query → image
image query → text
video query → video
mixed text+image query → mixed corpus

MIEB는 38개 언어, 130개 task, 8개 category로 image/image-text embedding을 평가했고, 50개 model 비교에서 하나의 방법이 모든 category를 지배하지 않았다고 보고했습니다.

평가 matrix:

Query	Corpus	Metric	Critical slice
text	page image	nDCG/Recall	table·chart·layout
image	image	Recall	fine-grained object
text+image	mixed	nDCG	conflicting modality
text	video	Recall	temporal event
audio	mixed	Recall	language·noise

OCR+dense baseline, vision single-vector, vision multi-vector를 분리해야 vision과 late-interaction gain을 해석할 수 있습니다.

14. Single-vector에서 Multi-vector로의 재확장

Single-vector는 corpus-scale search에 유리하지만 긴 text와 image patch의 여러 facet을 한 점에 압축합니다. ColBERT·ColPali·Jina v4 같은 흐름은 late interaction으로 세부 match를 되살립니다.

universal coarse space:
  one vector/item → ANN top-N

fine interaction:
  token/patch vectors → MaxSim or learned matching → top-k

최근 방향은 single과 multi 중 하나를 고르는 것보다 둘을 한 model/cascade에서 지원하는 쪽입니다.

연구 report에 필요한 비용:

item당 vector 수
vector compression 방식
index bytes/item
query-item similarity operation 수
pruning·candidate depth
page/video length에 따른 latency

15. Trend I · Benchmark가 Capability를 더 잘게 쪼갠다

2024–2026 benchmark 흐름:

Benchmark	기존 평균에서 분리한 능력
MMTEB	언어·task coverage
BRIGHT	reasoning-intensive retrieval
LongEmbed	long input·target dispersion
ConTEB	contextual dependence
AIR-Bench	heterogeneous·dynamic evaluation
MIEB	image/image-text embedding task spectrum

이는 leaderboard를 더 많이 만들기 위한 것만이 아닙니다. embedding quality라는 큰 이름 아래 섞인 서로 다른 failure mode를 분해합니다.

다음 단계는 benchmark 수를 늘리는 것보다 provenance와 version, contamination audit, downstream utility를 표준 report에 넣는 일입니다.

16. Trend J · Embedding Privacy가 독립 문제로 부상

Vector는 원문을 알아볼 수 없는 실수 배열처럼 보이지만 안전한 anonymization이 아닙니다.

Text Embeddings Reveal (Almost) As Much As Text의 Vec2Text 연구는 dense embedding에서 원문을 복원하는 inversion attack을 보였습니다. 논문의 특정 32-token setting에서는 높은 exact reconstruction 결과가 보고됐습니다. 이 수치를 모든 model·길이에 일반화할 수는 없지만, vector를 raw text와 유사한 민감도로 다뤄야 한다는 충분한 경고입니다.

embedding access
  → nearest-neighbor / inversion model
  → sensitive text attributes or reconstruction

운영 원칙:

vector database에도 tenant ACL 적용
raw vector export 제한·감사
encryption at rest/in transit
delete propagation과 backup retention
external embedding API의 data policy 검토
membership·attribute inference red-team
model/version별 inversion risk 재평가

Dimension 축소나 quantization이 자동 privacy 보장이 되지는 않습니다.

17. Trend K · Retrieval Poisoning과 Representation Robustness

PoisonedRAG는 공격자가 corpus에 소수의 조작 text를 주입해 특정 query의 retrieval과 generation을 유도할 수 있음을 연구했습니다.

Embedding 단계의 공격 표면:

query와 지나치게 비슷한 keyword stuffing
invisible/Unicode token
instruction text가 embedding을 왜곡
adversarial paraphrase
duplicate flood로 top-k 점유
cross-tenant poisoned shared corpus

방어는 model 하나로 끝나지 않습니다.

ingestion provenance + content validation
  → lexical/dense anomaly features
  → diversity/duplicate control
  → reranker and evidence verification
  → generator citation/claim check

Clean benchmark가 높은 model이 poisoning에 강하다고 추론하지 않습니다.

18. 무엇이 아직 해결되지 않았는가

Universal과 Specialized의 경계

한 model이 모든 task·language·modality를 지원할수록 input instruction과 data mixture의 충돌이 커질 수 있습니다.

Corpus-dependent Embedding의 Lifecycle

Contextual embedding gain과 incremental update·tenant isolation의 trade-off가 충분히 표준화되지 않았습니다.

Reasoning의 Cost-normalized Evidence

Reasoning-aware model의 gain을 동일 parameter, token budget, latency에서 비교한 연구가 더 필요합니다.

Multimodal Qrel

Text relevance label만으로 layout·image·temporal evidence를 충분히 평가하기 어렵습니다.

Continual Update

새 지식·언어·domain을 추가하면서 기존 vector geometry와 index compatibility를 유지하는 문제가 남습니다.

Privacy–Utility Frontier

Inversion 저항, differential privacy, encryption/search 효율, retrieval utility의 공동 평가가 필요합니다.

19. 논문을 도입하기 전 Evidence Ladder

Level 1  저자 benchmark의 headline
Level 2  같은 protocol의 public reproduction
Level 3  내 hardware의 exact in-domain evaluation
Level 4  compressed ANN + filter + load test
Level 5  downstream RAG/online shadow
Level 6  privacy·poisoning·failure recovery

Preprint의 아이디어는 Level 1에서도 연구 후보가 될 수 있습니다. Production default로 채택하려면 더 높은 단계의 증거가 필요합니다.

20. 2026년 연구 실험 Matrix

research_matrix:
  backbone: [small_encoder, llm_encoder]
  data:
    - human_pairs
    - synthetic_pairs
    - synthetic_retrieve_relabel
  representation:
    - independent_single
    - situated_single
    - multi_vector
  query_policy:
    - direct
    - reasoning_only_for_hard_queries
  dimension: [256, 768]
  modality: [text, page_image]
  evaluation:
    - public_transfer
    - private_korean
    - reasoning_slice
    - context_slice
    - visual_slice
    - inversion_probe
    - poisoning_probe

전체 Cartesian product를 실행하라는 뜻이 아닙니다. 먼저 작은 baseline으로 각 축의 main effect를 보고, 유망한 interaction만 확장합니다.

21. 연구 동향을 읽는 Checklist

스스로 확인하기

LLM backbone의 embedding 점수가 높아도 작은 encoder가 production에서 더 나을 수 있는 이유는 무엇인가?
Synthetic data 연구에서 생성량보다 retrieve–relabel 단계가 중요한 이유는 무엇인가?
Situated embedding이 독립 chunk embedding보다 얻는 정보와 잃는 운영 단순성은 무엇인가?
Reasoning-aware embedding을 평가할 때 direct query embedding 외에 어떤 비용을 맞춰야 하는가?
Multimodal single-vector와 multi-vector gain을 어떻게 분리할 수 있는가?
Quantization이 embedding privacy를 자동 보장하지 않는 이유는 무엇인가?

다음 글에서는 이 시리즈의 원리를 frozen data, contrastive training, exact evaluation, ANN·compression, downstream gate로 연결해 재현 가능한 embedding 연구 pipeline을 만듭니다.