LLM 아키텍처 최신 동향: KV 공유, mHC, 압축 주의

최근 Gemma 4, DeepSeek V4 등 차세대 오픈웨이트 LLM들이 공통적으로 채택하는 핵심 아키텍처 트렌드는 장문 컨텍스트(long-context) 처리 비용을 줄이기 위한 KV 캐시 최적화 기법들입니다. 전통적인 트랜스포머는 어텐션 계산을 위해 모든 레이어와 헤드마다 Key/Value 텐서를 캐싱해야 하는데, 컨텍스트 길이가 길어질수록 메모리 사용량이 선형적으로 증가하여 추론 비용의 주요 병목이 됩니다. KV Sharing은 인접한 여러 레이어가 동일한 KV 캐시를 공유하도록 하여 메모리를 절반 이하로 줄이는 기법이며, mHC(multi-head compression) 또는 DeepSeek의 MLA(Multi-head Latent Attention) 계열 기법은 KV를 저차원 잠재 공간으로 압축한 뒤 필요 시 복원하는 방식으로 작동합니다. Compressed Attention은 여기에 더해 토큰 단위 압축(sliding window + global token, NSA 등)을 결합해 어텐션 연산 자체를 O(n²)에서 거의 선형 수준으로 끌어내립니다.

엔지니어 입장에서 가장 체감되는 변화는 **동일 GPU에서 다룰 수 있는 컨텍스트 길이가 2~8배 늘어난다**는 점입니다. 예를 들어 기존 Llama 3 70B를 80GB H100 한 장에서 추론할 때 약 32K 토큰이 한계였다면, MLA를 적용한 DeepSeek V4 수준의 모델은 동일 환경에서 128K~256K 토큰을 안정적으로 처리하면서도 TTFT(Time-To-First-Token)와 throughput이 오히려 개선됩니다. 이는 RAG 파이프라인에서 청킹(chunking) 전략을 단순화할 수 있게 해주고, 코드베이스 전체를 한 번에 컨텍스트로 넣는 "long-context first" 워크플로우를 비용 측면에서 현실적으로 만들어줍니다. 또한 vLLM, SGLang, TensorRT-LLM 같은 추론 엔진들이 이미 MLA/KV Sharing을 1급 시민으로 지원하기 시작했기 때문에, 자체 호스팅 환경에서도 별도 튜닝 없이 효과를 볼 수 있습니다.

개발자가 지금 챙겨야 할 행동 항목은 세 가지입니다. 첫째, **모델 선택 기준을 파라미터 수에서 "유효 KV 메모리"로 전환**해야 합니다. 동일한 70B라도 GQA(Grouped Query Attention)만 쓰는 모델과 MLA를 쓰는 모델은 장문에서의 실제 비용이 3배 이상 차이날 수 있습니다. 둘째, 자체 fine-tuning을 계획 중이라면 베이스 모델의 어텐션 구조를 확인하고 LoRA/QLoRA가 MLA의 잠재 투영(latent projection) 레이어와 호환되는지 검증해야 합니다(일부 PEFT 라이브러리는 아직 MLA 어댑터를 완전히 지원하지 않습니다). 셋째, RAG 시스템을 운영 중이라면 long-context 모델로의 마이그레이션 PoC를 시도해볼 가치가 있습니다 — 검색 정확도 이슈로 어쩔 수 없이 채택했던 복잡한 reranking, hierarchical retrieval 파이프라인을 단순한 "넓은 컨텍스트 + 직접 추론" 구조로 대체하면 운영 복잡도와 latency가 동시에 줄어드는 경우가 많아지고 있습니다.