현대 LLM에서 주의 변형을 시각적으로 안내하는 가이드

현대 대규모 언어 모델(LLM)의 성능과 효율성을 결정짓는 핵심 요소 중 하나는 어텐션 메커니즘의 설계입니다. 기본이 되는 Multi-Head Attention(MHA)은 입력 시퀀스의 모든 토큰 쌍 간 관계를 병렬적으로 계산하는 방식으로, Transformer 아키텍처의 근간을 이룹니다. 그러나 MHA는 시퀀스 길이에 대해 O(n²)의 메모리·연산 복잡도를 가지므로, 긴 컨텍스트를 처리할 때 KV 캐시가 급격히 커지는 병목이 발생합니다. 이를 해결하기 위해 Grouped-Query Attention(GQA)은 여러 쿼리 헤드가 하나의 키-밸류 헤드를 공유하도록 하여 KV 캐시 크기를 수분의 일로 줄이면서도 품질 저하를 최소화했고, Llama 2·3 등에서 표준으로 채택되었습니다. DeepSeek-V2에서 도입된 Multi-head Latent Attention(MLA)은 한 단계 더 나아가, 키와 밸류를 저차원 잠재 공간으로 압축한 뒤 추론 시 복원하는 방식으로 KV 캐시를 극단적으로 줄이면서 MHA 수준의 표현력을 유지합니다.

스파스 어텐션과 하이브리드 아키텍처도 실용적 관점에서 주목해야 할 흐름입니다. 슬라이딩 윈도우 어텐션은 각 토큰이 인접한 일정 범위의 토큰만 참조하도록 제한하여 연산량을 O(n)에 가깝게 낮추며, Mistral 시리즈가 대표적입니다. 최근에는 전체 컨텍스트를 파악하는 글로벌 어텐션 레이어와 로컬 슬라이딩 윈도우 레이어를 번갈아 쌓는 하이브리드 구조가 주류로 자리잡고 있으며, Gemma 2나 Command R 등이 이 접근법을 사용합니다. 또한 Mamba 같은 SSM(State Space Model) 블록과 어텐션 블록을 혼합한 Jamba 스타일 아키텍처도 등장하여, 매우 긴 시퀀스에서의 추론 효율을 극대화하는 실험이 활발히 진행 중입니다.

개발자와 엔지니어에게 이러한 어텐션 변형들의 실질적 영향은 모델 서빙 비용과 응답 지연 시간에 직접 연결됩니다. GQA나 MLA를 채택한 모델은 동일 GPU 메모리에서 더 긴 컨텍스트 윈도우를 지원하거나 더 높은 배치 크기로 서빙이 가능하므로, 추론 인프라를 설계할 때 모델의 어텐션 방식에 따라 vLLM, TensorRT-LLM 등 서빙 엔진의 KV 캐시 설정을 최적화해야 합니다. 예를 들어 MLA 기반 DeepSeek 모델을 서빙할 때는 KV 캐시 메모리 할당 전략이 GQA 모델과 본질적으로 다르며, 이를 이해하지 못하면 GPU 메모리를 비효율적으로 사용하게 됩니다.

실무적으로 개발자가 취해야 할 행동은 세 가지입니다. 첫째, 모델 선택 시 단순 벤치마크 점수가 아니라 어텐션 아키텍처를 확인하여 자신의 서빙 환경(GPU 메모리, 예상 컨텍스트 길이, 동시 요청 수)에 맞는 모델을 선택해야 합니다. 둘째, vLLM이나 SGLang 같은 서빙 프레임워크를 사용할 때 각 어텐션 방식에 최적화된 커널(FlashAttention, PagedAttention 등)이 제대로 활성화되어 있는지 점검해야 합니다. 셋째, RAG나 긴 문서 처리 파이프라인을 구축할 때, 슬라이딩 윈도우 어텐션 모델은 로컬 컨텍스트에 강하지만 먼 거리의 정보 참조에 약할 수 있으므로, 청크 크기와 검색 전략을 어텐션 특성에 맞춰 조정하는 것이 품질 향상의 핵심입니다.