LLM 아키텍처 이해를 위한 내 워크플로우

새로운 오픈 웨이트 LLM이 쏟아지는 시대에, 모델 아키텍처를 체계적으로 학습하는 워크플로우가 주목받고 있습니다. 일반적인 접근은 모델 카드와 기술 보고서를 먼저 훑어 핵심 혁신(예: MoE 구조, GQA, RoPE 변형, 슬라이딩 윈도우 어텐션 등)을 파악하고, 이후 HuggingFace에 공개된 `modeling_xxx.py` 파일을 직접 읽으며 `forward` 함수의 텐서 흐름을 추적하는 방식입니다. 이 과정에서 기존 Llama, Mistral 등 레퍼런스 아키텍처와 diff를 비교하면 "무엇이 새로운가"가 명확해지며, 필요하면 주피터 노트북으로 작은 텐서 샘플을 통과시켜 각 레이어의 입출력 shape를 눈으로 확인하는 것이 이해도를 크게 높여줍니다.

엔지니어 입장에서 이런 워크플로우는 단순한 지적 호기심을 넘어 실무 의사결정에 직접 영향을 줍니다. 예를 들어 MoE 모델을 서빙하려면 활성 파라미터와 총 파라미터의 차이를 이해해야 VRAM 용량과 배치 전략을 제대로 세울 수 있고, 긴 컨텍스트 모델을 도입할 때도 어텐션 변형 방식에 따라 KV 캐시 메모리 요구량이 수 배씩 차이 납니다. 또한 양자화·파인튜닝·LoRA 적용 가능성도 아키텍처 구성 요소(예: RMSNorm 위치, 임베딩 공유 여부)에 따라 달라지므로, 모델을 "블랙박스"로만 취급하면 프로덕션 단계에서 예기치 않은 비용·성능 이슈에 부딪히게 됩니다.

한국어권 개발자라면 특히 토크나이저 구조와 어휘 분포까지 함께 살펴보는 습관을 들이는 것이 좋습니다. 같은 파라미터 규모라도 한국어 토큰 효율이 낮은 모델은 동일한 입력에도 더 많은 토큰을 소비해 비용과 지연 시간이 증가합니다. 학습 루틴으로는 (1) 신규 모델 공개 시 공식 블로그·논문 요약본을 읽고, (2) `transformers` 라이브러리 PR을 추적해 구현 변경점을 확인하며, (3) Sebastian Raschka, Lilian Weng 같은 저자의 아키텍처 비교 글을 참고하는 것이 효과적입니다. 이렇게 구조를 깊이 있게 파악해두면 새로운 모델이 등장할 때마다 빠르게 평가·도입 판단을 내릴 수 있는 실무 역량이 누적됩니다.