연구진, 12.5%의 전문가만으로도 거의 완전한 성능을 달성하는 AI 모델 개발

기존 MoE(Mixture-of-Experts) 모델은 입력 토큰을 라우터가 동적으로 여러 전문가(expert) 네트워크에 분배하는 방식으로 작동하며, 각 전문가는 명사·동사·구두점 같은 토큰 단위의 문법적 패턴을 학습하는 경향이 있었습니다. 이 때문에 추론 시 일부 전문가만 활성화되더라도 모델 전체를 메모리에 적재해야 했고, 어떤 전문가를 잘라낼지 예측하기 어려웠습니다. Allen Institute for AI와 UC Berkeley 연구진이 발표한 EMO는 라우팅 목표 자체를 도메인 단위(코드, 수학, 법률, 의료 등 콘텐츠 영역)로 재설계해 전문가가 토큰 타입이 아니라 주제 영역에 특화되도록 학습시킵니다. 그 결과 작업 도메인과 무관한 전문가 3/4(87.5%)를 제거해도 성능 저하가 약 1%p에 그치며, 실질적으로는 12.5%의 파라미터만 메모리에 올려도 풀모델에 근접한 품질을 얻을 수 있게 됩니다.

개발자/엔지니어 관점에서 가장 큰 영향은 "거대 모델 = 거대 GPU"라는 등식이 깨질 수 있다는 점입니다. 그동안 MoE 기반 LLM(Mixtral, DeepSeek-V3 등)은 추론 시 활성 파라미터는 적지만 전체 가중치는 모두 VRAM에 상주해야 했기에 사실상 데이터센터 전용이었습니다. EMO 방식이 검증되면 도메인 특화 서비스(코드 어시스턴트, 법률 검색, 의료 챗봇 등)에서는 해당 도메인의 전문가만 로드하는 형태로 단일 워크스테이션이나 엣지 디바이스에서도 70B~수백B급 모델을 실용 속도로 돌릴 수 있게 됩니다. 또한 동일 GPU 클러스터에서 더 큰 배치를 처리하거나, 멀티테넌시 환경에서 사용자/요청별로 다른 도메인 전문가 묶음을 핫스왑하는 운영 패턴도 현실화됩니다. 이는 모델 서빙 인프라 비용 구조와 LLM 애플리케이션 아키텍처 설계 전반에 직접적인 영향을 미칠 수 있는 변화입니다.

당장 프로덕션에 도입할 단계는 아니지만, 한국 개발자라면 몇 가지를 점검해 둘 가치가 있습니다. 첫째, 자사 서비스의 트래픽이 특정 도메인(예: 사내 코드베이스 Q&A, 특정 산업군 문서)으로 편향되어 있는지 분석해 두면, 향후 도메인 전문가 단위 프루닝(pruning)·디스틸레이션을 적용할 때 ROI를 가늠하기 쉽습니다. 둘째, vLLM·SGLang·TensorRT-LLM 같은 서빙 엔진의 MoE 전문가 오프로딩/서브셋 로딩 기능을 추적하고, 모델 로딩 파이프라인을 "전체 적재"가 아닌 "필요한 전문가만 적재"하도록 추상화해 두면 마이그레이션 비용이 줄어듭니다. 셋째, EMO 논문과 후속 오픈웨이트 공개 여부(AI2는 OLMo 계열로 공개 전통이 있음)를 모니터링하면서, 라우터의 도메인 분류 정확도와 도메인 경계가 모호한 멀티홉 질의(예: "이 코드의 법적 라이선스 영향")에서의 품질 저하 가능성을 자체 벤치마크로 검증할 준비를 해두는 것이 좋습니다.