제약된 공공 부문 환경에서 AI 구현하기

공공 부문의 AI 도입은 보안, 거버넌스, 운영 제약이라는 삼중 장벽에 부딪혀 왔다. 범용 대형 언어 모델(LLM)은 수백억~수조 개의 파라미터를 가지며 막대한 GPU 자원과 외부 클라우드 API 호출을 요구하는데, 이는 망 분리 환경이나 기밀 데이터를 다루는 정부 기관에서는 사실상 사용이 불가능하다. 이에 대한 대안으로 부상한 것이 특정 도메인에 특화된 소형 언어 모델(SLM, Small Language Model)이다. SLM은 일반적으로 1B~10B 파라미터 규모로 설계되며, 도메인 특화 데이터로 파인튜닝되어 범용성은 낮지만 특정 업무(문서 분류, 민원 응대, 법령 검색 등)에서는 LLM에 근접하거나 능가하는 성능을 보인다. 핵심 기술로는 지식 증류(Knowledge Distillation), LoRA/QLoRA 기반 파라미터 효율적 파인튜닝(PEFT), 4비트/8비트 양자화(Quantization)가 활용되어 온프레미스 GPU 한두 장, 심지어 CPU 인퍼런스로도 실용적인 지연 시간을 확보할 수 있다.

엔지니어 관점에서 SLM 기반 접근은 아키텍처 설계의 패러다임을 바꾼다. 기존에는 OpenAI API나 Bedrock 같은 외부 SaaS에 의존하는 RAG 파이프라인이 기본이었다면, 공공 부문에서는 vLLM, Ollama, llama.cpp 같은 자체 호스팅 추론 엔진 위에 Phi-3, Gemma, Llama 3.1 8B 등의 오픈 모델을 배포하고, 기관 내부 지식베이스와 연결된 폐쇄망 RAG를 구축하는 형태가 주류가 된다. 이때 모델 서빙뿐 아니라 감사 로그(Audit Log), 프롬프트 인젝션 방어, PII 마스킹, 모델 버전 관리(MLflow/Weights & Biases의 온프레미스 대체)까지 엔지니어가 직접 책임져야 하므로 MLOps 역량의 범위가 크게 확장된다. 또한 단일 범용 모델이 아닌 업무별로 분화된 여러 SLM을 라우팅하는 Mixture-of-Experts 스타일의 오케스트레이션 레이어 설계 경험이 중요해진다.

국내 개발자가 주목해야 할 실무 포인트는 세 가지다. 첫째, 공공 프로젝트에 참여한다면 CSAP(클라우드 보안 인증)나 망 분리 요건을 충족하는 배포 패턴—예컨대 NVIDIA Triton + Kubernetes 기반 에어갭 환경, 혹은 NPU/Furiosa 같은 국산 AI 가속기 지원—에 익숙해져야 한다. 둘째, 파라미터 수가 아닌 "도메인 적합성과 총소유비용(TCO)" 기준으로 모델을 평가하는 감각이 필요하다. 벤치마크 점수보다는 자체 평가셋(도메인 QA, 유해성 필터링, 환각률 측정)을 구축해 지속적으로 검증하는 프로세스가 핵심 경쟁력이 된다. 셋째, 공공 데이터 특성상 학습 데이터 수집·전처리 단계에서 개인정보보호법, 공공데이터법, 그리고 곧 시행될 AI 기본법의 영향권에 들어가므로, 법·제도 이해를 갖춘 "거버넌스 인지형 엔지니어"가 차별화 요소가 된다. 단기적으로는 Hugging Face의 한국어 SLM(KULLM, Polyglot-Ko, EXAONE 등)을 대상으로 QLoRA 파인튜닝과 양자화 배포를 직접 실습해 보는 것이 가장 빠른 진입 경로다.