신경망 아키텍처 검색: 데이터에 최적화된 시각 모델을 자동으로 설계 및 훈련

Neural Architecture Search(NAS)는 신경망의 구조 자체를 자동으로 탐색하고 최적화하는 AutoML 기법으로, 사람이 직접 레이어 수, 필터 크기, 연결 방식을 설계하던 작업을 알고리즘이 대신 수행한다. 초기 NAS는 강화학습 기반 컨트롤러가 후보 아키텍처를 생성하고 각각 학습시켜 정확도를 보상으로 받는 방식이었으나, 수천 GPU-day의 비용 문제로 ENAS, DARTS, ProxylessNAS 같은 효율화 기법이 등장했다. 특히 DARTS는 이산적 아키텍처 선택 문제를 연속 공간으로 완화(differentiable relaxation)해 그래디언트 디센트로 탐색하고, 최근에는 supernet에서 가중치를 공유하면서 수천 개의 서브네트워크를 동시에 평가하는 weight-sharing 방식이 주류가 됐다. 여기에 타깃 하드웨어의 레이턴시·메모리 제약을 손실 함수에 포함시키는 hardware-aware NAS가 더해지면서, 단순히 정확도가 가장 높은 모델이 아니라 "특정 디바이스에서 가장 빠르면서 정확한" 모델을 자동으로 찾을 수 있게 됐다.

실무 관점에서 이 기술의 영향력은 모바일·엣지 비전 모델 개발 사이클을 크게 단축한다는 점에 있다. 기존에는 ResNet, EfficientNet 같은 표준 백본을 가져다 데이터셋에 맞춰 파인튜닝하고, 양자화·프루닝으로 추론 속도를 맞추는 데 수 주가 걸렸지만, NAS 파이프라인은 데이터셋과 타깃 하드웨어(예: Jetson Nano, iPhone NPU, Coral TPU)를 입력하면 해당 환경에서 파레토 최적인 모델을 자동으로 산출한다. Google의 MnasNet이나 EfficientNet-Lite, Meta의 FBNet, 그리고 Vertex AI·SageMaker의 NAS 서비스는 이미 산업 현장에서 검증된 사례이며, 동일 정확도에서 추론 속도를 2~5배 개선하거나 동일 레이턴시에서 mAP를 수 포인트 끌어올린 결과를 다수 보여준다. 즉, 비전 모델을 다루는 백엔드·MLOps 엔지니어 입장에서는 "모델 선택"이라는 의사결정 자체가 점차 자동화 가능한 영역으로 옮겨가고 있다는 의미다.

다만 한국 개발자들이 NAS를 도입할 때 반드시 짚어야 할 현실적 포인트가 있다. 첫째, NAS는 여전히 탐색 비용이 비싸다. weight-sharing 기법으로 많이 줄었지만 supernet 학습에 수십~수백 GPU 시간이 필요하므로, 작은 데이터셋이나 일회성 프로젝트에는 잘 튜닝된 EfficientNet/YOLO 계열 + 양자화 조합이 더 합리적일 수 있다. 둘째, 타깃 하드웨어의 레이턴시 측정이 정확해야 한다. FLOPs는 실측 추론 시간과 상관관계가 약하기 때문에, 실제 디바이스 또는 신뢰할 수 있는 룩업 테이블(LUT)로 측정해야 NAS 결과가 의미를 갖는다. 셋째, 도출된 아키텍처가 비표준 구조라 ONNX·TensorRT·CoreML 변환 시 지원되지 않는 연산자가 나올 수 있으므로, 탐색 공간(search space)을 배포 환경이 지원하는 연산자로 미리 제한하는 것이 안전하다. 당장 실험해 보고 싶다면 Vertex AI Neural Architecture Search, AutoKeras, Microsoft NNI, 또는 Hugging Face의 AutoTrain을 출발점으로 삼고, 자체 구축이 필요하다면 Once-for-All(OFA) 네트워크 기반 오픈소스 구현부터 검토할 것을 권한다.