아마존 노바 포지에서 하이퍼파라미터 최적화의 예술과 과학

파인튜닝의 핵심 난제는 "특정 도메인 성능 향상"과 "모델의 범용 능력 유지" 사이의 균형이다. 모델을 좁은 작업에 과하게 맞추면 해당 영역 점수는 오르지만, 기존에 잘하던 일반적인 추론·언어 능력이 무너지는 catastrophic forgetting(파국적 망각)이 발생한다. Amazon Nova Forge의 하이퍼파라미터 최적화는 이 트레이드오프를 다루는 방법론을 다룬다. 출발점은 데이터와 작업 성격에 맞는 커스터마이징 전략 선택이다. 풀 파인튜닝, LoRA 같은 PEFT(파라미터 효율적 튜닝), 또는 연속 사전학습(continued pretraining) 중 무엇을 고를지가 결과의 상한선을 결정한다. 그다음 학습률(learning rate), 배치 크기(batch size), 체크포인팅 같은 핵심 파라미터를 조정하는데, 특히 학습률은 너무 높으면 기존 가중치를 과격하게 덮어써 범용 능력이 붕괴하고, 너무 낮으면 도메인 학습이 일어나지 않는 가장 민감한 변수다.

기술적으로 보면 체크포인팅 전략이 단순한 저장 기능을 넘어선 안전장치 역할을 한다. 학습 중간중간 체크포인트를 남기고 각 시점의 모델을 도메인 성능과 일반 벤치마크 양쪽에서 평가하면, 도메인 점수는 계속 오르지만 범용 점수가 꺾이기 시작하는 변곡점을 포착할 수 있다. 즉 "언제 학습을 멈출 것인가"를 데이터로 판단하게 해준다. 글이 강조하는 "조기에 잡아내야 할 흔한 실수들"은 대부분 이 모니터링 부재에서 비롯된다. 검증 손실(validation loss)이 발산하거나, 도메인 데이터에 과적합되거나, 학습률 스케줄이 부적절해 수렴하지 못하는 상황을 끝까지 모르고 GPU 시간을 전부 소진하는 것이 대표적인 낭비 패턴이다.

엔지니어 입장에서 실질적 영향은 비용과 직결된다. 대형 모델 파인튜닝 한 번의 학습 실행은 상당한 컴퓨팅 비용이 들기 때문에, 실패한 런 하나가 곧 예산 손실이다. 따라서 "끝나고 나서 평가"가 아니라 "학습 중 지속 평가"로 패러다임을 바꾸는 것이 핵심 교훈이다. 한국의 SW 엔지니어들이 사내 도메인(법률, 의료, 금융, 고객 상담 등) 특화 LLM을 구축할 때, 도메인 테스트셋만 보고 성능을 판단하는 함정에 빠지기 쉬운데, 반드시 일반 능력 회귀(regression)를 측정하는 별도 벤치마크를 병행해야 한다는 점을 시사한다.

실무 액션 관점에서 정리하면 세 가지다. 첫째, 파인튜닝 전에 도메인 평가셋과 범용 평가셋을 모두 준비하고, 학습 시작 전 베이스라인 점수를 반드시 기록해 둔다. 둘째, 데이터 규모가 작다면 풀 파인튜닝보다 LoRA 등 PEFT를 우선 검토해 기존 능력 손상 위험과 비용을 동시에 낮춘다. 셋째, 학습률은 보수적으로 시작하고 체크포인트별 두 평가 지표를 함께 추적해 변곡점에서 조기 종료(early stopping)하는 절차를 워크플로에 내재화한다. 이렇게 하면 비싼 실패를 피하면서 "도메인 성능 향상과 범용 능력 유지"라는 두 마리 토끼를 현실적으로 잡을 수 있다.