파이토치에서 프로파일링 (Part 1): torch.profiler 사용자 가이드

torch.profiler는 PyTorch 1.8.1부터 정식 도입된 내장 성능 프로파일링 도구로, 모델 학습 및 추론 과정에서 발생하는 연산이 CPU와 GPU 자원을 어떻게 소비하는지 세밀하게 측정한다. 내부적으로는 CPU 측의 PyTorch 연산자 호출과 GPU 측의 CUDA 커널 실행을 동시에 추적(trace)하며, 각 연산의 실행 시간, 호출 횟수, 메모리 할당량을 기록한다. 기본 사용법은 `torch.profiler.profile()` 컨텍스트 매니저로 측정 구간을 감싸고, `activities`에 `ProfilerActivity.CPU`와 `ProfilerActivity.CUDA`를 지정하는 방식이다. 측정이 끝나면 `key_averages().table()`로 연산별 통계를 표 형태로 출력하거나, `tensorboard_trace_handler`를 통해 TensorBoard나 Chrome trace viewer에서 타임라인을 시각적으로 분석할 수 있다. 특히 `schedule` 파라미터로 wait/warmup/active 단계를 나눠, 초기 워밍업 구간을 제외한 안정적인 구간만 선택적으로 측정할 수 있다는 점이 cProfile 같은 범용 도구와 차별화되는 부분이다.

실무적으로 이 도구가 중요한 이유는, 딥러닝 학습에서 성능 병목이 직관과 다른 곳에서 발생하는 경우가 많기 때문이다. 흔히 GPU 연산이 느릴 것이라 추측하지만, 실제로는 데이터 로딩(DataLoader) 지연, CPU-GPU 간 동기화 대기, 비효율적인 텐서 복사나 작은 커널의 잦은 실행(launch overhead)이 진짜 원인인 경우가 빈번하다. torch.profiler는 이런 숨은 병목을 연산자 단위로 드러내 주기 때문에, 막연한 추측 대신 데이터에 근거한 최적화가 가능해진다. GPU 자원이 곧 비용인 클라우드 학습 환경에서는 병목 한 곳을 해소하는 것만으로도 학습 시간과 인프라 비용을 직접적으로 절감할 수 있어, 엔지니어 입장에서 ROI가 매우 높은 작업이다.

엔지니어가 실제로 챙겨야 할 부분은 몇 가지로 정리된다. 첫째, GPU 시간을 측정할 때는 CUDA가 비동기로 실행되므로 정확한 수치를 위해 동기화가 필요하다는 점을 인지하고, 가능하면 profiler가 제공하는 트레이스 기반 측정을 신뢰하는 것이 좋다. 둘째, 측정 오버헤드를 줄이기 위해 전체 학습이 아니라 몇 개의 스텝만 schedule로 샘플링하고, warmup 구간을 반드시 두어 초기 컴파일·캐시 워밍업이 결과를 왜곡하지 않도록 해야 한다. 셋째, 텍스트 테이블만 보지 말고 TensorBoard나 Perfetto/Chrome trace viewer로 타임라인을 시각화하면 CPU와 GPU의 유휴 구간(gap)을 한눈에 파악할 수 있어 병목 진단이 훨씬 수월하다.

제목이 "Part 1: 초보자 가이드"인 만큼 이 글은 도구의 기본 사용법에 초점을 맞춘 입문 단계로 보이며, 후속 편에서는 `record_function`을 활용한 사용자 정의 구간 측정, 메모리 프로파일링, 분산 학습 환경에서의 프로파일링 등 심화 주제가 다뤄질 가능성이 높다. 입문자라면 우선 자신의 학습 스크립트에 profiler를 한 번 붙여 보고 상위 10개 연산이 무엇인지 확인하는 것에서 시작하는 것을 권한다. 또한 PyTorch 2.x를 사용한다면 `torch.compile`과 함께 프로파일링하여 컴파일 전후의 커널 융합 효과를 비교해 보는 것도, 최신 최적화 흐름을 체감하는 좋은 학습 경로가 될 것이다.