로보플로우를 활용한 허키커 플레이어 추적

이 글은 Roboflow Workflows 플랫폼에서 RF-DETR과 ByteTrack을 결합해 하키 경기 영상에서 선수를 탐지하고 추적하는 파이프라인 구축 방법을 다룬다. RF-DETR은 Roboflow가 공개한 DETR(DEtection TRansformer) 계열의 객체 탐지 모델로, 트랜스포머 기반 어텐션 메커니즘을 통해 NMS(Non-Maximum Suppression) 같은 후처리 없이 end-to-end로 바운딩 박스를 예측한다. 여기에 ByteTrack 알고리즘이 결합되어 프레임 간 객체의 동일성을 유지하는데, ByteTrack의 핵심은 기존 추적기들이 버리던 낮은 신뢰도 탐지(low-score detection)까지 활용해 가려짐(occlusion) 상황에서도 ID 스위칭을 줄이는 점이다. 선수들이 빠르게 충돌하고 겹치는 하키 경기 특성상 이 조합은 단순 탐지보다 훨씬 강건한 트래킹 결과를 제공하며, 칼만 필터 기반 모션 예측과 IoU 매칭을 통해 이동 궤적(trail) 시각화까지 가능하다.

엔지니어 입장에서 이 워크플로우의 가장 큰 가치는 컴퓨터 비전 파이프라인 구축의 진입장벽이 낮아졌다는 점이다. 과거에는 YOLO 학습, DeepSORT 통합, OpenCV 후처리를 직접 코드로 엮어야 했지만, Roboflow Workflows는 노코드/로우코드 블록 조합으로 모델 추론, 추적, 시각화를 파이프라인화한다. 이는 스포츠 분석 SaaS, 리테일 매장 동선 분석, 제조 라인 작업자 안전 모니터링, 교통 흐름 분석 등 다양한 도메인에 그대로 응용 가능하며, 특히 MLOps 인프라 없이 PoC를 빠르게 검증해야 하는 스타트업이나 신사업 팀에 유리하다. 또한 RF-DETR이 오픈소스로 공개되어 있어 자체 환경에서 fine-tuning 후 ONNX/TensorRT로 배포하는 경로도 열려 있다.

개발자가 실무에 적용하려면 몇 가지 고려사항을 알아둘 필요가 있다. 첫째, 실시간 처리가 필요한 경우 RF-DETR의 추론 비용을 측정하고 GPU 사양에 맞는 모델 사이즈(Base/Large)를 선택해야 하며, 30fps 이상이 필요하다면 YOLOv8/v11 + ByteTrack 조합과 성능을 벤치마크해보는 것이 좋다. 둘째, ByteTrack 자체는 외형 특징(re-ID)을 쓰지 않기 때문에 유니폼이 비슷한 팀 스포츠에서 장기간 ID 유지가 어려울 수 있어, BoT-SORT나 StrongSORT 같은 re-ID 기반 추적기를 대안으로 검토해볼 만하다. 셋째, Roboflow Workflows는 편리하지만 벤더 종속성이 있으므로, 프로덕션 단계에서는 supervision 라이브러리 등을 활용해 자체 파이프라인으로 이식할 수 있는 구조로 설계하는 것이 안전하다. 직접 도메인 데이터셋을 라벨링하고 RF-DETR을 파인튜닝해보는 것이 가장 빠른 학습 경로다.