적응형 병렬 추론의 기술적 탐구

Adaptive Parallel Reasoning(APR)은 LLM의 추론 단계에서 모델이 스스로 "언제 병렬화할지, 몇 개의 스레드를 띄울지, 어떻게 조율할지"를 결정하도록 만드는 패러다임이다. 기존의 순차적 reasoning은 출력 토큰 길이가 길어질수록 컨텍스트 한계와 context-rot 문제, 지연시간 증가에 부딪혔고, Self-Consistency·Best-of-N·Tree-of-Thoughts·MCTS 같은 병렬화 기법들도 모델 외부에서 병렬 구조를 강제했기 때문에 단순 산수 문제와 복잡한 수학 문제에 같은 분기 전략을 적용하는 비효율을 낳았다. APR은 이를 해결하기 위해 모델이 `<Parallel>`, `<thread>` 같은 특수 토큰을 직접 출력해 제어 흐름을 결정하도록 학습시키며, 이를 fork-join 형태의 map-reduce로 실행한다. 실행 엔진 측면에서는 Multiverse처럼 KV 캐시를 스티칭해 재사용하되 비표준 attention/포지션 인코딩과 비표준 메모리 관리로 학습·운영 부담을 지는 방식과, ThreadWeaver처럼 클라이언트단에서 출력만 concat한 뒤 두 번째 prefill을 돌려 엔진을 손대지 않는 방식의 두 학파로 갈린다.

학습 측면에서는 SFT만으로는 병렬 구조가 안정적으로 발현되지 않아 RL 보상 설계가 핵심이 된다. 단순히 스레드 수에 보상을 주면 무의미한 짧은 스레드를 양산하는 reward hacking이 발생하므로, ThreadWeaver는 "critical path(인과적으로 의존하는 가장 긴 토큰 경로)"를 wall-clock 지연의 대용 지표로 삼아 `1 - L_critical / L_total` 형태의 효율 보상을 도입했고, Parallel-R1은 alternating schedule로 병렬 구조 사용률을 13.6%→63%까지 끌어올렸다. 또한 정답을 맞히지 못한 trajectory에 병렬화 보상을 주는 것은 모델을 잘못된 방향으로 학습시키므로, `R = 1(정답) + 1(정답) × 병렬화 지표` 형태로 correctness가 효율 보상의 게이트 역할을 하도록 설계하는 것이 공통된 합의다. 다만 보상을 200 step 이후 제거하면 모델이 다시 순차 추론으로 collapse하는 현상이 관찰되어, autoregressive pretraining prior와 병렬 구조 간의 본질적 충돌인지 보상 안정성 문제인지에 대한 논쟁이 남아있다.

개발자·엔지니어 관점에서 APR이 의미하는 바는 분명하다. 수십 분에서 수 시간이 걸리던 long-horizon reasoning(코드 에이전트, 복잡한 수학·계획 수립)에서 정확도를 유지하면서 end-to-end latency를 의미 있게 줄일 수 있는 길이 열린다는 점이다. 특히 ThreadWeaver 계열의 엔진 비변경 접근은 vLLM·SGLang 같은 기존 인프라에 그대로 얹을 수 있어 자체 추론 서비스를 운영하는 팀에게 실용적이다. 반면 Multiverse 계열의 KV 캐시 스티칭은 처리량(throughput)이 제한되고 다른 요청이 참조 캐시를 evict하면 재-prefill이 발생하는 등 운영상 fragility가 있어, 자체 서빙 스택을 깊이 커스터마이즈할 여력이 없다면 채택을 신중히 평가해야 한다. 또한 RadixAttention 기반 prefix 공유 캐시가 APR의 효율성에 결정적이므로, SGLang 같은 prefix-aware 엔진을 활용하는지 점검할 필요가 있다.

실무 액션 관점에서는 세 가지를 권한다. 첫째, agent·RAG·코드 보조 같이 독립적인 sub-task로 분해 가능한 워크로드에서 병렬 reasoning이 실제 latency·정확도에 어떤 영향을 주는지 critical path 길이로 측정·벤치마킹할 것. 단순한 토큰 수가 아닌 wall-clock 기준 지표를 설계해야 한다. 둘째, 자체 모델을 파인튜닝한다면 SFT로 특수 토큰 포맷을 가르친 뒤 RL에서 correctness-gated 효율 보상을 적용하되, 보상 제거 시 collapse 가능성을 고려해 학습 후반부에도 약한 incentive를 유지하는 것이 안전하다. 셋째, 현재 APR은 깊이 1의 flat 병렬 구조에 머물러 있고, Recursive Language Models처럼 재귀적 병렬화·하드웨어-aware 분기 결정이 차세대 과제로 남아있으므로, 아키텍처를 설계할 때 단일 GPU·단일 엔진 가정에 묶이지 말고 분산 추론 서빙·동적 배치와 호환되는 클라이언트단 오케스트레이션 레이어를 분리해두는 것이 장기적으로 유리하다.