에틴 리랭커 가족 소개

Ettin Reranker Family는 Johns Hopkins University가 공개한 Ettin 인코더-디코더 페어 모델 계열을 기반으로 한 리랭커(reranker) 모델군이다. 리랭커는 RAG(검색 증강 생성)나 시맨틱 서치 파이프라인에서 1차 검색(BM25 또는 dense retrieval)으로 가져온 후보 문서들을 쿼리와의 관련성에 따라 재정렬하는 cross-encoder 방식 모델이다. Bi-encoder가 쿼리와 문서를 독립적으로 임베딩해 벡터 유사도만 계산하는 것과 달리, cross-encoder는 (쿼리, 문서) 쌍을 함께 입력받아 토큰 단위 attention으로 정밀한 관련성 점수를 산출하기 때문에 정확도가 훨씬 높다. Ettin은 동일한 데이터·학습 레시피로 인코더와 디코더를 1:1 매칭해 학습한 점이 특징이며, 17M부터 1B 파라미터까지 다양한 사이즈로 제공되어 ModernBERT 등 기존 인코더 모델과의 공정한 비교가 가능하다.

엔지니어 관점에서 핵심 임팩트는 "검색 품질 향상 vs. 레이턴시" 트레이드오프를 다시 설계할 수 있다는 점이다. 그동안 한국어/영어 검색 시스템에서 주로 쓰이던 BAAI/bge-reranker, Cohere Rerank, Jina Reranker 같은 옵션에 더해 오픈소스로 풀 사이즈 라인업이 추가되면서, top-100 → top-10 재정렬 단계에서 정확도와 비용을 세밀하게 조율할 수 있게 됐다. 특히 17M·32M 같은 초소형 모델은 CPU 인퍼런스로도 실시간 응답이 가능해 사내 위키 검색이나 고객 지원 봇처럼 GPU 예산이 빠듯한 환경에 적합하고, 400M·1B 모델은 법률·의료처럼 정확도가 매출이나 리스크에 직결되는 도메인에서 가치를 발휘한다. 또한 인코더/디코더 페어가 공개되어 있어, 같은 표현 공간을 공유하는 임베딩 모델과 생성 모델을 함께 운영하면서 도메인 fine-tuning 일관성을 확보하기도 쉬워졌다.

도입을 고려하는 개발자라면 몇 가지를 점검하는 것이 좋다. 첫째, 라이선스를 반드시 확인하자. Ettin은 학술 공개 모델 계열로 상업 이용 조건이 제품별로 다를 수 있고, 학습 데이터 출처에 따라 사내 정책과 충돌할 수 있다. 둘째, 한국어 성능은 직접 벤치마크해야 한다. Ettin은 다국어 코퍼스 비중이 모델마다 다르므로 자사 도메인 쿼리·문서 샘플로 NDCG@10, MRR을 측정해 기존 bge-reranker-v2-m3나 Cohere Rerank 3와 비교해보는 PoC가 필수다. 셋째, 서빙 아키텍처를 미리 설계하자. cross-encoder는 후보 N개마다 forward pass가 필요해 N×latency가 누적되므로, 1차 retrieval에서 후보를 30~50개로 제한하고 ONNX Runtime 또는 TensorRT로 양자화(INT8/FP16)해 batch inference하는 패턴이 사실상 표준이다. 마지막으로, 향후 RAG 파이프라인을 새로 구축한다면 "단일 거대 LLM이 알아서 검색까지 잘하겠지"보다 "작은 임베딩 + 리랭커 + LLM"이라는 3단 구조가 비용·정확도 양면에서 여전히 우위라는 점을 다시 한번 상기할 필요가 있다.