LittleBird: Efficient Faster & Longer Transformer for Question Answering

LittleBird는 BigBird의 후속 연구로, 긴 문맥(long context)을 처리하는 Transformer의 효율성을 개선한 모델입니다. 기존 BERT 계열은 셀프 어텐션의 시간/메모리 복잡도가 입력 길이에 대해 O(n²)이라는 한계가 있어 긴 문서를 다루기 어려웠고, Longformer·ETC·BigBird는 슬라이딩 윈도우, 글로벌 토큰 등 희소 어텐션(sparse attention)으로 이를 O(n)에 가깝게 낮췄습니다. LittleBird는 여기서 두 가지를 더 개선합니다. 첫째, 위치 정보를 학습 가능한 임베딩 대신 ALiBi(Attention with Linear Biases) 기반의 선형 거리 편향으로 표현해, 짧은 입력으로 사전학습한 모델이 더 긴 입력에도 자연스럽게 외삽(extrapolation)될 수 있게 합니다. 둘째, BigBird의 글로벌 토큰 방식 대신 입력을 압축(pack)했다가 어텐션 후 다시 풀어내는(unpack) 구조로 글로벌 정보 흐름을 표현해 속도와 메모리 사용량을 더 줄였습니다.

실무 관점에서 가장 큰 의미는 "기존에 학습된 짧은 컨텍스트 PLM을 그대로 재활용해 긴 입력 모델로 확장할 수 있다"는 점입니다. 한국어처럼 대규모 long-text 코퍼스를 새로 모으기 어려운 저자원 언어에서는 long-context 모델을 처음부터 사전학습하기가 비현실적인데, LittleBird는 이미 보유한 BERT/RoBERTa 계열 체크포인트를 출발점으로 삼아 비교적 적은 비용으로 KorQuAD 2.0 같은 긴 문단 QA 태스크에 대응할 수 있습니다. 사내 문서 검색, 법률·계약서 QA, 긴 회의록 요약, 고객지원 티켓 분석처럼 한 번에 수천~수만 토큰을 다뤄야 하는 RAG 보완용 reader 모델, 또는 LLM 호출 비용을 줄이기 위한 경량 인코더 후보로 검토할 가치가 있습니다.

엔지니어가 도입을 검토할 때 실질적으로 점검해야 할 사항은 다음과 같습니다. 우선 ALiBi 기반 위치 인코딩은 회전 위치 인코딩(RoPE)이나 학습형 위치 임베딩과 동작 방식이 달라, 기존 파인튜닝 파이프라인에서 위치 관련 가정(최대 길이 하드코딩, 패딩 마스크 처리 등)을 재검토해야 합니다. 또한 pack/unpack 어텐션은 구현체에 따라 GPU 커널 최적화 정도가 다르므로, 추론 지연이 중요한 서비스라면 FlashAttention 호환 여부와 배치 처리 시 메모리 곡선을 직접 벤치마크해야 합니다. 최근에는 Llama·Qwen 같은 디코더 LLM에 long-context를 위임하는 흐름이 일반적이지만, 한국어 long-form QA에서 비용 대비 정확도가 필요한 경우 LittleBird 계열의 인코더 모델은 여전히 강력한 선택지이므로, 자체 도메인 데이터로 KorQuAD 2.0 수준의 평가셋을 구성해 LLM RAG 파이프라인과 정량 비교해 보는 것을 권장합니다.