이 AI 용어들을 듣고 고개만 끄덕였다면, 이제 고쳐볼게요

생성형 AI 시대에 등장한 새로운 용어들은 단순한 마케팅 buzzword가 아니라 시스템의 동작 원리와 한계를 이해하기 위한 핵심 개념들이다. 예를 들어 'LLM(Large Language Model)'은 트랜스포머 아키텍처 기반으로 수십억~수조 개의 파라미터를 학습한 확률 모델이며, 'hallucination(환각)'은 모델이 학습 데이터의 통계적 패턴에 따라 그럴듯하지만 사실과 다른 출력을 생성하는 현상을 가리킨다. 'RAG(Retrieval-Augmented Generation)'는 외부 벡터 DB에서 관련 문서를 검색해 프롬프트에 주입함으로써 환각을 줄이고 최신성을 확보하는 패턴이며, 'fine-tuning'과 'RLHF(인간 피드백 기반 강화학습)', 'embedding', 'context window', 'agent', 'MCP(Model Context Protocol)' 같은 용어들은 각각 모델 학습 방식, 의미 표현, 입력 한계, 자율 실행, 도구 연동 표준을 가리키는 별개의 기술적 층위에 속한다.

개발자 입장에서 이 용어들을 정확히 구분하지 못하면 아키텍처 설계 단계에서 큰 비용을 치르게 된다. 가령 도메인 지식 부족 문제를 해결하려 할 때 fine-tuning으로 갈지 RAG로 갈지는 비용·지연시간·갱신주기 측면에서 완전히 다른 선택이며, 'agent'를 도입한다고 할 때도 단순 함수 호출(tool use) 수준인지 다단계 자율 추론(ReAct, planning) 수준인지에 따라 안정성·테스트 전략이 달라진다. 또한 'token'과 'context window'에 대한 이해가 부족하면 프롬프트 비용 폭증이나 잘리는 응답 같은 운영 사고로 이어지고, 'temperature', 'top-p' 같은 디코딩 파라미터를 모르면 같은 모델로도 결정성·창의성 균형을 맞추지 못한다. 한국 SI/서비스 환경에서는 이런 개념 차이를 PM·기획자에게 설명하고 요구사항을 기술적으로 번역해주는 역할까지 개발자가 떠맡는 경우가 많다.

실무적으로 권장되는 액션은 세 가지다. 첫째, 자신의 스택과 무관해 보이더라도 LLM·embedding·RAG·agent·MCP·evaluation(평가) 같은 핵심 카테고리별로 최소 1개씩 hands-on 예제를 돌려보고 토큰·비용·지연시간을 직접 측정해볼 것. 둘째, 'AI=ChatGPT API 호출'이라는 단순한 멘탈 모델에서 벗어나 prompt engineering, guardrails, hallucination 검증, prompt injection 방어 같은 보안·품질 관련 용어까지 학습 범위를 확장할 것. 셋째, 팀 내부에 AI 용어집(glossary)을 한국어 기준으로 통일해 만들어두면 코드 리뷰·기획 회의에서 'agent', '파인튜닝', 'RAG' 같은 단어가 서로 다른 의미로 쓰이는 혼선을 줄일 수 있다. 결국 AI 용어 정리는 트렌드 따라잡기가 아니라, 잘못된 기술 선택으로 인한 매몰 비용을 막는 가장 저렴한 사전 투자다.