- Published on
RAG 개념 정리 (4) — RAGAS와 LLM-as-a-judge, 얼마나 믿을 수 있나
- Authors
- Name
- junyeol kim
3편까지 파이프라인·검색·GraphRAG을 다뤘으니, 이제 "이렇게 만든 RAG가 실제로 잘 작동하는가"를 어떻게 채점할지가 남았습니다. 사람이 매번 눈으로 확인할 수는 없으니 결국 LLM에게 LLM의 답을 채점시키게 되는데, 이 채점 자체가 얼마나 믿을 만한지도 같이 봐야 이 시리즈가 완결됩니다.
📏 RAGAS 4대 지표
RAGAS(가장 널리 쓰이는 오픈소스 프레임워크)는 검색 단계와 생성 단계를 각각 나눠서 채점합니다. 생성 단계만 보면 검색이 나빠지고 있는 걸 놓치고, 검색 단계만 보면 답변이 지어낸 내용인 걸 놓치기 때문에 두 단계를 최소 하나씩은 같이 추적하는 게 2026년 기준 표준으로 자리잡았습니다.
| 지표 | 측정 대상 | 계산 방식 | 프로덕션 목표 |
|---|---|---|---|
| Faithfulness (충실성) | 답변의 모든 주장이 검색된 문맥에서 지원되는가 | 답변을 개별 진술로 분해해 각각을 청크와 대조 | 일반 0.8↑, 금융·의료·법률 등 규제 산업 0.9↑ |
| Answer Relevance (답변 관련성) | 답변이 실제로 질문을 다루는가 | LLM 판사가 질문-답변 연관성 평가 | 0.75↑ |
| Context Precision (문맥 정확성) | 상위 순위 청크가 답변에 실제로 쓰였는가 | 관련 청크가 검색 결과 초반에 오는 정도 | 0.7↑ |
| Context Recall (문맥 재현율) | 정답에 필요한 정보가 검색 결과에 다 있는가 | 참조 답변의 각 정보 조각별로 지원 청크 존재 여부 확인 (참조 답변 필요) | 0.75↑ |
Faithfulness와 Answer Relevance는 생성 단계, Context Precision과 Context Recall은 검색 단계 지표입니다. 4개를 다 볼 필요는 없어도 양쪽에서 최소 하나씩은 봐야 회귀를 놓치지 않습니다.
🗂️ 평가 데이터셋, 세 종류로 굴리기
프로덕션에서는 보통 세 가지 데이터셋을 같이 씁니다.
- 골든 데이터셋: 사람이 직접 검증한 질답 쌍 50~200개 — 핵심 지표를 추적하는 기준선
- 합성 데이터셋: LLM이 생성한 질문 500개 — 회귀 테스트용으로 대량 커버리지 확보
- 프로덕션 샘플: 실제 사용자 질의를 그대로 샘플링 — 가장 현실적인 테스트셋
골든 데이터셋만으로는 커버리지가 부족하고, 합성 데이터셋만으로는 사람이 실제로 묻는 방식과 괴리가 생기기 때문에 세 개를 같이 굴리는 게 일반적입니다.
🔧 CI/CD에 붙이기
DeepEval 같은 프레임워크를 pytest에 통합해서, PR을 머지하기 전에 품질 게이트로 걸어두는 방식이 흔합니다. 지표가 임계값 아래로 떨어지면 빌드 자체를 실패시켜서, 리트리버나 프롬프트를 바꿨다가 품질이 조용히 떨어지는 걸 미리 잡습니다.
프로덕션에서는 여기서 한발 더 나가 일일/시간 단위 샘플링 평가를 돌립니다. Faithfulness가 0.75 이하로 떨어지거나, Answer Relevance가 0.70 이하이거나, 환각률이 5%를 넘으면 알림이 나가는 식입니다.
🤖 근데 이 채점, 얼마나 믿을 수 있나
여기서부터가 진짜 문제입니다. RAGAS 점수와 실제 사람 평가 사이의 상관관계를 측정한 연구에서 조화 평균이 0.55밖에 안 나왔습니다. 자동 채점을 신뢰하기엔 한참 부족한 수치입니다. LLM 판사 자체의 신뢰성 문제도 구체적으로 드러났는데, 프론티어 모델이 통제된 환경에서는 80% 정확도를 보이다가도 까다로운 편향 테스트에서는 절반 이상 틀립니다.
대표적인 편향 네 가지입니다.
| 편향 유형 | 내용 |
|---|---|
| 위치 편향 (Position Bias) | 응답 품질이 아니라 프롬프트 안에서의 순서에 따라 판단이 바뀜 |
| 장황함 편향 (Verbosity Bias) | 더 긴 답변을 더 좋은 답변으로 착각 |
| 자기 선호 편향 (Self-Preference) | 모델이 자기 자신의 출력에 더 높은 점수를 줌 |
| 제공사 편향 (Family Bias) | 같은 제공사 모델의 출력을 더 후하게 평가 |
위치 편향은 특히 심각해서, 같은 답변 쌍을 순서만 바꿔서 GPT-4에게 다시 판단시켰을 때 약 40%가 다른 결론을 냈다는 결과도 있습니다. 동전 던지기보다 아주 조금 나은 수준이라는 뜻이죠.
🩹 그럼 어떻게 완화하나
편향을 완전히 없앨 순 없지만, 실전에서 쓰는 완화 전략은 명확합니다.
- 도메인 맞춤 보정: 채팅 평가용으로 검증된 판사를 RAG나 코드 리뷰에 그대로 쓰지 않기. 대표 입력으로 사람 검증 대비 20~25% 이상 차이가 나면 재보정
- 참조 기반 채점: 정답 참조가 있으면 그걸 고정 기준으로 삼아 판사의 주관을 줄임
- 메타-판사 접근: 여러 LLM의 판단을 다시 평가하는 방식이, 단순히 여러 모델을 토론시켜 합의를 구하는 앙상블보다 편향 증폭에 더 강함
- 판사-생성기 분리: 같은 모델로 생성하고 채점하지 않기 — 자기 선호 편향을 원천적으로 피하는 가장 간단한 방법
엣지 케이스일수록 판사의 신뢰성이 가장 중요해지는데, 정작 그 지점에서 가장 자주 실패한다는 게 이 바닥의 근본적인 딜레마입니다. 채팅 평가에 맞춰 검증된 판사를 RAG나 코드 리뷰, 에이전트 작업 평가에 도메인 보정 없이 그대로 갖다 쓰는 건 특히 위험합니다.
📚 정리
- RAGAS 4대 지표는 검색(Precision·Recall)과 생성(Faithfulness·Relevance)으로 나뉨 — 최소 양쪽 하나씩은 같이 추적
- 프로덕션 목표치: Faithfulness 0.8(규제 산업 0.9), Answer Relevance 0.75, Context Precision 0.7, Context Recall 0.75
- 평가 데이터셋은 골든(50~200) + 합성(500) + 프로덕션 샘플 세 종류를 같이 굴림
- CI/CD 품질 게이트 + 일일 샘플링 모니터링으로 회귀를 이중으로 잡음
- RAGAS-사람 평가 상관관계는 조화평균 0.55에 불과 — 자동 채점을 맹신하면 안 됨
- LLM 판사는 위치·장황함·자기선호·제공사 편향에 취약, 위치 편향만으로도 GPT-4가 순서 바꾸면 40% 다른 결론
- 완화책: 도메인 재보정, 참조 기반 채점, 메타-판사, 판사-생성기 모델 분리
이걸로 RAG 개념 시리즈 4편이 끝났습니다. 다음은 이 개념들을 실제 챗봇 프로젝트에 적용하면서 겪었던 문제들을 하나씩 정리해볼 차례입니다.
참고: Adaline 「LLM-as-a-Judge: Why Frontier Models Fail 50%+ Bias Tests」, PremAI 「RAG Evaluation: Metrics, Frameworks & Testing (2026)」, FutureAGI 「RAG Evaluation Metrics in 2026」