심판도 편향된다
자기개선 루프와 평가 게이트는 대부분 LLM을 심판으로 씁니다. 문제는 심판 자신이 체계적으로 편향된다는 점입니다. 편향된 심판을 신뢰하면 개선의 방향 자체가 왜곡되므로, 심판은 쓰기 전에 교정해야 합니다.
흔히 관찰되는 편향은 다섯 가지입니다. 먼저 제시된 답을 선호하는 위치 편향, 긴 답을 좋게 보는 장황 편향, 자기 계열 모델의 답을 선호하는 자기선호 편향, 특정 형식을 선호하는 형식 편향, 시간이 지나며 기준이 흔들리는 교정 드리프트입니다.
편향별 보정
각 편향에는 알려진 보정이 있습니다. 위치 편향은 (A,B)와 (B,A) 두 순서를 모두 평가해 상쇄하고, 장황 편향은 1~4점 척도로 간결함을 보상합니다. 자기선호 편향은 서로 다른 모델 계열을 심판으로 교체해 완화하고, 교정 드리프트는 정기적으로 기준선 대비 교정을 실행해 잡습니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획 단계에서는 심판 신뢰도를 수치로 정의합니다. 예를 들어 사람 라벨과의 일치율 목표, 순서 뒤집기 시 판정 불일치율 5% 이하, 기준선 문항의 점수 표준편차 상한을 지표로 둡니다. 심판 계약(프롬프트와 채점 기준)을 고정해, 같은 입력에 항상 같은 방식으로 채점하게 합니다. 채점은 자유 서술이 아니라 사실 기준을 좁힌 루브릭으로 제약해야 재현성이 올라갑니다.
실패 패턴 중 흔한 것은 편향을 측정하지 않고 심판을 신뢰하는 것입니다. 이를 막으려면 프로덕션 트래픽에서 기계적으로 보정을 적용합니다. 매 페어와이즈 호출마다 순서를 셔플하고, 심판 계약을 고정하며, 심판을 여러 계열로 교체하고, 기준선 문항으로 상시 교정합니다. 복구 전략으로, 심판이 기준선 문항에서 이전과 다른 점수를 내면 드리프트로 보고 교정하거나 심판을 교체합니다. 여러 지표를 동시에 볼 때는 다중 비교 보정을 적용해 우연한 유의성을 걸러 냅니다.
운영 체크리스트에는 심판의 신뢰성 자체를 측정 대상으로 둡니다. 최근 연구는 심판을 측정 도구로 보고 항목 반응 이론으로 신뢰도를 다루며, 심판의 민감도와 특이도를 반영한 교정 기반 편향 보정과 신뢰구간을 제안합니다. 심판 버전, 계약 해시, 순서, 기준선 점수, 사람 일치율을 표준 로그로 남깁니다. 관측 항목으로는 순서 불일치율, 심판 간 일치율, 기준선 드리프트, 사람 대비 상관을 기록합니다.
지속 개선 루프는 주간 단위로 심판과 사람의 판단이 갈린 사례를 분석합니다. 심판이 반복적으로 틀리는 유형은 루브릭을 보완하거나 기준선 문항으로 편입합니다. 심판 교정은 한 번의 설정이 아니라, 드리프트를 흡수하며 계속 조정되는 운영 활동이어야 합니다.
실행 요약
정리하면 LLM 심판은 쓰기 전에 교정해야 합니다. 위치·장황·자기선호·형식·드리프트 편향을 진단하고, 순서 셔플·간결 보상 척도·심판 계열 교체·기준선 교정을 프로덕션에서 기계적으로 적용해야 합니다. 심판을 측정 도구로 보고 신뢰도를 상시 관측하면 편향된 심판이 개선의 방향을 왜곡하지 않습니다.