어텐션의 제곱 비용과 SSM의 선형 대안
트랜스포머 어텐션은 시퀀스 길이 n에 대해 연산과 메모리가 O(n²)로 늘어납니다. 컨텍스트가 8k에서 128k로 커지면 KV 캐시와 프리필 비용이 급증해 롱컨텍스트 에이전트의 지연과 토큰 단가를 지배합니다. 상태공간모델(SSM) 계열인 Mamba는 상태를 고정 크기로 압축해 순차 처리에서 near-linear에 가까운 스케일링을 보이며, 긴 입력에서 프리필 지연과 메모리 상한을 예측 가능하게 만듭니다.
순수 트랜스포머가 아닌 하이브리드로 가는 흐름
최근 출시된 모델 다수가 비순수 트랜스포머입니다. Zyphra ZAYA1-8B는 SSM-Mamba와 어텐션을 섞은 80레이어 하이브리드이고, JetBrains Mellum 2는 12B 파라미터에 활성 2.5B(A2.5B) MoE 구조입니다. Sapient HRM-Text-1B 같은 소형 계층형 설계도 등장했습니다. InfoMamba류의 어텐션-프리 하이브리드는 near-linear 스케일링으로 동급 트랜스포머 베이스라인을 능가하는 사례가 보고됩니다. 핵심은 어텐션을 전부 버리는 것이 아니라, 대부분 레이어를 SSM으로 처리하고 정보 라우팅이 필요한 소수 레이어에만 어텐션을 남기는 배치입니다.
아키텍처 선택이 곧 트레이드오프
하이브리드는 공짜가 아닙니다. SSM 비중을 높이면 프리필 비용과 p95 지연이 내려가지만, 원거리 토큰 간 정밀 참조(정확한 인용, 표 셀 대조)가 약해질 수 있습니다. 반대로 어텐션 레이어를 늘리면 정확도는 회복되나 128k 입력에서 비용이 다시 붙습니다. 운영에서는 "어느 태스크에 몇 %의 어텐션 레이어를 둘 것인가"가 비용·품질 다이얼이 됩니다.
A4 분량 상세 가이드: 기획부터 운영까지
(a) 기획·요구 정의는 지표를 숫자로 못박는 데서 시작합니다. 대상 입력 길이(예: 32k~128k 토큰), p95 프리필 지연 목표(예: 2.5초 이하), 롱컨텍스트 검색 통과율(needle-in-haystack 95% 이상), 토큰당 비용 상한을 먼저 정의합니다. 그다음 이 목표를 만족하는 어텐션/SSM 레이어 비율을 3안으로 잡고 동일 평가셋으로 비교합니다. 순수 트랜스포머 대비 하이브리드가 비용·지연을 얼마나 낮추는지, 통과율은 몇 %p 떨어지는지를 한 표에 정리해 의사결정 근거로 남깁니다.
(b) 실패 패턴은 미리 분류하고 복구 분기를 코드로 심습니다. 첫째, 원거리 토큰 정밀 참조 실패(잘못된 인용, 표 셀 오대조)는 어텐션 비중이 높은 라우트로 1회 재시도하거나 관련 청크를 상단으로 재정렬합니다. 둘째, 128k 입력에서 프리필 타임아웃이나 비용 상한 초과가 발생하면 안전 축약으로 전환합니다. 입력을 요약·압축해 컨텍스트를 절반으로 줄이고 근거 링크만 보존합니다. 셋째, 상태 압축에서 오는 사실 왜곡·환각이 의심되면 사람 확인 큐로 보냅니다. 중단 조건은 명시적으로 둡니다. 재시도 2회 초과, 누적 비용 상한 도달, p95 지연 임계 초과 시 즉시 중단하고 부분 결과에 경고를 붙여 반환합니다.
(c) 운영 체크리스트와 품질관리는 표준 로그에서 출발합니다. 요청마다 입력 토큰 수, 프리필·디코드 지연, 사용 라우트(SSM 대 어텐션 비중), 재시도 횟수, 복구 분기 종류, 통과·실패 사유를 고정 필드로 남깁니다. 로그 적재 전 PII는 마스킹하고(이메일·전화·계정 식별자 해시), 원문 컨텍스트는 보존 기간을 짧게 둡니다. 위반 0건을 목표로 PII 누출 검사, 비용 상한 초과 건수, 안전 축약 발동률을 주간 지표로 추적합니다.
(d) 지속 개선 루프는 실패 로그를 회귀 평가셋으로 승격하는 방식으로 돌립니다. 매주 실패 사유 상위 유형을 뽑아 needle 위치와 문서 길이별로 통과율을 재측정하고, 어텐션 레이어 비율이나 청크 재정렬 규칙을 조정합니다. 새 하이브리드 모델(예: ZAYA1, Mellum 2 계열)이 나오면 동일 평가셋으로 A/B를 돌려 비용·지연·통과율 3축만으로 채택 여부를 판단합니다.
실행 요약
롱컨텍스트 비용은 아키텍처에서 갈립니다. SSM/Mamba 하이브리드는 대부분 레이어를 선형에 가깝게 처리하고 소수 어텐션으로 정밀 참조를 보완해, 128k 입력의 프리필 지연과 토큰 단가를 낮춥니다. 어텐션 비율을 품질·비용 다이얼로 두고, 실패 유형별 복구 분기(재시도·안전 축약·사람 확인)와 중단 조건, PII 마스킹 표준 로그를 먼저 갖춘 뒤 도입하십시오.