샌드박스 권한 경계
파일 검사·명령 실행·코드 편집 세 능력은 각각 독립된 권한으로 분리합니다. 읽기는 화이트리스트 경로로, 쓰기는 작업 디렉터리로 한정하고, 명령은 허용 목록에 등록된 실행 파일만 통과시킵니다. 네트워크는 기본 차단 후 필요한 도메인만 개방합니다. 경계를 벗어난 호출은 즉시 예외로 처리하며, 권한 위반 0건을 배포 게이트 조건으로 둡니다.
서브에이전트 격리
오케스트레이터는 계획 수립과 승인만 담당하고 실제 실행은 격리된 서브에이전트에 위임합니다. 서브에이전트마다 최소 권한 토큰과 별도 컨텍스트를 부여해, 한 에이전트의 실패가 전체 세션으로 전파되지 않게 차단합니다. 실패한 서브에이전트는 부모가 회수하고 재시작하되, 상위 상태는 유지합니다.
모델 네이티브 하니스
2026-04-15 OpenAI는 샌드박스 내 파일 검사·명령 실행·코드 편집을 수행하는 모델 네이티브 하니스를 Agents SDK에 추가하고, Agent Builder를 포함한 AgentKit을 공개했습니다. code mode와 subagents는 Python·TypeScript로 확대 중입니다. 하니스가 도구 호출을 표준화하므로, 운영 측은 권한 정책과 로그 스키마에 집중할 수 있습니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획 단계에서는 목표 지표를 수치로 고정합니다. 예를 들어 작업 완료율 90% 이상, 도구 호출 p95 지연 2초 이내, 권한 위반 0건, 사람 개입율 15% 이하를 기준선으로 삼습니다. 지표가 없으면 실패를 판정할 수 없으므로, 각 서브에이전트의 성공 조건과 중단 조건을 요구사항에 함께 적습니다.
실패 패턴은 네 가지로 분류합니다. 첫째, 도구 오류는 최대 3회 지수 백오프 재시도 후 실패로 확정합니다. 둘째, 경계 위반은 재시도 없이 즉시 중단하고 사람 확인 큐로 보냅니다. 셋째, 반복 루프는 동일 명령 5회 감지 시 안전 축약으로 요약만 반환합니다. 넷째, 컨텍스트 초과는 중간 산출물을 저장한 뒤 새 서브에이전트로 이어받습니다.
복구 분기는 명시적으로 코드화합니다. 재시도 가능 오류, 사람 확인 필요, 안전 축약, 완전 중단 네 갈래로 나누고, 각 분기의 진입 조건과 타임아웃을 상수로 관리합니다. 총 실행 시간 10분 또는 도구 호출 50회를 초과하면 무조건 중단하고 부분 결과를 반환합니다.
운영 체크리스트로 표준 로그를 강제합니다. 모든 도구 호출에 대해 세션 ID, 서브에이전트 ID, 도구명, 입력 해시, 결과 코드, 지연 시간을 한 줄 JSON으로 남깁니다. 로그 적재 전 PII 마스킹을 필수 단계로 두어 이메일·전화번호·토큰을 정규식으로 치환합니다. 마스킹 누락은 배포 차단 사유입니다.
품질관리는 회귀 세트로 검증합니다. 대표 작업 30건을 고정 시나리오로 두고 릴리스마다 완료율과 위반 건수를 비교해, 완료율이 5%p 이상 하락하거나 위반이 1건이라도 나오면 롤백합니다.
지속 개선 루프는 주 1회 돌립니다. 실패 로그를 유형별로 집계해 상위 3개 원인을 도출하고, 권한 목록·재시도 정책·프롬프트를 각각 1개씩만 조정합니다. 변경은 회귀 세트로 검증한 뒤 반영해, 개선과 회귀를 분리 추적합니다.
실행 요약
세 능력을 권한으로 분리하고 서브에이전트를 격리한 뒤, 목표 지표와 중단 조건을 수치로 고정하는 것이 핵심입니다. 실패는 재시도·사람 확인·안전 축약·중단 네 분기로 처리하고, 표준 로그와 PII 마스킹을 게이트로 두어 위반 0건을 유지하며 개선 루프를 주 1회 돌립니다.