검증과 사람의 통제

AI 결과의 그럴듯함을 성공으로 착각하지 않도록, 자동 실행과 사람의 판단·검증·책임을 분리합니다.

확인하는 것GitHub에서 피드백 남기기

• 입력과 출력이 합의한 계약·권한·형식에 맞는가?
• 결과가 원문·데이터·정책과 모순되지 않는가?
• 사용자의 실제 업무 목적에 유용한가?
• 실패하거나 불확실할 때 중단·재시도·사람 전달이 가능한가?
• 기술 검증과 실제 고객 결과를 혼동하고 있지 않은가?

세 가지 운영 위험GitHub에서 피드백 남기기

확신 함정은 틀린 답을 자신 있게 내보내는 일입니다. 드리프트는 긴 작업에서 문제·권한·완료 기준을 잃는 일입니다. Silent mismatch는 문장은 자연스럽지만 실무에는 맞지 않는 결과입니다. 이 세 표현은 Solve for X의 운영 taxonomy이며, 표준 위험 분류를 그대로 인용한 것은 아닙니다.

평가의 역할GitHub에서 피드백 남기기

결정론적 검사, rubric을 사용한 사람의 평가, LLM-as-a-judge를 조합할 수 있습니다. LLM judge는 빠른 반복과 회귀 탐지에 도움을 주지만 bias와 재현성 문제가 있으므로 단독 승인자가 될 수 없습니다. NIST AI RMF와 LLM judge 연구를 함께 참고합니다.

사람이 결정하는 지점GitHub에서 피드백 남기기

• 문제의 가치와 범위
• 고객에게 공개할 내용
• 외부 발송·결제·배포·고객 작업 시작
• 결과의 최종 승인과 예외 처리
• 실제 고객 결과를 성공으로 기록할지 여부

우리의 약속GitHub에서 피드백 남기기

문제를 먼저 합의하고, 확인 가능한 기준으로 만들고, 사람의 승인을 거쳐 검증된 만큼만 전달합니다. 자동화된 실행 완료나 200 응답을 고객 성공으로 부풀리지 않습니다.