경계 응답과 캐릭터 말투 평가
이 실무 워크시트의 초점은 안전한 경계를 지키면서 고유한 말투를 유지하는 능력입니다. 한 번 좋은 결과를 고르는 대신 같은 조건으로 다시 실행하고 차이를 설명할 수 있는 평가를 만듭니다.
검증 질문
생성 전에 통과와 실패를 구분할 수 있는 질문을 하나 작성합니다. 핵심 방법은 “같은 의도를 강도별 여섯 문장으로 반복한다”입니다. 캐릭터 설정, 모델, 프롬프트 템플릿, 안전 정책, 참조 자료와 시드를 고정하고 한 번에 하나의 변수만 바꿉니다.
저장할 증거
전체 입력, 검색된 기억, 출력, 실행 시간과 리뷰 메모를 저장합니다. 주요 지표는 경계 통과율과 말투 유사도입니다. 최소 세 번 반복하고 평균뿐 아니라 각 사례의 최저 점수도 확인합니다.
리뷰 절차
- 고정 사실, 관계 경계와 시각 기준을 정의합니다.
- 같은 입력으로 기준 버전을 실행합니다.
- 이전과 새 출력을 무작위로 배치합니다.
- 두 명이 독립적으로 점수를 매깁니다.
- 의견 차이를 만든 구체 속성을 기록합니다.
실패 진단
특히 주의할 실패는 “거절 문장이 일반적인 템플릿으로 변하는 문제”입니다. 설정 누락, 검색 실패, 우선순위 역전, 요약 손실, 생성 드리프트와 시각 드리프트를 분리해 기록합니다. 한 계층만 수정하고 같은 case_id로 다시 실행합니다.
출시 규칙
모든 필수 경계가 통과하고 고정 사실과 인물 정체성이 반복 실행에서도 유지될 때만 통과합니다. 조건부 통과에는 담당자와 재시험 날짜가 필요합니다.
Ponys.ai 관련 워크플로
FAQ
한 번 성공하면 충분한가요?
아닙니다. 시드, 대화 위치와 장면을 바꿔 재현성을 확인해야 합니다.
언제 다시 테스트하나요?
모델, 기억 검색, 요약, 템플릿, 이미지 조건, 영상 처리, 안전 정책 또는 설정이 바뀐 뒤입니다.