Skip to content

data(knowledge): 실행 Slot 계약과 E2E Gold 후보 확장 - #52

Draft
hywznn wants to merge 1 commit into
mainfrom
agent/workflow-slot-e2e-contract
Draft

data(knowledge): 실행 Slot 계약과 E2E Gold 후보 확장#52
hywznn wants to merge 1 commit into
mainfrom
agent/workflow-slot-e2e-contract

Conversation

@hywznn

@hywznn hywznn commented Aug 13, 2026

Copy link
Copy Markdown
Collaborator

목적

UI와 Agent가 동일한 Workflow Slot 의미를 사용하고, 이름 변형·복합 요청·Intent 경계·OUT_OF_SCOPE·외부 실행 차단·베트남어 안내를 대표 E2E 사례로 검수할 수 있는 Knowledge 계약을 마련합니다.

Closes #51

변경 내용

  • 8개 Workflow의 필수·선택 Slot에 한글 표시명, 근로자용 쉬운 표현, 데이터 출처 우선순위, 담당 주체, 필수 여부, 검증 규칙 추가
  • 기존 required/optional/resolvable_from_context 키를 유지해 기존 소비자 호환성 보존
  • 이름 공백·영문 별칭·대소문자·음차·동명이인, 복합 요청, 경계 Intent, OUT_OF_SCOPE를 포함한 합성 E2E 10건 추가
  • 한국어·베트남어 근로자 안내와 날짜·시간·서류명·제출처·대상자 핵심값 보존 기준 추가
  • 외부기관 자동 제출, 근로자 메시지 자동 발송, 자동 완료를 금지하고 HR 승인을 요구하는 기대값 추가
  • 내부 Slot/Intent/Workflow 키가 사용자 문구에 노출되는지 자동 검사
  • E2E Schema, SHA-256, 개인정보 패턴, 대상 탐색, 핵심값 보존 검증 추가
  • Reviewer A/B 독립 검수 템플릿과 Gold 승격 조건 문서화
  • Knowledge pack 버전 0.3.0 반영

모델·서비스 팀 인계

동일 사례에서 BERT 단독과 BERT→A.X 경로의 Intent 정확도, evidence, p50/p95 지연시간, A.X fallback 비율, guardrail 위반 건수를 측정하도록 계약에 기록했습니다. confidence 숫자만이 아니라 selected_model, routing_category, routing_reason, degraded, latency_ms를 남겨야 합니다.

현재 상태와 제한

  • 데이터 상태: Gold 후보 / pending_independent_review
  • Reviewer A/B 결과와 합의는 아직 없음
  • 실제 BERT/A.X 추론값·정확도·지연시간은 이 PR에서 측정하지 않음
  • E2E 10건은 합성 데이터이며 독립 검수 전 모델 성능 근거로 사용할 수 없음
  • 완료 기준인 독립 검수와 서비스 guardrail 실측은 후속 작업임

검증

  • make check
  • Knowledge validation 통과
  • Ruff format/check 통과
  • 20 tests 통과
  • git diff --check 통과

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

data(knowledge): 실행 Slot 계약과 E2E Gold 후보 확장

1 participant