종합 의사결정 매트릭스 / Comprehensive Decision Matrix

Last verified: 2026년 2월 / February 2026

한국어

개요

본 문서는 혜경궁 홍씨(Lady Hyegyong) AI NPC 프로젝트의 성공적인 구현을 위해 검토된 모든 기술적 선택지를 하나의 통합된 프레임워크로 정리한 종합 의사결정 매트릭스입니다. 시스템 아키텍처, 대화 엔진, 음성 파이프라인, 애니메이션, MR 기술, 전시 인프라 등 9개 섹션에서 도출된 핵심 결정 포인트들을 분석하여, 프로젝트의 목표와 제약 조건에 따른 최적의 경로를 제시합니다.

본 매트릭스는 특정 기술을 최종적으로 확정하기보다는, 개발 기간, 예산, 품질 목표, 오프라인 안정성 등 팀이 직면한 상황에 따라 어떤 기술을 선택해야 하는지에 대한 조건부 가이드를 제공합니다. 또한, 전시 운영 중 발생할 수 있는 주요 위험 요소와 이에 대한 대응 전략, 그리고 단계별 구현 로드맵을 포함하여 프로젝트의 전체적인 실행 전략을 수립하는 데 기여합니다.

핵심 발견

• 품질 vs 속도: Convai와 같은 통합 플랫폼은 개발 속도에서 압도적이지만, 커스텀 스택(GPT-4o + ElevenLabs)은 한국어 품질과 세밀한 페르소나 제어에서 우위를 점합니다.
• 오프라인 안정성: 전시 환경의 특성상 인터넷 단절에 대비한 4단계 폴백(Fallback) 전략이 필수적이며, 이를 위해 Jetson AGX Orin 기반의 엣지 서버 구축이 권장됩니다.
• 레이턴시 관리: 1.5초 이내의 체감 레이턴시를 달성하기 위해 ElevenLabs Turbo v2.5와 같은 저지연 TTS와 ‘생각 중’ 애니메이션 마스킹 기술의 결합이 핵심입니다.
• Samsung Galaxy XR: 현재 모든 기술적 검토는 Quest 3를 기준으로 완료되었으며, Samsung Galaxy XR은 ‘알려진 갭(Known Gap)‘으로서 향후 이식성을 고려한 OpenXR 표준 준수가 필요합니다.

마스터 의사결정 매트릭스 (Master Decision Matrix)

2026년 2월 기준

기술 선택 의사결정 트리 (Technology Selection Decision Tree)

위험 매트릭스 (Risk Matrix)

구현 로드맵 (Implementation Roadmap)

Phase 1: 프로토타입 개발 (4-6주)

• 목표: 핵심 파이프라인 검증 및 기본 페르소나 구현
• 주요 과업:
  • STT-LLM-TTS-LipSync 기본 연동 (Path A 또는 B)
  • 혜경궁 홍씨 기본 시스템 프롬프트 설계
  • 단일 활동(예: 인사 및 대화) 프로토타입 구축
  • Quest 3 Passthrough 기본 환경 설정

Phase 2: 시스템 통합 및 고도화 (6-8주)

• 목표: 4대 활동 통합 및 엣지 서버 구축
• 주요 과업:
  • 4가지 활동(편지, 서예, 예절, 다과) 시퀀스 구현
  • Jetson AGX Orin 기반 엣지 서버 및 로컬 LLM 최적화
  • 4단계 폴백(Fallback) 로직 완성
  • ENGRAM 3중 메모리 시스템 적용

Phase 3: 최적화 및 전시 준비 (4-6주)

• 목표: 성능 튜닝 및 안정성 테스트
• 주요 과업:
  • 90fps 유지를 위한 렌더링 최적화 (LOD, GPU Skinning)
  • 전시장 네트워크(Wi-Fi 6E) 환경 스트레스 테스트
  • 모니터링 대시보드(Grafana) 연동
  • 최종 역사 고증 검수 및 가드레일 강화

평가 기준 가중치 (Evaluation Criteria Weights)

알려진 갭 및 향후 과제

• Samsung Galaxy XR (알려진 갭): 본 매트릭스의 성능 데이터는 Quest 3 기준이며, Samsung 기기에서의 실제 레이턴시 및 렌더링 효율은 추가 검증이 필요합니다.
• 멀티모달 연동: 사용자의 동작(서예, 다과)을 실시간으로 분석하여 대화에 반영하는 기술은 현재 레이턴시 문제로 인해 Phase 2 이후의 과제로 설정되었습니다.

출처 및 참고문헌

1. Convai, Inworld, ElevenLabs 공식 기술 문서 (2026).
2. Meta Quest 3 Developer Guide: Performance Optimization (2025).
3. NVIDIA Jetson AGX Orin vLLM Deployment Guide (2025).
4. “Hybrid AI NPC Architecture for Cultural Heritage,” Journal of Digital Heritage (2025).

English

Overview

This document is a Comprehensive Decision Matrix that synthesizes all technical options reviewed for the successful implementation of the Lady Hyegyong (혜경궁 홍씨) AI NPC project into a unified framework. By analyzing key decision points derived from nine sections—including system architecture, conversation engine, voice pipeline, animation, MR technology, and exhibition infrastructure—it presents the optimal path based on project goals and constraints.

Rather than finalizing specific technologies, this matrix provides a conditional guide on which technologies to select based on the situation the team faces, such as development period, budget, quality goals, and offline stability. It also contributes to establishing an overall execution strategy for the project by including major risk factors that may occur during exhibition operation, corresponding mitigation strategies, and a step-by-step implementation roadmap.

Key Findings

• Quality vs. Speed: Integrated platforms like Convai are overwhelming in development speed, but custom stacks (GPT-4o + ElevenLabs) hold the edge in Korean quality and fine-grained persona control.
• Offline Stability: Due to the nature of exhibition environments, a 4-tier fallback strategy against internet disconnection is essential, and building an edge server based on Jetson AGX Orin is recommended for this purpose.
• Latency Management: To achieve a perceived latency of less than 1.5 seconds, the combination of low-latency TTS like ElevenLabs Turbo v2.5 and ‘Thinking’ animation masking technology is key.
• Samsung Galaxy XR: All technical reviews have been completed based on Quest 3. Samsung Galaxy XR is a ‘Known Gap,’ requiring compliance with OpenXR standards for future portability.

Master Decision Matrix

As of February 2026

Technology Selection Decision Tree

Risk Matrix

Implementation Roadmap

Phase 1: Prototype Development (4-6 weeks)

• Goal: Verify core pipeline and implement basic persona.
• Key Tasks:
  • Basic integration of STT-LLM-TTS-LipSync (Path A or B).
  • Design basic system prompt for Lady Hyegyong.
  • Build prototype for a single activity (e.g., greeting and dialogue).
  • Set up basic Quest 3 Passthrough environment.

Phase 2: System Integration & Advancement (6-8 weeks)

• Goal: Integrate 4 main activities and build edge server.
• Key Tasks:
  • Implement sequences for 4 activities (Letter, Calligraphy, Etiquette, Tea Ceremony).
  • Optimize Jetson AGX Orin-based edge server and local LLM.
  • Complete 4-tier fallback logic.
  • Apply ENGRAM triple memory system.

Phase 3: Optimization & Exhibition Prep (4-6 weeks)

• Goal: Performance tuning and stability testing.
• Key Tasks:
  • Rendering optimization (LOD, GPU Skinning) to maintain 90fps.
  • Stress test exhibition network (Wi-Fi 6E) environment.
  • Integrate monitoring dashboard (Grafana).
  • Final historical verification and reinforcement of guardrails.

Evaluation Criteria Weights

Known Gaps & Future Work

• Samsung Galaxy XR (Known Gap): Performance data in this matrix is based on Quest 3; actual latency and rendering efficiency on Samsung devices require further verification.
• Multimodal Integration: Technology to analyze user movements (calligraphy, tea ceremony) in real-time and reflect them in dialogue has been set as a task for after Phase 2 due to current latency issues.

Sources & References

1. Convai, Inworld, ElevenLabs Official Technical Documentation (2026).
2. Meta Quest 3 Developer Guide: Performance Optimization (2025).
3. NVIDIA Jetson AGX Orin vLLM Deployment Guide (2025).
4. “Hybrid AI NPC Architecture for Cultural Heritage,” Journal of Digital Heritage (2025).