Quest 3 MR Technical Research / Quest 3 MR 기술 리서치

Last verified: 2026년 2월 / February 2026

한국어

개요

본 문서는 혜경궁 홍씨(Lady Hyegyong) AI NPC 프로젝트를 Meta Quest 3의 혼합 현실(MR) 환경에서 구현하기 위한 기술적 요구 사항과 아키텍처를 다룹니다. Quest 3는 Snapdragon XR2 Gen 2 칩셋을 탑재하여 강력한 온디바이스 처리 능력을 제공하며, 고해상도 컬러 Passthrough를 통해 가상 캐릭터와 현실 공간의 자연스러운 통합을 가능하게 합니다.

본 리서치의 목적은 사용자가 자신의 거실이나 전시 공간에서 혜경궁 홍씨와 대화하고, 다과(Dagwa)나 서예(Seoye)와 같은 활동을 수행할 때 시각적 이질감을 최소화하고 몰입감을 극대화하는 기술적 방안을 제시하는 것입니다. 특히 현실 공간의 기하학적 구조를 이해하는 Scene Mesh API와 가상 오브젝트의 위치를 고정하는 Spatial Anchor 기술을 중심으로 아키텍처를 설계합니다.

핵심 발견

1. Quest 3 MR 아키텍처 및 하드웨어 사양

• 디스플레이: 안당 2064×2208 해상도, 최대 90Hz(실험적 120Hz) 지원. 2026년 2월 기준 가장 대중적인 고성능 MR 헤드셋입니다.
• 프로세서: Snapdragon XR2 Gen 2. 이전 세대 대비 GPU 성능이 2배 향상되어 복잡한 NPC 렌더링과 실시간 Passthrough 합성이 원활합니다.
• Passthrough: 4MP RGB 카메라 2개를 활용한 스테레오 Passthrough를 지원하며, Composition Layer 기술을 통해 UI 가독성을 높일 수 있습니다.

2. Unity XR 프레임워크 및 SDK

• OpenXR + Meta XR SDK: 업계 표준인 OpenXR을 기반으로 Meta XR Core SDK 및 Interaction SDK를 조합하여 사용하는 것이 가장 안정적입니다.
• AR Foundation: 크로스 플랫폼 대응을 위해 AR Foundation을 추상화 레이어로 활용하되, Quest 3 전용 기능(Scene Mesh 등)은 Meta XR 패키지를 직접 호출하는 하이브리드 방식을 권장합니다.

3. MR 캐릭터 렌더링 및 공간 통합

• Scene Mesh API: 현실 공간의 벽, 바닥, 가구를 실시간 3D 메쉬로 생성합니다. Meta XR Utility Kit(MRUK)을 활용하여 테이블(TABLE), 벽(WALL) 등 표면 라벨링 데이터를 획득하고, 이를 통해 NPC가 가구 뒤로 숨는 오클루전(Occlusion)과 실제 바닥을 따라 걷는 내비게이션을 구현합니다.
• 조명 및 그림자: AR Foundation의 Light Estimation을 통해 현실의 조명 방향과 강도를 샘플링하여 NPC에 적용합니다. Shadow Matte 셰이더를 사용하여 실제 바닥에 NPC의 그림자를 투사함으로써 접지감을 형성합니다.
• Depth API: Meta의 Depth API를 활용하여 하드웨어 수준의 정교한 오클루전을 구현하며, z-fighting 방지를 위해 Depth Bias 최적화가 필요합니다.

4. MR→VR 전환 기술

• Passthrough Opacity Fade: Passthrough의 투명도를 2~3초에 걸쳐 0.0에서 1.0으로 서서히 조절하여 현실에서 가상 세계(예: 창경궁 배경)로 자연스럽게 이동합니다. 사용자에게 전환 시작을 알리는 시각적 알림을 제공하여 멀미를 방지합니다.
• 비동기 로딩(Async Loading): 전환 과정에서 Passthrough 레이어를 유지한 채 배경 씬을 비동기로 로드하여 사용자에게 검은 화면이 노출되는 것을 방지합니다. DontDestroyOnLoad를 활용하여 Passthrough 레이어의 연속성을 보장합니다.
• 오디오 크로스페이드: 현실의 앰비언트 사운드에서 가상의 공간 음향으로 자연스럽게 전환하여 청각적 몰입감을 유지합니다.

5. 성능 최적화 가이드라인

• 프레임레이트: 안정적인 90fps 유지를 목표로 하며, 최소 72fps를 보장해야 합니다. Snapdragon XR2 Gen 2의 하드웨어 가속 SpaceWarp를 활용하여 36fps 렌더링으로 72fps 효과를 낼 수도 있습니다.
• 렌더링 예산: 드로콜(Draw Call)은 프레임당 200~300개 이하로 제한하며, NPC의 폴리곤 수는 2만~5만 개 수준으로 최적화합니다. LOD(Level of Detail) 시스템을 3단계로 구축하여 거리에 따른 부하를 조절합니다.
• 고급 기술: Fixed Foveated Rendering(FFR)을 Medium 단계로 설정하여 주변부 해상도를 낮춤으로써 GPU 부하를 30% 이상 절감합니다. 또한, NPC 애니메이션 연산을 CPU 대신 GPU에서 처리하는 GPU Skinning을 적용하여 CPU 병목 현상을 해결합니다.

비교 분석

추천 및 Trade-off 분석

옵션 1: Meta XR SDK 전용 최적화 (Native Path)

• 장점: Quest 3의 하드웨어 성능을 100% 활용 가능. Scene Mesh, Depth API 등 최신 기능을 가장 빠르게 적용할 수 있으며 커뮤니티 지원이 풍부함.
• 단점: 타 플랫폼(Samsung, Apple 등)으로의 이식성이 낮음. Meta 생태계에 종속됨.
• 추천 상황: 단기적으로 Quest 3 기반의 고품질 전시를 목표로 할 때 최적의 선택.

옵션 2: AR Foundation 기반 추상화 (Cross-Platform Path)

• 장점: 향후 Samsung Galaxy XR 등 타 안드로이드 기반 XR 기기로의 확장이 용이함. 코드 재사용성이 높음.
• 단점: 플랫폼 전용 최신 기능 적용이 늦어질 수 있으며, 추상화 레이어로 인한 미세한 성능 오버헤드 발생 가능.
• 전략: 플랫폼별 코드를 별도의 어셈블리(Separate Assemblies)로 분리하고, 기능 플래그(Feature Flags)를 활용하여 런타임에 기기별 최적화 기능을 활성화하는 구조를 설계합니다.
• 추천 상황: 장기적으로 다양한 기기를 지원해야 하는 플랫폼화 프로젝트에 적합.

알려진 갭 및 향후 과제

1. Samsung Galaxy XR (알려진 갭 / Known Gap)

• 현황: Samsung Galaxy XR은 Google의 Android XR 플랫폼을 기반으로 개발 중인 것으로 알려져 있습니다. 하드웨어 사양은 Quest 3를 능가할 것으로 예상되나, 현재 본 프로젝트에서는 실기 테스트를 수행하지 못했습니다.
• 대응 방안: OpenXR 표준을 준수하여 개발하고, AR Foundation과 같은 추상화 레이어를 활용하여 향후 기기 확보 시 최소한의 수정으로 이식할 수 있도록 준비해야 합니다.

2. 실시간 공간 재구성의 한계

• 사용자의 움직임이 빠르거나 조명이 어두운 환경에서는 Scene Mesh의 정확도가 떨어질 수 있습니다. 이를 보완하기 위해 NPC가 물리적 환경에 너무 의존하지 않는 세이프티 내비게이션 로직이 필요합니다.

3. 발열 및 배터리 관리

• 고성능 MR 렌더링과 AI 대화 엔진을 동시에 구동할 경우 기기 발열이 심해질 수 있습니다. 장시간 전시를 위해 외부 전원 공급 장치와 쿨링 솔루션에 대한 추가 리서치가 필요합니다.

출처 및 참고문헌

1. Meta Quest 3 공식 기술 사양 (2026년 2월 기준)
2. Meta XR SDK Documentation: Scene Mesh & Spatial Anchors
3. Unity Manual: XR Composition Layers & AR Foundation
4. Qualcomm Snapdragon XR2 Gen 2 Product Brief
5. Android XR Developer Preview Documentation (Google)

English

Overview

This document covers the technical requirements and architecture for implementing the Lady Hyegyong (혜경궁 홍씨) AI NPC project in the Mixed Reality (MR) environment of Meta Quest 3. Equipped with the Snapdragon XR2 Gen 2 chipset, Quest 3 provides powerful on-device processing capabilities and enables seamless integration of virtual characters into physical spaces through high-resolution color Passthrough.

The purpose of this research is to present technical methods to minimize visual disparity and maximize immersion when users interact with Lady Hyegyong in their living rooms or exhibition spaces and perform activities such as Dagwa (다과, tea ceremony) or Seoye (서예, calligraphy). The architecture is designed around Scene Mesh API for understanding the geometric structure of physical spaces and Spatial Anchor technology for fixing the position of virtual objects.

Key Findings

1. Quest 3 MR Architecture and Hardware Specs

• Display: 2064×2208 resolution per eye, supporting up to 90Hz (experimental 120Hz). As of February 2026, it is the most popular high-performance MR headset.
• Processor: Snapdragon XR2 Gen 2. GPU performance has doubled compared to the previous generation, enabling smooth rendering of complex NPCs and real-time Passthrough composition.
• Passthrough: Supports stereo Passthrough using two 4MP RGB cameras, and UI readability can be improved through Composition Layer technology.

2. Unity XR Framework and SDK

• OpenXR + Meta XR SDK: It is most stable to use a combination of Meta XR Core SDK and Interaction SDK based on the industry-standard OpenXR.
• AR Foundation: For cross-platform compatibility, it is recommended to use AR Foundation as an abstraction layer but employ a hybrid approach that directly calls Meta XR packages for Quest 3-specific features (such as Scene Mesh).

3. MR Character Rendering and Spatial Integration

• Scene Mesh API: Generates a real-time 3D mesh of physical walls, floors, and furniture. By utilizing the Meta XR Utility Kit (MRUK), surface labeling data such as TABLE and WALL can be acquired, enabling occlusion where the NPC is hidden behind furniture and navigation where the NPC walks along the actual floor.
• Lighting and Shadows: Samples real-world lighting direction and intensity through AR Foundation’s Light Estimation and applies it to the NPC. A Shadow Matte shader is used to project the NPC’s shadow onto the actual floor, creating a sense of grounding.
• Depth API: Leverages Meta’s Depth API to implement sophisticated hardware-level occlusion, requiring Depth Bias optimization to prevent z-fighting.

4. MR→VR Transition Technical Details

• Passthrough Opacity Fade: Gradually adjusts Passthrough transparency from 0.0 to 1.0 over 2 to 3 seconds to move naturally from reality to the virtual world (e.g., Changgyeonggung Palace background). Visual notifications are provided to inform the user of the transition start to prevent motion sickness.
• Async Scene Loading: Maintains the Passthrough layer while asynchronously loading the background scene during the transition to prevent exposing a black screen to the user. Continuity of the Passthrough layer is ensured using DontDestroyOnLoad.
• Audio Crossfade: Naturally transitions from real-world ambient sounds to virtual spatial audio to maintain auditory immersion.

5. Performance Optimization Guidelines

• Framerate: Targets maintaining a stable 90fps, with a minimum guarantee of 72fps. Hardware-accelerated SpaceWarp on the Snapdragon XR2 Gen 2 can be utilized to achieve a 72fps effect with 36fps rendering.
• Rendering Budget: Limits draw calls to 200-300 or fewer per frame and optimizes the NPC’s polygon count to the 20K-50K range. A 3-level Level of Detail (LOD) system is established to manage the load based on distance.
• Advanced Techniques: Sets Fixed Foveated Rendering (FFR) to the Medium level to reduce peripheral resolution, saving over 30% of GPU load. Additionally, GPU Skinning is applied to process NPC animation calculations on the GPU instead of the CPU, resolving CPU bottlenecks.

Comparative Analysis

Recommendations & Trade-off Analysis

Option 1: Meta XR SDK Native Optimization (Native Path)

• Pros: Can utilize 100% of Quest 3’s hardware performance. Latest features like Scene Mesh and Depth API can be applied most quickly, and community support is abundant.
• Cons: Low portability to other platforms (Samsung, Apple, etc.). Dependent on the Meta ecosystem.
• Recommended Scenario: The optimal choice for aiming for high-quality exhibitions based on Quest 3 in the short term.

Option 2: AR Foundation-based Abstraction (Cross-Platform Path)

• Pros: Easy to expand to other Android-based XR devices like Samsung Galaxy XR in the future. High code reusability.
• Cons: Application of platform-specific latest features may be delayed, and slight performance overhead may occur due to the abstraction layer.
• Strategy: Design a structure that separates platform-specific code into Separate Assemblies and utilizes Feature Flags to activate device-specific optimization features at runtime.
• Recommended Scenario: Suitable for platform projects that need to support various devices in the long term.

Known Gaps & Future Work

1. Samsung Galaxy XR (Known Gap)

• Status: Samsung Galaxy XR is known to be under development based on Google’s Android XR platform. While hardware specs are expected to surpass Quest 3, physical testing has not been performed in this project yet.
• Strategy: Development should comply with OpenXR standards and utilize abstraction layers like AR Foundation to prepare for porting with minimal modifications once the device is acquired.

2. Limitations of Real-time Spatial Reconstruction

• Scene Mesh accuracy may decrease in environments with fast user movement or low lighting. To compensate, safety navigation logic is needed so that the NPC does not rely too heavily on the physical environment.

3. Thermal and Battery Management

• Running high-performance MR rendering and the AI conversation engine simultaneously can cause significant device heat. Additional research on external power supplies and cooling solutions is needed for long-term exhibitions.

Sources & References

1. Meta Quest 3 Official Technical Specifications (As of February 2026)
2. Meta XR SDK Documentation: Scene Mesh & Spatial Anchors
3. Unity Manual: XR Composition Layers & AR Foundation
4. Qualcomm Snapdragon XR2 Gen 2 Product Brief
5. Android XR Developer Preview Documentation (Google)