MIV (Mpeg Immersive Video) 소개

(출처 : https://mpeg-miv.org/index.php/overview/)

About MIV – MPEG Immersive video (MIV)

 

1. MIV (Mpeg Immersive Video) 소개

MPEG Immersive Video(MIV) 표준은 실제 또는 가상 3D 장면이 여러 실제 또는 가상 카메라로 캡처되는 볼류메트릭 비디오라고도 하는 몰입형 비디오 콘텐츠의 압축을 특징으로 합니다. 

이를 통해 기존 및 미래의 네트워크를 통해 몰입형 비디오 콘텐츠를 저장 및 배포할 수 있으며, 제한된 보기 공간 내에서 캡처 설정에 따라 다양한 시야로 보기 위치 및 방향의 6자유도(6DoF)로 재생할 수 있습니다. 

 

카메라 장비는 헤드 마운트 디스플레이(Head Mounted Display, HMD)로 보기에 적합한 넓은 시야에 대해 상당한 측면 변위 또는 발산을 허용하도록 선형으로 배치된 공동 정렬된 카메라의 평면 설정일 수 있습니다. 

평면 전방향 2D 비디오 경험과 비교할 때 MIV는 전례 없는 수준의 시각적 편안함과 몰입감을 약속합니다.

 

2. MIV 표준화 및 로드맵

MIV 표준은 몰입형 미디어를 디지털 방식으로 표현하기 위한 표준 모음인 ISO/IEC 23090 MPEG-I의 일부입니다. 2021년 1월 회의에서 국제 표준 초안(DIS) 상태에 도달했으며, 이는 같은 해 3분기에 ISO/IEC 23090-12 사양으로 ISO에 게시하기 위해 전달될 FDIS(최종 국제 표준 초안)에 해당합니다.

2020년에 MIV 표준은 많은 기술적인 공통점으로 인해 V-PCC( Video-based Point Cloud Compression ) MPEG 표준(ISO/IEC 23090-5)과 일치하여 두 사양 모두 구조 조정되었습니다. 

 

결과적으로 MIV 표준은 ISO/IEC 23090-5 2nd edition Visual Volumetric Video-based Coding 의 공통 부분을 참조합니다.(V3C) [2] - DIS 상태도 있음 - 해당 문서의 V-PCC 부속서 H 포함. V3C는 V‑PCC 및 MIV용 확장 메커니즘을 제공합니다. 마지막으로 SC 29/WG 03 MPEG Systems는 2021년 1월 FDIS(최종 국제 표준 초안) 단계에 도달한 V3C 데이터(ISO/IEC 23090-10)[3] 전송을 위해 ISOBMFF 기반 시스템 표준도 개발했습니다.

 

 

3. 주요 설계 원칙

MIV 설계의 핵심은 비디오 압축 기술과 종단 간 에코시스템을 활용하는 것입니다. V3C는 비디오 코덱에 구애받지 않기 때문에 오늘날 MIV 표준은 HEVC 기술을 사용하지만 차세대 코덱으로 원활하게 전환할 수 있습니다. 영상 압축 기술은 기하학 정보(깊이)와 질감, 투명도와 같은 속성 정보에 적용된다. 

이 정보는 여러 카메라 입력 간의 중복을 제거하고 왼쪽 그림과 같은 패치 아틀라스로 이어지는 프로세스에 의해 생성됩니다. 다양한 아틀라스 생성 과정이 가능합니다. MIV 사양에는 그룹 기반 인코딩, 기하학이 투명도로 대체되는 MPI(다중 평면 이미지), 엔터티 기반 코딩, 인페인팅 정보, 공간 및 시간 액세스 등과 같은 여러 기능이 포함됩니다. 

 

일반적인 대역폭은 MIV 참조 소프트웨어에서 시뮬레이션한 것처럼 몇 Mbps에서 수십 Mbps에 이르며 실시간 디코더가 있는 여러 데모가 방송 또는 광대역 구성에서 수행되었습니다. 후자의 경우, Carriage of V3C 데이터 시스템 사양은 DASH 적응 스트리밍 전략과 같은 메커니즘을 구현하는 방법을 제공합니다.

 

 

4. 비디오 기반 시각적 체적 코딩(V3C)

V-PCC 및 MIV는 공통 비트스트림 형식(V3C)을 공유합니다. V-PCC 및 MIV 사양은 V3C를 참조하여 확장 및 프로필 집합을 정의합니다. 예를 들어, MIV는 다중 지도책과 보기 매개변수를 지원하는 반면 V-PCC는 점 재구성 데이터를 지원합니다. 각 아틀라스에 대해, 기하학, 점유 및/또는 속성 정보는 패치 매개변수를 포함하는 아틀라스 하위 비트스트림과 병렬로 비디오 하위 비트스트림으로 전달됩니다. 보기 매개변수(카메라 외부 요소, 내부 요소, 해상도 등)는 아틀라스 간에 공유되는 공통 아틀라스 하위 비트스트림으로 전달됩니다.

5. 프로필

MIV 표준은 클라이언트 측에서 다양한 등급의 대역폭 또는 디코딩 리소스에 적용할 수 있는 축소된 프로파일 세트와 함께 제공됩니다. 점유 및 질감이 포함된 지오메트리를 기반으로 하고 종종 MVD(다중 비디오 + 깊이용)로 명명되는 기본 프로필 외에 다른 확장 프로필은 점유율을 지오메트리와 분리할 수 있으며 MPI 형식 전달을 허용하는 제한된 지오메트리 하위 프로필을 사용하여 투명도 속성을 활성화할 수 있습니다. 마지막으로 마지막 Geometry Absent 프로파일을 사용하면 클라이언트 측에서 기하학 정보를 생성할 수 있습니다.

(출처 : https://mpeg-miv.org/index.php/overview/)