AR·VR 디바이스에 탑재되는 센서의 최신 트렌드

VR 기기 센서의 새로운 트렌드

메타버스 시장의 성장과 함께 AR, VR, MR 기기 수요가 크게 증가할 것으로 예상됩니다. 현재 게임 및 산업용 애플리케이션이 주요 시장입니다. 2022년 6월 IDC(International Data Corporation)가 발표한 연구에 따르면 VR 헤드셋 시장은 2021년 약 1천만 대에서 2026년에는 세 배 이상으로 성장할 것으로 예상됩니다.

센서 기술은 이러한 광범위한 트렌드에서 중요한 부분을 차지합니다. 영화 시청이나 동영상 탐색을 위한 HMD(헤드 마운트 디스플레이)에는 센서 기술이 필수적이지 않습니다. 그러나 AR/VR 기기에서는 게임을 하거나 업무를 수행하는 데 필수적입니다. 이 글에서는 AR, VR, MR 기기에 사용되는 센서 기술의 최근 동향과 향후 발전 가능성에 대해 다룹니다.

3DoF와 6DoF의 차이점

헤드 마운트 디스플레이(HMD)는 사용자의 움직임에 따라 이미지를 투사합니다. 이는 VR 기기의 시스템이 머리의 방향과 회전 속도를 감지하여 가능해집니다.

머리 방향을 감지하는 VR 기기 시스템은 센서가 감지하는 움직임과 방향에 따라 '3자유도(3DoF)' 또는 '6자유도(6DoF)'로 분류됩니다. 자유도(DoF)는 센서가 감지할 수 있는 범위를 나타냅니다. 센서가 감지할 수 있는 자유도(축)가 높을수록 VR 경험의 몰입도가 높아집니다.

3DoF는 X, Y, Z축의 세 축을 감지할 수 있음을 의미합니다. 시스템은 사용자가 위/아래, 왼쪽/오른쪽, 또는 대각선 아래/위로 보고 있는지 인식할 수 있습니다. 3DoF 호환 HMD는 주로 360도 이미지를 보는 데 사용됩니다.

6자유도(6DoF)에 비해 기능이 적고 사용자가 더 저렴한 비용으로 VR을 경험할 수 있습니다. 또한, 손이나 발의 움직임을 감지할 필요가 없어 공간을 덜 차지합니다. 여러 사람이 동시에 VR을 시청할 수 있습니다. 이러한 특징 덕분에 3자유도(3DoF) 호환 HMD는 놀이공원, 박물관, 기업 교육 프로그램에서 사용되고 있습니다.

반면, 6자유도(6DoF)는 센서가 감지할 수 있는 6개의 자유도를 가집니다. 아래 그림과 같이, 시스템은 머리 움직임뿐만 아니라 X, Y, Z축 방향으로도 사용자의 움직임을 감지합니다. 구체적으로, 앞뒤, 좌우, 상하 움직임을 인식할 수 있습니다.

센서 수가 증가함에 따라 6자유도 VR 기기는 3자유도 VR 기기보다 가격이 더 비쌉니다. 또한, 몸과 머리의 움직임을 모두 감지할 수 있기 때문에 3자유도 VR 기기보다 더 넓은 공간을 필요로 합니다. 하지만 6자유도 VR 기기는 사용자에게 더욱 몰입감 있는 경험을 제공할 수 있습니다. 현실과 더욱 유사한 환경을 제공할 수 있기 때문에 손과 몸 움직임을 포함하는 현실적인 시뮬레이션 훈련에 적합합니다.

360도 영상 녹화 및 컴퓨터 그래픽을 보고 조작하는 것이 주 목적이라면 3자유도(3DoF)로도 충분합니다. 하지만 자유롭게 움직일 수 있는 VR 경험을 위해서는 6자유도(6DoF)를 갖춘 기기가 필요합니다(예: 걷기, 웅크리기, 손 움직이기).

외부-내부 및 내부-외부 추적 기술

HMD에 내장된 센서를 이용하여 머리와 목의 움직임을 포착하는 기능을 "헤드 트래킹"이라고 합니다. 사용자가 위, 아래, 왼쪽, 오른쪽을 볼 때 센서가 움직임을 인식하고 그에 맞는 이미지를 표시합니다.

이를 통해 사용자는 컴퓨터 그래픽 VR 환경 내에서 360° 시야를 확보할 수 있습니다. 3DoF 장치는 HMD에 설치된 가속도, 자이로, 자력계 센서를 사용하여 머리의 방향과 회전 방향을 감지합니다.

반면, 6자유도(6DoF) 기기에서는 사용자의 머리 위치와 움직임을 감지하기 위해 센서가 필요합니다. 1. 외부-내부: TV 위나 실내 어딘가에 별도의 추적 카메라를 설치하여 머리와 몸의 움직임을 감지합니다. 2. 내부-외부: HMD 또는 고글에 센서가 내장되어 있습니다.

아웃사이드-인(Outside-In) 방식은 카메라와 센서가 외부에 위치하기 때문에 사용자가 감지 가능한 제한된 공간 내에 있어야 합니다. 반면, 인사이드-아웃(Inside-Out) 방식은 VR 기기에 설치된 카메라와 센서를 사용하여 외부 이미지를 캡처, 측정 및 분석하여 사용자의 머리 방향과 움직임 방향을 파악합니다. 따라서 공간 제약이 없고 사용자는 방 안을 자유롭게 이동할 수 있습니다.

위치 추적

현재 시중에 나와 있는 대부분의 VR 기기는 사용자가 손에 든 컨트롤러를 사용하여 VR 아바타를 제어할 수 있도록 합니다. 광학 센서가 장착된 기존 VR 기기는 외부로 적외선을 방출하고, 이 적외선을 외부 센서가 수신하여 사용자의 위치를 파악합니다. 이를 위해서는 실내에 외부 센서를 설치하고, 센서를 헤드셋에 연결하는 케이블이 필요합니다.

반면, 외부 센서나 코드가 필요 없는 기기들이 등장하여 헤드셋과 컨트롤러만으로 VR 경험을 가능하게 합니다. HMD와 컨트롤러 모두 6자유도(6DoF)와 호환됨으로써, 사용자의 실제 움직임과 VR 아바타를 자동으로 결합할 수 있습니다.

이러한 장치는 헤드셋이나 컨트롤러에서 방출되는 빛, 적외선, 초음파 등의 시간 차이와 빛이 물체에서 반사되는 데 걸리는 시간 차이로 물체까지의 거리를 측정하는 ToF(Time-of-Flight) 방식을 사용합니다. 최근 이 기술은 자율 주행 차량의 장애물 감지 시스템에 사용되고 있습니다.

손 추적으로 VR 기기 작동 혁신

현재 주류 VR 기기는 손에 든 컨트롤러를 사용하여 아바타를 제어합니다. 하지만 더욱 몰입감 있는 경험을 제공하기 위해 손 추적 기술이 개발되고 있습니다.

핸드 트래킹은 HMD에 부착된 카메라가 사용자의 손을 인식하고 VR 또는 MR 아바타의 손에 그 위치를 반영하는 방식입니다. 이를 통해 컨트롤러로 아바타를 조작하는 불편함을 해소할 수 있습니다. 손을 흔들거나 가위바위보를 하는 것처럼 손끝까지 섬세한 움직임을 표현할 수 있어 섬세한 손동작을 통한 소통도 가능합니다.

또한, 손 추적 기능이 컨트롤러를 대체하게 되면 컨트롤러 충전 및 페어링의 번거로움도 해소되어 VR 경험이 더욱 편리해질 것입니다. 컨트롤러를 잡을 때 발생하는 손의 피로도도 줄어들고 제조 비용도 절감될 것입니다. 앞으로는 손동작을 통해 영상을 일시 정지하거나 빨리 감기하는 등 VR 공간을 직관적으로 제어할 수 있게 될 것입니다.

손 추적은 여러 대의 카메라와 AI 기술을 활용하여 손가락의 위치와 움직임을 정확하게 파악합니다. 더 나아가, 장갑 컨트롤러를 이용하여 촉각을 재현하는 기술(햅틱 기술)도 개발되고 있습니다. VR 분야에서는 손과 관련된 다양한 기술 발전의 잠재력이 있습니다.

VR에서 사람의 시선을 반영하기 위한 시선 추적

VR 작업에서 손을 사용하는 것과 더불어, 인간의 눈 움직임을 활용하는 시선 추적 센서 또한 발전하고 있습니다. 시선 추적 센서는 VR 기기 내부에 설치되어 사용자의 시선에 맞춰 시선의 움직임을 포착합니다.

VR 경험의 단점 중 하나는 멀미와 유사한 'VR 멀미'입니다. 하지만 시선 추적은 이 문제를 완화하는 데 도움이 될 수 있습니다. 시선 추적은 가상 공간에 시선의 움직임을 반영하여 사용자가 다른 아바타를 응시하거나, 눈을 마주치거나, 슈팅 게임에서 시선만으로 표적을 조준할 수 있도록 합니다.

현재의 시선 추적 센서는 근적외선 카메라를 사용하여 각막과 안구에서 반사되는 빛의 지점을 포착하여 시선의 방향과 위치를 추정합니다.

시선 추적을 통해 현실적인 시각적 세계를 구현할 수 있습니다.

사람이 한 가지 사물에 집중하면 주변이 흐릿해집니다. 그러나 일반 VR 기기에서는 투사된 모든 이미지가 선명하게 보입니다. 이로 인해 시청자는 현실과의 차이를 느끼고 몰입감이 떨어지는 현상을 경험하게 됩니다. 시선 추적 기능은 이러한 불편함을 효과적으로 해소합니다.

시선 추적 기술이 더욱 발전하면 '금지된 렌더링'이라는 기술도 가능해질 것입니다. 이는 근적외선 카메라를 사용하여 사용자의 눈 움직임을 감지하고 시야 주변에만 고해상도 이미지를 투사합니다.

사용자가 집중하는 영역만 고해상도로 렌더링하고, 바깥쪽으로 갈수록 저해상도로 렌더링하면 기기의 연산 부담을 크게 줄이고 전반적인 그래픽 품질을 크게 향상시킬 수 있습니다. 시선 추적 기술은 시각적 표현을 실제 세계에 더욱 가깝게 구현하여 더욱 향상되고 시각적 품질이 향상된 VR 경험을 제공할 것으로 기대됩니다.

Dexerials의 눈 추적 센서 제품

덱세리얼즈의 이방성 전도성 필름(ACF)과 반사방지 필름(ARF)은 시선 추적 센서의 개발과 품질 향상에 기여합니다.

시선 추적 센서는 종종 기기의 눈 주위에 배치됩니다. 센서가 필름 기판을 사용하는 경우, 일반적으로 광학적으로 투명합니다. FPC(연성 인쇄 회로 기판)는 적외선 LED의 신호 배선을 위해 광학적으로 투명한 필름에 접합되는 경우가 있으며, 점점 더 많은 고객이 이러한 목적으로 덱세리얼즈의 ACF(탄성파장필름)를 채택하고 있습니다. ACF로 접합하면 시선 추적 센서 모듈이 더 얇고, 더 작고, 더 가벼워질 수 있습니다.

또한 덱세리얼즈의 반사 방지 및 나방형 반사 방지 필름을 사용하여 하우징 내부의 빛 반사를 억제할 수 있습니다.

10개 이상의 카메라와 센서를 탑재한 VR 기기

앞으로는 여러 센서와 카메라 모듈을 사용하여 외부 이미지와 VR 이미지를 결합하는 VR 및 MR 장치가 등장할 것입니다. 이러한 장치에는 10개 이상의 카메라와 센서 모듈이 장착될 수 있습니다. 렌즈 부착에 사용되는 덱세리얼즈의 ACF와 UV 및 열경화성 접착제는 VR 및 MR 장치 개발에 기여할 수 있습니다.

더욱이 다양한 추적 기술의 발전을 통해 미래의 VR 및 MR 기기는 사람의 머리, 목, 몸, 시선, 손 등의 미세한 움직임을 정확하게 인식하고 이미지, 소리, 촉각적 감각을 생성할 수 있게 될 것입니다. 덱세리얼은 메타버스를 위한 새로운 기기 개발에 지속적으로 기여할 것입니다.