AR・VRデバイスに搭載されるセンサーの最新トレンド

VRデバイス搭載センサーの新潮流

今後の成長が期待されているメタバース関連市場にあわせ、AR・VR・MRデバイスの需要が大きく拡大すると見込まれています。現在はゲーム用途や産業用途が中心ですが、International Data Corporation（IDC）が2022年6月に発表した調査によれば、2021年には約1000万台だったVRヘッドセットの市場が、5年後にはその3倍以上にまで拡大すると予測されています。

この普及トレンドの中で重要視されているのが、センサー技術です。単純にヘッドマウントディスプレイで、映画などのコンテンツを大画面で観て楽しむだけであれば、センサー技術はそれほど必要とされません。その一方、AR・VRデバイスを使ってゲームをしたり、作業をしたりする場合には、センサー技術は必要不可欠です。本記事では、AR・VR・MRデバイスで使われるセンサー技術の近年のトレンドと、今後の発展の可能性について取り上げます。

3DoFと6DoFの違い

ヘッドマウントディスプレイを装着すると、上を向けば上の映像が、横を向けば横の映像がまるで本当の世界のように映し出されます。それを実現しているのが、VRデバイスに搭載された頭の向きや回転速度を検知するシステムです。

VRデバイスの頭の向きを検知するシステムは、センサーで感知する動きや方向によって、「3DoF」と「6DoF」に分類されます。DoFとは「Degree of Freedom」の略称で、「センサーが感知できる自由度」のことです。このセンサーが感知できる自由度（軸）が増えれば増えるほど、VR空間内で再現できる表現のバリエーションを増やすことが可能です。

3DoFの場合は、検知できる軸が、X軸・Y軸・Z軸の3つあることを意味します。ヘッドセットを取り付けた頭の上下、左右、傾きの軸を検知することにより、ユーザーが「上・下、左・右、斜め下・斜め上」のどの方向を見ているかを認識し、それに合わせてVR空間の映像を360°方向に投影します。

3DoFの対応ヘッドマウントディスプレイは360°の映像を鑑賞する用途がメインです。6DoFに比べて機能が少なく、低コストでVRを体験することができます。また、手や足の動きをセンシングする必要がないため、使用に必要なスペースも狭く、複数人で同時にVRを鑑賞することもできます。このような特徴から、最近では3DoF対応ヘッドマウントディスプレイが、遊園地や美術館、企業での研修などに用いられるようになってきています。

それに対して6DoFは「センサーが感知できる自由度が6軸ある」システムです。以下のイラストのように、頭の動きに加えて、「装着者自身のX・Y・Z軸方向への移動」も検知することで、ユーザーの“移動”を認識することができます。具体的には、「前後」への移動と「左右」への移動、「上下」への移動が認識できるようになります。

センサーの数が増えるため、6DoFは3DoFのVRデバイスよりコストは嵩みますが、頭の動きに加えて、体の動きを認知できるようになるため、ユーザーはより没入感が得られます。VR空間内で、より現実に近く動作できることから、実際に手や身体を動かす体験型トレーニングなどのコンテンツに向いています。ただし、3DoFに比べてユーザーの動作が大きく、また手に持ったコントローラーなども動かすため、使用には一定のスペースの確保が必要となります。

360°の映像・CGを鑑賞したり操作したりするだけのコンテンツであれば、3DoFで十分ですが、見るだけでなく、VR空間の中で、歩き、しゃがみ、手を動かすといったアクションを含んだコンテンツを楽しみたい場合には、6DoFが搭載されたデバイスが必要になります。

ヘッドトラッキングを実現するOutside InとInside Out技術

頭に装着されたヘッドマウントディスプレイに搭載のセンサーにより、頭や首の動きを捉える機能のことを「ヘッドトラッキング」と呼びます。顔を上下左右に向けると、その動きをセンサーが認知し、顔の動きに合った映像が映し出され、CGのVR空間内でも360°上下左右の景色を楽しめるという仕組みです。

動きに合わせて映像も連動するため、画面の中のVR空間にいるかのような錯覚をユーザーにもたらします。3DoFのデバイスでは、ヘッドマウントディスプレイ内部に搭載された、加速度センサー、ジャイロセンサー、地磁気センサーによって頭の向きや回転方向を検知します。

一方、6DoFのデバイスにおいては、頭部の位置・動きを検出するためのセンサーが必要になります。その方式には2種類があり、TVの上や部屋のどこかに別途カメラを設置して、そのトラッキングカメラによって頭や身体の動きを認知する「Outside In」タイプと、ヘッドマウントディスプレイやゴーグルにセンサーを内蔵する「Inside Out」タイプがあります。

Outside Inタイプでは、カメラやセンサーが外部にあるため、撮影・センシングできるエリア内に装着者がいる必要があります。一方、Inside Outタイプは装着者の頭部に取り付けられたカメラやセンサーが外部の映像を撮影・測定・分析し、頭の向きや移動方向を割り出します。そのため、場所に制限がなく、部屋の中を自由に移動しながらVR空間を楽しむことができます。Inside Outタイプのデバイスは、最近になって高級品を中心に採用が広がっています。

位置を検知するポジショントラッキング

現在、市販されているVRデバイスの多くは、装着者が手に持ったコントローラーを動かすことで、VR空間のアバターを操作します。従来の光学式センサーを搭載したVRデバイスは、赤外線を外に向けて照射し、その赤外線を外部のセンサーが受光することで、装着者の位置を割り出していました。そのため部屋の中に外部センサーを設置する必要があり、センサーとヘッドセットをつなぐコードなども必要でした。

一方、外部センサーやコードが不要で、ヘッドセットとコントローラーだけでVR体験が可能となったデバイスも登場しています。ヘッドマウントディスプレイとコントローラーの双方を6DoFに対応させることで、現実世界にいる装着者と、VR空間のアバターの動きを自動的かつ違和感なく合成することができるようになったのです。

そうしたデバイスでは、対象物までの距離の計測に、ToF（Time-of-Flight）という方式を採用しています。ToFは、ヘッドセットやコントローラーから光や赤外線、超音波などを照射し、対象物から反射して戻ってくるまでの時間差から、対象物との距離を測定する方式です。近年では、自動運転車などの障害物を検知するシステムなどにも、活用が進んでいる技術です。

VRデバイスの操作に革新をもたらすハンドトラッキング

現在主流のVRデバイスは、手に握ったコントローラーによってアバターを操作する方式です。それに対して近年、さらなる没入感を得るための方式として開発が進んでいるのが「ハンドトラッキング」という技術です。

ハンドトラッキングとは、ヘッドマウントディスプレイに付いているカメラが装着者の手を認識し、その位置をVR空間上やMR空間のアバターの手に反映させる方式です。これによりコントローラーでアバターを操作する違和感がなくなります。また指先までの動きが表現できるようになることで、手を振ったり、じゃんけんをするなど、細かい手の動きによるコミュニケーションを可能にします。

また、ハンドトラッキング機能によりコントローラーが不要になれば、コントローラーを充電したりペアリングしたりする手間も省け、VR体験の手軽さが増します。コントローラーを持ち続けることで発生する手の疲労もなくなり、コントローラーの製造コストの削減にも繋がります。今後は、手のジェスチャーだけで映像の一時停止や早送りをするなど、VR空間を直感的に操作できるようになる可能性があります。

ハンドトラッキングでは、指の位置と移動を正確に把握するために、複数のカメラとディープラーニングなどのAI技術が活用されています。この他にもグローブ型のコントローラーを用いることで物体と接触した感覚を再現する技術（ハプティクス技術）などの開発も進んでおり、手を用いたVR空間の操作にはさまざまな技術発展の可能性があります。

人の視線をVR空間に反映するアイトラッキング

VR空間の操作で「手」とともに技術開発が進むのが、人間の「目」の動きを利用した「アイトラッキングセンサー」です。アイトラッキングセンサーとは、装着するVRデバイスの内側部分に搭載された、装着者の視線の動きや焦点を捉え、映像にその動きを反映するためのセンサーです。

VR体験における欠点の一つに、ピンボケのように焦点が合わなくなる「VR酔い」がありますが、アイトラッキングを導入することにより、その改善を図ることができます。また、視線の動きを仮想空間の映像に反映させることで、他のアバターと見つめ合ったり、アイコンタクトを送ったり、シューティングゲーム上で視線だけで照準を合わせるといったことが実現できるようになります。

現在のアイトラッキングセンサーは、近赤外線カメラによって、角膜上の光の反射点と眼球を撮影し、その変動から視線の向きや位置を推定するという方法が使われています。

リアルな映像世界をアイトラッキングが実現

日常生活においてあまり意識することはありませんが、人間は現実空間で物を見るとき、意識を集中する場所を中心にはっきりと焦点を合わせ、それ以外の景色はぼやけています。しかし、一般のVRデバイスでは、映し出される映像の全てがはっきりと焦点が合った状態で映るため、現実との差異を感じて没入感が削がれるという現象が起こります。その違和感をなくすのにも、アイトラッキング機能は有効です。

アイトラッキングを発展させれば、近赤外線カメラでユーザーの眼球の動きを検知することにより、視界周辺だけ解像度の高い映像を映す「フォービエイデッド・レンダリング」という技術を導入することが可能となります。

ユーザーの焦点が合っているエリアだけを高解像度で描画し、そこから外側にいくにつれて低解像度で描画すれば、コンピューティングにかかるデバイスへの負担を大幅に軽減し、全体のグラフィック品質を大幅に向上できる可能性もあります。アイトラッキング技術により、現実空間に近い映像表現が可能になり、視覚的なVR体験の改善、高品質化につながることが期待されています。

アイトラッキングに貢献するデクセリアルズの異方性導電膜（ACF）と反射防止フィルム

デクセリアルズには、アイトラッキングセンサーの開発・品質向上に貢献できる材料として、「異方性導電膜（ACF）」と「反射防止フィルム」があります。

アイトラッキングセンサーはデバイスの眼の周辺に配置されることが多く、センサーにフィルム基板が使われる場合、光学透明フィルムが採用されるケースが多くあります。こうした光学透明フィルム上の赤外線LEDの信号引き出し配線には、FPC（フレキシブルプリント基板）が実装されることがあり、そこでデクセリアルズの異方性導電膜を採用されるお客さまが増えています。異方性導電膜（ACF）で実装することにより、アイトラッキングセンサーモジュールの薄型化や小型化、軽量化ができます。

また、アイトラッキングセンサーの実装には筐体内での光の反射を抑える必要がありますが、そこでデクセリアルズのスパッタリング技術を用いた反射防止フィルムや反射防止フィルム モスアイタイプが活用できます。

VRデバイスのカメラ・センサーは10個以上に増加

今後、VR・MRデバイスでは複数のセンサーやカメラモジュールを用いて、外部の実際の映像とVR空間の映像を組み合わせるタイプがリリースされていくといわれています。そうしたデバイスには10個以上のカメラモジュールやセンサーモジュールが搭載される可能性があり、近年のスマートフォンと同様に、デクセリアルズの異方性導電膜やレンズ固定用の紫外線・熱硬化型の接着剤が大いに貢献できると考えています。

VRデバイスやMRデバイスは今後、各種のトラッキング技術やセンサー技術の向上により、人の頭や首、体や視線、手などの細かい動きを精密に認識し、それにあわせた映像や音声、触覚などを表現するようになっていくはずです。これまでの人類が体験したことのない、新しいメタバース空間を創出するために、私たちは新デバイスの開発に貢献していきます。