Die neuesten Trends bei in AR/VR-Geräten installierten Sensoren

Neue Trends bei VR-Gerätesensoren

Die Nachfrage nach AR-, VR- und MR-Geräten dürfte mit dem Wachstum des Metaverse-Marktes deutlich steigen. Aktuell stehen Gaming- und Industrieanwendungen im Fokus. Laut einer im Juni 2022 veröffentlichten Studie der International Data Corporation (IDC) wird der Markt für VR-Headsets voraussichtlich von rund 10 Millionen Einheiten im Jahr 2021 auf mehr als das Dreifache bis 2026 wachsen.

Sensortechnologie ist ein wichtiger Bestandteil dieses vorherrschenden Trends. Sensortechnologie ist in Head-Mounted-Displays nicht unbedingt erforderlich, um Filme anzusehen oder Videos zu durchsuchen. Für AR/VR-Geräte ist sie jedoch unerlässlich, um Spiele zu spielen oder zu arbeiten. Dieser Artikel behandelt aktuelle Trends in der Sensortechnologie von AR-, VR- und MR-Geräten sowie mögliche zukünftige Entwicklungen.

Der Unterschied zwischen 3DoF und 6DoF

Head-Mounted Displays (HMDs) projizieren Bilder entsprechend der Bewegung des Nutzers. Möglich wird dies durch ein System in VR-Geräten, das die Ausrichtung und Rotationsgeschwindigkeit des Kopfes erkennt.

VR-Gerätesysteme, die die Kopfausrichtung erkennen, werden je nach der vom Sensor erfassten Bewegung und Richtung als „3DoF“ oder „6DoF“ klassifiziert. DoF (Degrees of Freedom) gibt an, wie viel ein Sensor wahrnehmen kann. Je mehr Freiheitsgrade (Achsen) diese Sensoren erfassen, desto intensiver ist das VR-Erlebnis.

3DoF bedeutet, dass drei Achsen erkannt werden können: X-, Y- und Z-Achse. Das System kann erkennen, ob der Benutzer nach oben/unten, links/rechts oder schräg nach unten/oben blickt. 3DoF-kompatible HMDs werden hauptsächlich zur Betrachtung von 360°-Bildern verwendet.

Im Vergleich zu 6DoF bietet es weniger Funktionen und ermöglicht Nutzern ein VR-Erlebnis zu geringeren Kosten. Zudem wird weniger Platz benötigt, da keine Hand- oder Fußbewegungen erfasst werden müssen. Außerdem können mehrere Personen gleichzeitig die VR betrachten. Aufgrund dieser Eigenschaften werden 3DoF-kompatible HMDs in Freizeitparks, Museen und in betrieblichen Schulungsprogrammen eingesetzt.

Im Gegensatz dazu verfügt 6DoF über sechs Freiheitsachsen, die der Sensor erfassen kann. Wie in der Abbildung unten dargestellt, erkennt das System neben Kopfbewegungen auch die Bewegungen des Benutzers in X-, Y- und Z-Richtung. Insbesondere kann es Bewegungen vor/zurück, links/rechts sowie auf/ab erkennen.

Aufgrund der höheren Sensoranzahl sind 6DoF-VR-Geräte teurer als 3DoF-VR-Geräte. Da sie sowohl Körper- als auch Kopfbewegungen erfassen können, benötigen sie zudem mehr Platz als 3DoF-Geräte. 6DoF-VR-Geräte bieten dem Nutzer jedoch ein intensiveres Erlebnis. Durch die Möglichkeit, eine realitätsnähere Umgebung zu schaffen, eignen sie sich für realistisches Simulationstraining mit Hand- und Körperbewegungen.

3DoF ist ausreichend, wenn der Hauptzweck die Anzeige und Bedienung von 360°-Videoaufnahmen und Computergrafiken ist. Für ein VR-Erlebnis mit Bewegungsfreiheit (z. B. Gehen, Hocken und Bewegen der Hände) ist jedoch ein Gerät mit 6DoF erforderlich.

Outside-In- und Inside-Out-Tracking-Technologie

Die Funktion, die die Bewegung von Kopf und Hals mithilfe von Sensoren in einem HMD erfasst, heißt „Head Tracking“. Wenn ein Benutzer nach oben, unten, links oder rechts blickt, erkennt der Sensor die Bewegung und zeigt ein entsprechendes Bild an.

Dadurch erhält der Benutzer eine 360°-Ansicht innerhalb der computergrafischen VR-Umgebung. 3DoF-Geräte erkennen die Ausrichtung und Drehrichtung des Kopfes mithilfe der im HMD installierten Beschleunigungs-, Gyro- und Magnetometersensoren.

Bei 6DoF-Geräten hingegen werden Sensoren benötigt, um die Kopfposition und -bewegung des Benutzers zu erfassen. Es gibt zwei Arten von Systemen: 1. Outside-in: Eine separate Tracking-Kamera wird über dem Fernseher oder irgendwo im Raum installiert, um Kopf- und Körperbewegungen zu erfassen. 2. Inside-out: Ein Sensor ist in das HMD oder die Brille integriert.

Beim Outside-In-Typ befinden sich die Kameras und Sensoren außen, sodass sich der Benutzer in einem begrenzten Bereich befinden muss, in dem sie erkannt werden können. Beim Inside-Out-Typ hingegen werden im VR-Gerät installierte Kameras und Sensoren verwendet, um externe Bilder zu erfassen, zu messen und zu analysieren und so die Kopfausrichtung und Bewegungsrichtung zu bestimmen. Daher gibt es keine räumlichen Einschränkungen und Benutzer können sich frei im Raum bewegen.

Positionsverfolgung

Die meisten VR-Geräte auf dem Markt ermöglichen die Steuerung eines VR-Avatars über einen Handcontroller. Herkömmliche VR-Geräte mit optischen Sensoren senden Infrarotstrahlen aus, die von einem externen Sensor empfangen werden, um die Position des Benutzers zu bestimmen. Dies erfordert die Installation eines externen Sensors im Raum sowie ein Kabel, um den Sensor mit dem Headset zu verbinden.

Andererseits gibt es mittlerweile Geräte, die keine externen Sensoren oder Kabel benötigen und VR-Erlebnisse nur mit Headset und Controller ermöglichen. Indem sowohl das HMD als auch der Controller mit 6DoF kompatibel gemacht werden, können die realen Bewegungen des Benutzers automatisch mit seinem VR-Avatar kombiniert werden.

Solche Geräte nutzen die Time-of-Flight-Methode (ToF). Sie misst die Entfernung zu einem Objekt anhand der Zeitdifferenz zwischen den vom Headset oder Controller ausgesendeten Licht-, Infrarot- und Ultraschallwellen usw. und der Zeit, die das Licht benötigt, um vom Objekt reflektiert zu werden. In den letzten Jahren wird diese Technologie in Systemen zur Hinderniserkennung in selbstfahrenden Fahrzeugen eingesetzt.

Handtracking revolutioniert die Bedienung von VR-Geräten

Derzeit werden Avatare bei gängigen VR-Geräten über einen Handcontroller gesteuert. Die Handtracking-Technologie wird jedoch weiterentwickelt, um ein noch intensiveres Erlebnis zu ermöglichen.

Handtracking ist eine Methode, bei der eine an einem HMD befestigte Kamera die Hände des Benutzers erkennt und deren Position in den Händen des VR- oder MR-Avatars widerspiegelt. Dadurch entfällt die umständliche Steuerung eines Avatars mit einem Controller. Die Möglichkeit, Bewegungen bis in die Fingerspitzen auszudrücken, wie z. B. Winken oder Schere-Stein-Papier-Spielen, ermöglicht zudem die Kommunikation durch feine Handbewegungen.

Da die Handverfolgungsfunktion zudem keinen Controller mehr benötigt, entfällt auch das lästige Laden und Koppeln von Controllern, was das VR-Erlebnis komfortabler macht. Dies würde auch die Ermüdung der Hände durch das Halten des Controllers verringern und die Herstellungskosten senken. Zukünftig könnten Nutzer VR-Räume intuitiv steuern, beispielsweise durch Handgesten ein Video pausieren und vorspulen.

Handtracking nutzt mehrere Kameras und KI-Technologien, um Position und Bewegung der Finger präzise zu bestimmen. Darüber hinaus befindet sich eine Technologie in der Entwicklung, die das Tastgefühl mithilfe einer Handschuhsteuerung (Haptiktechnologie) reproduziert. VR bietet Potenzial für verschiedene handbezogene technologische Entwicklungen.

Eye Tracking zur Darstellung der Blickrichtung einer Person in VR

Neben der Nutzung von Händen in VR-Anwendungen entwickeln sich auch Eye-Tracking-Sensoren, die die Bewegungen des menschlichen Auges nutzen, weiter. Eye-Tracking-Sensoren werden im Inneren eines VR-Geräts installiert, um die Augenbewegungen des Benutzers zu erfassen und so seine Blickrichtung in der VR abzubilden.

Einer der Nachteile des VR-Erlebnisses ist die sogenannte „VR-Krankheit“, ähnlich der Reisekrankheit. Eye-Tracking kann dieses Problem jedoch lindern. Durch die Spiegelung der Augenbewegungen im virtuellen Raum können Nutzer andere Avatare anstarren, Blickkontakt herstellen oder in einem Shooter-Spiel nur mit ihrer Sichtlinie auf ein Ziel zielen.

Aktuelle Eye-Tracking-Sensoren erfassen mit einer Nahinfrarotkamera die Reflexionspunkte des Lichts auf der Hornhaut und dem Augapfel, um die Richtung und Position des Blicks abzuschätzen.

Eye Tracking ermöglicht realistische Bildwelten

Wenn sich eine Person auf einen Gegenstand konzentriert, wird die Umgebung unscharf. Bei herkömmlichen VR-Geräten sind jedoch alle projizierten Bilder klar fokussiert. Dadurch spürt der Betrachter einen Unterschied zur Realität und verliert so das Gefühl des Eintauchens in die Realität. Die Eye-Tracking-Funktion kann dieses unangenehme Gefühl effektiv beseitigen.

Weitere Entwicklungen im Eye-Tracking werden auch eine Technologie namens „Forbidden Rendering“ ermöglichen, bei der mithilfe einer Nahinfrarotkamera die Augenbewegungen des Benutzers erkannt und hochauflösende Bilder nur im Bereich des Sichtfelds projiziert werden.

Das Rendern nur der Bereiche, auf die sich der Benutzer konzentriert, in hoher Auflösung und zusätzlich das Rendern in niedrigerer Auflösung nach außen könnte die Rechenlast des Geräts deutlich reduzieren und die Grafikqualität insgesamt deutlich verbessern. Die Eye-Tracking-Technologie soll realistischere visuelle Ausdrücke ermöglichen und so zu verbesserten und qualitativ hochwertigeren VR-Erlebnissen führen.

Produkte von Dexerials für Eye-Tracking-Sensoren

Der Anisotropic Conductive Film (ACF) und Entspiegelung Film (ARF) von Dexerials tragen zur Entwicklung und Verbesserung der Qualität von Eye-Tracking-Sensoren bei.

Eye-Tracking-Sensoren werden häufig um das Auge des Geräts herum platziert. Sensoren mit Foliensubstraten sind in der Regel optisch transparent. Für die Signalverdrahtung von Infrarot-LEDs werden manchmal flexible Leiterplatten (FPCs) auf optisch transparente Folien geklebt. Immer mehr Kunden nutzen hierfür die ACFs von Dexerials. Eye-Tracking-Sensormodule können durch die Verbindung mit ACF dünner, kleiner und leichter sein.

Darüber hinaus können die Antireflex- und Mottenaugen-Antireflexfolien von Dexerials verwendet werden, um die Lichtreflexion im Gehäuseinneren zu unterdrücken.

VR-Geräte mit mehr als 10 Kameras und Sensoren

Zukünftig werden VR- und MR-Geräte mit mehreren Sensoren und Kameramodulen externe Bilder mit VR-Bildern kombinieren. Solche Geräte können mit zehn oder mehr Kameras und Sensormodulen ausgestattet sein. Die ACFs sowie UV- und duroplastischen Klebstoffe von Dexerials zur Befestigung von Linsen können zur Entwicklung von VR- und MR-Geräten beitragen.

Darüber hinaus können zukünftige VR- und MR-Geräte durch die Verbesserung verschiedener Tracking-Technologien die feinen Bewegungen von Kopf, Hals, Körper, Blick, Händen usw. einer Person präzise erkennen und gleichzeitig Bilder, Töne und taktile Empfindungen erzeugen. Dexerials wird weiterhin zur Entwicklung neuer Geräte für das Metaversum beitragen.