Smartphone: ifm liefert kleinste 3D-Kamera der Welt
Augmented Reality: Virtuelle Objekte werden in das reale Bild integriert
Bisher waren aufwendige und teure 3D-Bilderfassungssysteme erforderlich, um Szenerien dreidimensional zu erfassen. Nun ist es erstmals gelungen, dies in einem Smartphone zu integrieren. „Project Tango“ nennt Google diese Raumtracking-Technik. Als Hardware kommt die gleiche Technik zum Einsatz, die ifm seit Jahren in ihren 3D-Sensoren verwendet. Die von der ifm-Tochter pmdtechnologies entwickelten PMD-3D-Chips eröffnen dem Smartphone-Nutzer ungeahnte Möglichkeiten, mit der Umgebung dreidimensional zu interagieren.
Auf den ersten Blick sieht das Lenovo Phab 2 Pro wie ein gewöhnliches XXL-Smartphone aus: 6,4 Zoll Display, Fingerabdrucksensor, wertig anmutendes Metallgehäuse. Erst der Blick auf die Rückseite zeigt die Besonderheit: Neben der üblichen Kameralinse befinden sich dort hinter einer länglichen Glasscheibe noch zwei weitere Spezialkameras. Und die sind einzigartig bei diesem Smartphone: Eine zusätzliche Weitwinkelkamera dient zur Bewegungsverfolgung, die andere – und das ist das Highlight – erfasst ein dreidimensionales Tiefenbild des Raumes.
Lenovo Phab 2 Pro: Erstes Smartphone mit 3D-Tiefenbildkamera
Das bedeutet, dass sie neben dem Helligkeitsbild in schwarz-weiß für jeden Bildpunkt auch einen genauen Abstandwert ermittelt. Dies erfolgt über einen PMD-Chip mittels Time-of-Flight-Messung. Sowohl die Pixelmatrix als auch die Ansteuerung und die Auswertung sind auf einem Chip integriert. Nur somit ist es überhaupt möglich, die kleinste 3D-Kamera der Welt in einem Smartphone zu integrieren.
Mit diesen beiden speziellen Kameraaugen eröffnen sich neue Möglichkeiten für AR-Anwendungen (Augmented Reality). Google, als Anbieter des Android-Betriebssystems, fasst diese Technik und die darauf basierenden Anwendungen als „Project Tango“ zusammen.
Einige vorinstallierte Apps geben dem Nutzer auf spielerische Art einen ersten Vorgeschmack, was mit „Augmented Reality“ (= erweiterte Realität) möglich ist. So lassen sich virtuelle Dominosteine auf einem realen Tisch per Touchscreen-Berührung aufbauen und per Fingerschnipp umstoßen. Dabei vereint sich auf dem Display das reale Bild mit den virtuellen Elementen.
Doch Anwendungen des „Project Tango“ sollen nicht nur technische Spielerei für Nerds sein, sondern im Alltag einen relevanten Nutzen bieten. So lassen sich mit dem Phab 2 Pro Entfernungen, Flächen oder dreidimensionale Körper vermessen.
Nützliche 3D-Anwendungen
Ein interessantes Projekt ist in Kooperation mit dem amerikanischen Einzelhändler Lowes entstanden: Allein mit Hilfe der Sensoren im Smartphone lässt sich ein Raum automatisch vermessen. Der Anwender läuft durch den Raum und richtet dabei die beiden Smartphone-Kameras in alle Richtungen und Ecken. Daraus generiert die App ein virtuelles 3D-Modell. Anschließend kann der Anwender Dekoartikel und Einrichtungsgegenstände virtuell im Raum plazieren. Wände lassen sich mit unterschiedlichen Tapeten dekorieren und der Anwender kann prüfen, wie das Wohnzimmer mit Holz- statt Teppichboden aussieht.
Eine Szenerie lässt sich durchschreiten und aus verschiedenen Blickwinkeln aufnehmen. Die 3D-App generiert daraus ein 3D-Modell.
Ein anderes Projekt wurde in einem Museum realisiert. Dort navigiert eine App den Besucher durch das Gebäude, also eine Indoor-Routenführung ohne GPS-Signal. Dabei analysiert die App anhand des 3D-Kamerabildes und der darin enthaltenen Objekte, an welcher Stelle des Museums und in welcher Blickrichtung sich der Besucher gerade befindet. Auch an Flughäfen ließe sich diese Navigation sinnvoll einsetzen.
Mit Hilfe der 3D-Kamera sind unzählige AR-Szenarien im Bereich der Vermessung und dreidimensionalen Kartografie realisierbar.
Mit der App „Measure It“ hält man die Kamera auf die Kanten eines Objekts. Die Messpunkte rasten ein und es lassen sich Längen, Flächen und sogar Volumina ausmessen.
Noch ist die Anzahl der Apps recht überschaubar. Doch auch weitere Smartphone-Hersteller werden noch in diesem Jahr die AR-Technik in ihre Geräte integrieren. So hat Asus erst kürzlich das ZenFone AR vorgestellt, welches ebenfalls den PMD-3D-Chip eingebaut hat. Es besitzt einen noch handlicheren Formfaktor und wurde zum „Best smartphone at CES“ gewählt (CES = Consumer Electronics Show, Las Vegas).
Mit zunehmender Anzahl von Smartphones wird auch die Anzahl der Apps für unterschiedlichste Augmented-Reality-Anwendungen steigen.
Umfährt man mit dem Smartphone ein Objekt, entsteht daraus nach und nach ein 3D-Modell.
Damals noch in der Brille statt im Smartphone: Auf der Hannovermesse 2016 begeisterte die 3D-Kamera den damaligen US-Präsident Obama: „It’s a brave new world!"
Technik von ifm
Die 3D-Kamera im Lenovo Phab 2 Pro ist übrigens eine deutsche Entwicklung, genauer gesagt ein patentiertes System der ifm-Tochter pmdtechnologies in Siegen. Für industrielle Einsatzgebiete ist diese Technologie schon seit einigen Jahren in den 3D-Sensoren und -Kamerasystemen von ifm integriert. Dort liefert der Sensor neben dem 2D- auch ein 3D-Bild mit 64 x 48 Abstandswerten und überlagert diese zu einem AR-Bild. Wie im Smartphone liefern auch hier integrierte Apps Lösungen für industrielle Applikationen wie zum Beispiel Vermessung, Kollisionsschutz oder Objektverfolgung.