Zukünftiges iPhone könnte Lichtfeld-Panoramabilder für immersive virtuelle Realität erhalten
Apple hat daran geforscht, Lichtfeld zu bringenPanoramabild auf die iPhone-Kamera, eine Funktion, die Sie in die Erkundung aufgenommener Szenen mit Parallaxe, klarer Objekttrennung und anderen visuellen Effekten in virtueller oder erweiterter Realität eintauchen lässt.
- Apple hat ein Patent für die Lichtfeld-Bildgebung auf iPhone und iPad erhalten
- Die Erfindung repliziert die Funktionalität von plenoptischen Kameras
- Solche Bilder würden in der virtuellen oder erweiterten Realität zum Leben erweckt
Apple erforscht Lichtfeld-Bildgebung auf iPhone und iPad
Plenoptische Kameras wie die Lytro erreichen dies durchVerwendung eines Arrays von Mikrolinsen, die vor einem Bildsensor platziert sind, um Farbe, Intensität und Richtungsinformationen zu erkennen. Bei Smartphones ist der Platz knapp, daher hat Apple eine Lösung entwickelt, die kein Linsenarray erfordert.
In einem neu erteilten Patent mit dem Titel „Panoramalicht“Field Capture, Processing und Display“, stellt sich der iPhone-Hersteller vor, indem er die iPhone-Kamera mithilfe von Handgesten auffordert, eine Szene aus verschiedenen Positionen aufzunehmen. Eine der illustrierten Gesten besteht darin, ein iPhone oder iPad in einem schwebenden Unendlichkeitssymbol zu bewegen, um eine Szene aus mehreren Blickwinkeln aufzunehmen.
Im Gegensatz dazu können Sie normale Panoramen aufnehmenIhr iPhone beinhaltet derzeit das Schwenken des Geräts von links nach rechts oder von oben nach unten, um eine Sequenz von Bildern einer Szene aufzunehmen, die später zu einem Weitwinkelfoto zusammengefügt werden. Bei der Lichtfeldfotografie erfasst ein Gerät sowohl die Farbe als auch die Richtung, in der sich die Lichtstrahlen im Raum ausbreiten.
Informationen von Onboard-Sensoren wie KameraPosition und Geräteausrichtung werden ebenfalls erfasst. Apples Algorithmus würde dann die einzelnen Bilder, ihre relativen Positionen und Tiefeninformationen als Lichtfeld-Panorama speichern, mit dem später auf verschiedene Weise interagiert werden könnte.
Die Aufnahme von Lichtfeldbildern würde nicht nur die selektive Schärfentiefe (was die iPhone-Kamera bereits tut) oder die Bestimmung der Richtung der Lichtstrahlen beschränken.
Erkunden von Lichtfeldbildern in AR und VR
In einer Ausführungsform kann ein Benutzer durchverschiedene 3D-Ansichten der Szene. Da das System die relativen Positionen der einzelnen Bilder und Objekte kennt, könnte es einem Benutzer ermöglichen, die Szene aus verschiedenen Positionen und Winkeln mit sechs Freiheitsgraden zu erkunden.
Sie können einige der praktischeren Anwendungen der neuen Lichtfeld-Bildgebungstechnologie in einem Video sehen, das in der SIGGRAPH 2020 Fachbeiträge.
Auf einem Head-Mounted-Display (Applesoll an solchen Dingen arbeiten), kann ein Betrachter hinter oder über Objekte in der Szene sehen, in die Szene hinein- oder herauszoomen oder verschiedene Teile der Szene betrachten, erklärt Apple. Fügen Sie dem Mix einen Parallax-Effekt hinzu und Sie erhalten ein sehr immersives Augmented-Reality-Erlebnis, das auf Ihren eigenen Lichtfeld-Panoramabildern basiert.
Wie Apple in den erteilten Patentdokumenten schreibt:
Das aufgenommene Bild ist parallaxenbewusst indass, wenn das Bild in der virtuellen Realität gerendert wird, sich Objekte in der Szene entsprechend ihrer Position in der Welt und der relativen Position des Betrachters zu ihnen richtig bewegen. Darüber hinaus erscheint der Bildinhalt im Vergleich zu Renderings von computergenerierten Inhalten, die typischerweise in Virtual-Reality-Systemen betrachtet werden, fotografisch realistisch.
Ein Betrachter könnte auch in verschiedene Richtungen übersetzen und mit dem Inhalt rotieren, ein weiteres großartiges Feature, wenn man diese Dinge in der virtuellen oder erweiterten Realität erkunden möchte.
→ Tipps zur iPhone-Fotografie, die jeder kennen sollte
Apple sagt vorhandene 360-Grad-BildgebungTechnologien wie Photosphere erlauben nur drei Freiheitsgrade, was die Erfahrung auf die Kopfrotation beschränkt. Photospheres unterstützen nicht die Übersetzung des Benutzers durch den Inhalt, wie dies beim Erkunden des Lichtfeldpanoramas möglich ist.
Um mehr über dieses Patent zu erfahren, besuchen Sie die USPTO-Website.
