Plenoptische Kamera

Plenoptische Funktion

Eine plenoptische Kamera, auch Lichtfeldkamera genannt, erfasst neben den üblichen 2 Bilddimensionen eine weitere, nämlich die Richtung einfallender Lichtstrahlen. Durch die zusätzliche Dimension enthalten plenoptische Aufnahmen Informationen über die Bildtiefe.

Der besondere Vorteil plenoptischer Kameras liegt in der theoretisch unendlichen Schärfentiefe und der Möglichkeit der Refokussierung, also der nachträglichen Verschiebung der Schärfeebene im Objektraum (Fokusvariation). Durch die zusätzliche Tiefeninformation kann eine plenoptische Kamera auch als 3D-Kamera verwendet werden.

Entscheidend für die Funktion plenoptischer Kameras ist, dass dieselbe Szene aus mehreren Blickwinkeln erfasst wird. Dabei ist es irrelevant, ob ein Array aus konventionellen Kameras die Szene erfasst, oder die verschiedenen Blickwinkel innerhalb der Kamera erzeugt werden – z. B. durch einen Array aus Mikrolinsen vor dem Bildsensor.

Die Entwicklung plenoptischer Systeme basiert auf theoretischen Überlegungen des Physikers Gabriel Lippmann, der das Konzept 1908 vorstellte.[1]

Plenoptische Funktion

Die Verteilung der Strahldichte entlang von Lichtstrahlen in einem Bereich des dreidimensionalen Raums, die durch statische, zeitlich nicht veränderbare Lichtquellen hervorgerufen wird, bezeichnet man als plenoptische Funktion.[2] Die plenoptische Funktion ist eine idealisierte Funktion, die in der Bildverarbeitung und der Computergrafik genutzt wird, um ein Bild zu einem bestimmten Zeitpunkt aus jeder beliebigen Position aus jedem Blickwinkel zu beschreiben, also unabhängig von der Position des Betrachters und Kameraparametern wie Blende und Entfernungseinstellung.

Praktisch wird die plenoptische Funktion nicht genutzt, jedoch ist sie sinnvoll, um verschiedene andere Konzepte der Bildverarbeitung und der Computergrafik zu verstehen. Eine Gerade (Strahl) wird durch einen Punkt auf dem Strahl (drei Koordinatenwerte) und die Richtung des Strahls (zwei Winkel) beschrieben. Da der Punkt längs des Strahls verschoben werden kann, geben seine drei Koordinaten effektiv nur zwei Freiheitsgrade wieder. Daher ist die plenoptische Funktion vierdimensional. Wellenlänge, Polarisationswinkel und die Zeit können gegebenenfalls als weitere Variable betrachtet werden, wodurch weitere Dimensionen hinzukommen.

Plenoptische Kamera

Linsengitter einer plenoptischen Kamera

Durch das Linsengitter wird jeder Bildpunkt nochmals gebrochen und zu einem Kegel erweitert, der kreisförmig auf die Sensorfläche trifft. Dies verrät, aus welcher Richtung der Lichtstrahl ursprünglich kam: Ein senkrecht auftreffender Lichtstrahl landet im Mittelpunkt des Kreises, ein schräg eintreffender weiter am Rand. So kann mit einer Software die Schärfe nachträglich neu berechnet und wie bei einem herkömmlichen Objektiv der Brennpunkt geändert werden. Die Informationen aus einer Szene müssen auf mehreren Bildpunkten des Kamerachips abgebildet werden, damit die Informationen über die Richtung des einfallenden Lichtstrahls genutzt werden kann. Daher geht mit dieser Methode eine Verringerung der effektiven Auflösung des Kamerasensors einher.

Umsetzungen

Universität Stanford

Ein Team an der Stanford University verwendet eine 16-Megapixel-Kamera mit einem 90.000-Mikrolinsen-Array, das heißt, jede Mikrolinse belichtet etwa 175 Pixel.[3][4]

Adobe

Ein Entwurf der amerikanischen Firma Adobe verwendet 19 Linsen in Kreisanordnung und belichtet damit einen 100-Megapixel-Sensor, so dass jedes Bild etwa 5-Megapixel-Auflösung erreicht.[5]

Raytrix

Eine plenoptische Kamera für den Einsatz in Industrie und Forschung, die von der deutschen Firma Raytrix seit 2010 kommerziell vertrieben wird, verwendet ein Linsenraster aus drei unterschiedlichen Linsen, die sich in ihrer Brennweite unterscheiden. Jede Mikrolinse deckt dabei drei bis sechs Bildpunkte auf dem Kamerasensor ab. Dadurch ist die effektive Auflösung der Kamera nur um den Faktor drei bis sechs geringer als die Auflösung des Sensorchips.[6]

Lytro

Lytro-Kamera

Von der amerikanischen Firma Lytro wurde ab dem April 2012 eine Lichtfeldkamera für den Konsumentenbereich vertrieben.[7][8] Dieses Modell hat einen siebenfachen optischen Zoombereich, eine fest eingestellte, durchgehende Blendenzahl von 2,0, einen berührungsempfindlichen Bildschirm und einen internen Speicher von 8 oder 16 Gigabyte für farbige Einzelbildaufnahmen.[9] Die effektive Bildauflösung beträgt bei einer Dateigröße von zirka 20 Megabyte 540 mal 540 Bildpunkte (dies entspricht 0,29 Megapixel), was für Demonstrationszwecke, jedoch nicht für hochwertige Reproduktionen geeignet ist.[10] Bei rund 11 Millionen registrierten Bildpunkten[11] ergibt sich ein Verhältnis von sechs mal sechs (36) Lichtstrahlen pro Bildpunkt.

Im April 2014 wurde das Nachfolgemodell Illum vorgestellt, das einer klassischen Kamera ähnelt.[12] Sie soll eine höhere Bildauflösung von maximal 4 MP bei 2D-Bilddateien haben.[13]

Im April 2016 hatte die Firma Lytro angekündigt, sich aus dem Endkundengeschäft für Lichtfeldkameras wegen mangelnder Absatzmöglichkeiten zurückziehen zu wollen[14] und sich von nun an auf den professionellen TV- und Video Markt zu konzentrieren. Die neue Lichtfeldkamera Lytro Cinema ermöglicht eine Auflösung von 755 Megapixeln, einen Dynamik-Umfang von 16 Blendenstufen, 40k-Videos und 300 fps[15]. Die Firma gab am 28. März 2018 bekannt, die Geschäftstätigkeit einzustellen.[16]

Beispielaufnahmen

Eine Nahaufnahme einer Tastatur mit einer plenoptischen Kamera mit Reproduktionen bei vier verschiedenen Entfernungseinstellungen:[17]

Eine Aufnahme einer Klaviatur mit einer plenoptischen Kamera mit Reproduktionen bei fünf verschiedenen Entfernungseinstellungen:[18]

Pelican Imaging

Das Unternehmen Pelican Imaging hat im Mai 2013 angekündigt, zusammen mit dem Anbieter von Mobiltelefonen Nokia eine flache, in ein Smartphone integrierte Lichtfeldkamera mit einer Matrix von vier mal vier Objektiven auf den Markt zu bringen.[19][20]

HTC

Das HTC One M8 benutzt zur Simulation des Funktionsprinzipes neben dem eingebauten 4-MP-Bildchip einen zweiten Kamera-Chip zum Erfassen der Tiefeninformationen. Mit dieser U-Fokus genannten Funktion ist ebenfalls das nachträgliche Ändern von Tiefenschärfe und Fokusbereichen möglich.[21]

Google

Googles seit April 2014 für Android-Geräte verfügbare Kamera-App Google Kamera ermöglicht im Fotomodus „Lens Blur“ („Fokuseffekt“) das nachträgliche Setzen und Bearbeiten von Tiefenschärfe bei Foto.[22] Dafür werden keine zusätzlichen Sensoren oder Optiken benötigt. Stattdessen wird aus den dafür notwendigen automatischen Mehrfachaufnahmen eine 3D-Positionierung der Elemente im Bild berechnet, die dann die nachträgliche Bearbeitung erlaubt.[23]

K|Lens

Das Saarbrücker Unternehmen K|Lens entwickelt ein plenoptisches Wechselobjektiv für Standard-DSLRs und Systemkameras.[24][25] Grundlage dafür bilden Forschungen aus dem Max-Planck-Institut für Informatik.[26] Im Gegensatz zu anderen plenoptischen Verfahren benutzt K|Lens den Kaleidoskop-Effekt statt Mikrolinsen, um das Lichtfeld abzutasten.

Weblinks

Einzelnachweise

  1. G. Lippmann: Épreuves réversibles donnant la sensation du relief. In: Journal de Physique Théorique et Appliquée, vol. 7 (1908), S. 821, doi:10.1051/jphystap:0190800700821009
  2. Edward H. Adelson, James R. Bergen: The plenoptic function and the elements of early vision. In: M. Landy, J. A. Movshon (Hrsg.): Computation Models of Visual Processing. MIT Press, Cambridge 1991, ISBN 0-262-12155-7, S. 3–20 (PDF [abgerufen am 23. Oktober 2011]).
  3. Ren Ng, Marc Levoy, Mathieu Brédif, Gene Duval, Mark Horowitz, Pat Hanrahan: Light Field Photography with a Hand-held Plenoptic Camera. In: Stanford Tech Report CTSR 2005-02. 2005 (PDF [abgerufen am 23. Oktober 2011] Bericht über die Erstellung und nachträgliche Verarbeitung plenoptischer Kamerabilder).
  4. Video: Light Field Photography with a Hand-held Plenoptic Camera. (WMV; 9,3 MB)
  5. Jonathon Keats, Kris Holland, Gary McLeod: PopSci’s How It Works – 100 Megapixel Camera. In: Popsci.com. Archiviert vom Original am 17. Januar 2008; abgerufen am 23. Oktober 2011 (englisch).
  6. Christian Perwaß, Lennart Wietzke: The Next Generation of Photography: An Introduction to Light Field Photography. (PDF) Raytrix GmbH, Januar 2010, archiviert vom Original (nicht mehr online verfügbar) am 27. Oktober 2011; abgerufen am 4. Februar 2014.
  7. lytro.com (Memento vom 4. November 2011 im Internet Archive)
  8. Scharfmacher – Lytro Lightfield Camera im Test. heise.de
  9. Lichtfeldkamera von Lytro, test.de vom 28. Juni 2012, abgerufen 19. November 2012
  10. Lichtfeldkamera von Lytro: Vorbote der Revolution, test.de vom 28. Juni 2012, abgerufen 19. November 2012
  11. Lytro – Camera Specs – Light field resolution (Memento vom 20. November 2012 im Internet Archive) Lytro, abgerufen 20. November 2012
  12. Lytro Illum camera lets users refocus blurred photos after shooting. theguardian.com, 22. April 2014, abgerufen am 23. April 2014
  13. Technische Daten Lytro Illum (Memento vom 24. April 2014 im Internet Archive), abgerufen am 23. April 2014
  14. Christoph Jehle: Lytro gibt Endkundengeschäft für Lichtfeldkameras auf. In: Heise Online. Heise Medien, 7. April 2016, abgerufen am 7. April 2016.
  15. Christoph Jehle: Lytro Cinema – Lichtfeld-Kamera mit 755 Megapixel und 40k-Video. In: Heise Online. Heise Medien, 13. April 2016, abgerufen am 13. April 2016.
  16. To the Cinematic and VR Community, Live Long and Prosper. Archiviert vom Original (nicht mehr online verfügbar) am 27. März 2018; abgerufen am 29. März 2018 (englisch).  Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/blog.lytro.com
  17. Vergleiche auch: Nahaufnahme von Tasten einer Computer-Tastatur mit einer Lichtfeldkamera von Lytro
  18. Vergleiche auch: Lytro light field camera – Piano Player
  19. Technology Pelican Imaging, abgerufen 7. Mai 2013
  20. Nokia investiert in Lichtfeld-Kameratechnik. heise.de, 2. Mai 2013, abgerufen am 7. Mai 2013
  21. HTC launches One M8 with new ‘Duo Camera’, dpreview 15. März 2014, online abgerufen am 18. April 2014
  22. Google Kamera: Schärfentiefe nachträglich verstellbar, heise.de. Meldung vom 17. April 2014, online abgerufen am 18. April 2014
  23. Lens Blur in the new Google Camera app Google-Research-Blogeintrag vom 16. April 2014, online abgerufen am 18. April 2014
  24. K|Lens GmbH - The third dimension in image acquisition. Abgerufen am 1. Dezember 2021.
  25. markus: K|Lens presents first sample photos. In: LightField Forum. 19. April 2019, abgerufen am 1. Dezember 2021 (amerikanisches Englisch).
  26. Alkhazur Manakov, John Restrepo, Oliver Klehm, Ramon Hegedus, Elmar Eisemann: A Reconfigurable Camera Add-On for High Dynamic Range, Multispectral, Polarization, and Light-Field Imaging. In: ACM Transactions on Graphics. Band 32, Nr. 4, 7. Juli 2013, S. 47:1, doi:10.1145/2461912.2461937 (inria.fr [abgerufen am 1. Dezember 2021]).

Auf dieser Seite verwendete Medien

Plenoptic function b.svg
Parameterizing a ray in 3D space by position (x,y,z) and direction (θ,φ).
Pianist.4.jpg
Autor/Urheber: Bautsch, Lizenz: CC0
Klavierspiel 4 mit Lytro-Kamera
AltGr1.jpg
Autor/Urheber: Bautsch, Lizenz: CC0
Tastatur 1 mit Lytro-Kamera.
AltGr4.jpg
Autor/Urheber: Bautsch, Lizenz: CC0
Tastatur 4 mit Lytro-Kamera.
AltGr3.jpg
Autor/Urheber: Bautsch, Lizenz: CC0
Tastatur 3 mit Lytro.
Pianist.1.jpg
Autor/Urheber: Bautsch, Lizenz: CC0
Klavierspiel 1 mit Lytro-Kamera
Pianist.5.jpg
Autor/Urheber: Bautsch, Lizenz: CC0
Klavierspiel 5 mit Lytro-Kamera
Pianist.3.jpg
Autor/Urheber: Bautsch, Lizenz: CC0
Klavierspiel 3 mit Lytro-Kamera
Pianist.2.jpg
Autor/Urheber: Bautsch, Lizenz: CC0
Klavierspiel 1 mit Lytro-Kamera
AltGr2.jpg
Autor/Urheber: Bautsch, Lizenz: CC0
Tastatur 2 mit Lytro-Kamera.