Computer-Stereo-Vision – Wikipedia

Extraktion von 3D-Daten aus digitalen Bildern

Computer-Stereo-Vision ist die Extraktion von 3D-Informationen aus digitalen Bildern, wie sie beispielsweise mit einer CCD-Kamera gewonnen werden. Durch Vergleichen von Informationen über eine Szene aus zwei Blickwinkeln können 3D-Informationen extrahiert werden, indem die relativen Positionen von Objekten in den beiden Panels untersucht werden. Dies ähnelt dem biologischen Prozess der Stereopsis.

Umriss[edit]

Beim herkömmlichen Stereosehen werden zwei horizontal gegeneinander versetzte Kameras verwendet, um zwei unterschiedliche Ansichten einer Szene zu erhalten, ähnlich dem menschlichen binokularen Sehen. Durch Vergleichen dieser beiden Bilder kann die relative Tiefeninformation in Form einer Disparitätskarte erhalten werden, die die Differenz der horizontalen Koordinaten entsprechender Bildpunkte kodiert. Die Werte in dieser Disparitätskarte sind umgekehrt proportional zur Szenentiefe an der entsprechenden Pixelposition.

Damit ein Mensch die beiden Bilder vergleichen kann, müssen sie in einem stereoskopischen Gerät überlagert werden, wobei das Bild der rechten Kamera dem rechten Auge des Betrachters und von der linken dem linken Auge gezeigt wird.

In einem Computer-Vision-System sind mehrere Vorverarbeitungsschritte erforderlich.^[1]

1. Das Bild muss zunächst unverzerrt sein, sodass tonnenförmige Verzerrung und tangentiale Verzerrung entfernt werden. Dadurch wird sichergestellt, dass das beobachtete Bild der Projektion einer idealen Lochkamera entspricht.
2. Das Bild muss auf eine gemeinsame Ebene zurück projiziert werden, um einen Vergleich der Bildpaare zu ermöglichen, was als Bildentzerrung bekannt ist.
3. Ein Informationsmaß, das die beiden Bilder vergleicht, wird minimiert. Dies gibt die beste Schätzung der Position von Features in den beiden Bildern und erstellt eine Disparitätskarte.
4. Optional wird die empfangene Disparitätskarte in eine 3D-Punktwolke projiziert. Durch Verwendung der projektiven Parameter der Kameras kann die Punktwolke so berechnet werden, dass sie Messungen in einem bekannten Maßstab liefert.

Aktives Stereosehen[edit]

Das aktive Stereosehen ist eine Form des Stereosehens, die aktiv ein Licht wie einen Laser oder ein strukturiertes Licht verwendet, um das Problem der Stereoanpassung zu vereinfachen. Der entgegengesetzte Begriff ist passives Stereosehen.

Konventionelles strukturiertes Lichtsehen (SLV)[edit]

Das herkömmliche strukturierte Lichtsehen (SLV) verwendet ein strukturiertes Licht oder einen Laser und findet Entsprechungen zwischen Projektor und Kamera.^[2][3]

Konventionelles aktives Stereosehen (ASV)[edit]

Das konventionelle aktive Stereosehen (ASV) verwendet ein strukturiertes Licht oder einen Laser, jedoch wird die Stereoanpassung nur für Kamera-Kamera-Korrespondenzen durchgeführt, genauso wie das passive Stereosehen.

Stereo mit strukturiertem Licht (SLS)[edit]

Es gibt eine Hybridtechnik, die sowohl Kamera-Kamera- als auch Projektor-Kamera-Korrespondenzen verwendet.^[4]

Anwendungen[edit]

3D-Stereo-Displays finden viele Anwendungen in Unterhaltung, Informationsübertragung und automatisierten Systemen. Stereosehen ist in Bereichen wie der Robotik von großer Bedeutung, um Informationen über die relative Position von 3D-Objekten in der Nähe von autonomen Systemen zu gewinnen. Weitere Anwendungen für die Robotik sind Objekterkennung,^[5] wobei Tiefeninformationen es dem System ermöglichen, verdeckende Bildkomponenten, wie beispielsweise einen Stuhl vor einem anderen, zu trennen, die der Roboter ansonsten möglicherweise nicht durch andere Kriterien als separates Objekt unterscheiden kann.

Wissenschaftliche Anwendungen für digitales Stereosehen umfassen die Extraktion von Informationen aus Luftaufnahmen, zur Berechnung von Höhenlinienkarten oder sogar Geometrieextraktion für die 3D-Gebäudekartierung, photogrammetrische Satellitenkartierung,^[6] oder Berechnung von heliographischen 3D-Informationen, wie sie durch das STEREO-Projekt der NASA erhalten wurden.

Detaillierte Definition[edit]

Diagramm, das die Beziehung zwischen Bildverschiebung und Tiefe bei stereoskopischen Bildern beschreibt, unter der Annahme flacher koplanarer Bilder

Ein Pixel zeichnet Farbe an einer Position auf. Die Position wird durch die Position im Pixelraster (x, y) und die Tiefe zum Pixel identifiziert z.

Stereoskopisches Sehen liefert zwei Bilder derselben Szene aus unterschiedlichen Positionen. Im nebenstehenden Diagramm Licht vom Punkt EIN wird durch die Eintrittspunkte von Lochkameras bei . übertragen B und D, auf Bildschirme um E und h.

Im beigefügten Diagramm beträgt der Abstand zwischen den Mittelpunkten der beiden Kameraobjektive BD = BC + CD. Die Dreiecke sind ähnlich,

• k = BD BF
• z = AC ist der Abstand von der Kameraebene zum Objekt.

Unter der Annahme, dass die Kameras eben sind und die Bildebenen flach auf derselben Ebene liegen, beträgt die Verschiebung in der y-Achse zwischen demselben Pixel in den beiden Bildern

${displaystyle d={frac {k}{z}}}$

Woher k ist der Abstand zwischen den beiden Kameras mal dem Abstand vom Objektiv zum Bild.

Die Tiefenkomponente in den beiden Bildern ist

und

, gegeben von,

${displaystyle z_{2}(x,y)=min left{v:v=z_{1}(x,y-{frac {k}{z_{1}(x,y)}} )rechts}}$

${displaystyle z_{1}(x,y)=min left{v:v=z_{2}(x,y+{frac {k}{z_{2}(x,y)}}) rechts}}$

Diese Formeln ermöglichen die Okklusion von Voxeln, die in einem Bild auf der Oberfläche des Objekts zu sehen sind, durch nähere Voxel, die im anderen Bild auf der Oberfläche des Objekts zu sehen sind.

Bildkorrektur[edit]

Wenn die Bildebenen nicht koplanar sind, ist eine Bildentzerrung erforderlich, um die Bilder so einzustellen, als ob sie koplanar wären. Dies kann durch eine lineare Transformation erreicht werden.

Die Bilder müssen möglicherweise auch korrigiert werden, damit jedes Bild dem Bild entspricht, das von einer Lochkamera aufgenommen wurde, die auf eine flache Ebene projiziert wird.

Glätte[edit]

Die Glätte ist ein Maß dafür, wie ähnlich sich nahe beieinander liegende Farben sind. Es wird davon ausgegangen, dass Objekte eher mit einer kleinen Anzahl von Farben gefärbt werden. Wenn wir also zwei Pixel mit derselben Farbe erkennen, gehören sie höchstwahrscheinlich zum selben Objekt.

Das oben beschriebene Verfahren zum Bewerten der Glätte basiert auf der Informationstheorie und einer Annahme, dass der Einfluss der Farbe eines Voxels die Farbe benachbarter Voxel gemäß der Normalverteilung auf den Abstand zwischen Punkten beeinflusst. Das Modell basiert auf ungefähren Annahmen über die Welt.

Ein weiteres Verfahren, das auf früheren Annahmen der Glätte basiert, ist die Autokorrelation.

Glätte ist eine Eigenschaft der Welt. Es ist nicht von Natur aus eine Eigenschaft eines Bildes. Ein aus zufälligen Punkten aufgebautes Bild hätte beispielsweise keine Glätte, und Rückschlüsse auf benachbarte Punkte wären nutzlos.

Theoretisch sollte Glätte zusammen mit anderen Eigenschaften der Welt gelernt werden. Dies scheint das menschliche Sehsystem zu tun.

Informationsmaßnahme[edit]

Informationsmaß der kleinsten Quadrate[edit]

Die Normalverteilung ist

${displaystyle P(x,mu,sigma)={frac {1}{sigma {sqrt {2pi}}}}e^{-{frac {(x-mu)^{ 2}}{2sigma^{2}}}}}$

Die Wahrscheinlichkeit bezieht sich auf den Informationsgehalt, der durch die Nachrichtenlänge beschrieben wird L,

${displaystyle P(x)=2^{-L(x)}}$

${displaystyle L(x)=-log_{2}{P(x)}}$

so,

${displaystyle L(x,mu,sigma)=log_{2}(sigma {sqrt {2pi}})+{frac {(x-mu)^{2}}{ 2sigma^{2}}}log_{2}e}$

Für den Vergleich stereoskopischer Bilder ist nur die relative Nachrichtenlänge von Bedeutung. Darauf aufbauend ist die Informationsmaßnahme ich, genannt Summe der Quadrate der Differenzen (SSD), ist,

${displaystyle I(x,mu,sigma)={frac {(x-mu)^{2}}{sigma^{2}}}}$

wo,

${displaystyle L(x,mu,sigma)=log_{2}(sigma {sqrt {2pi}})+I(x,mu,sigma){frac {log _{2}e}{2}}}$

Aufgrund der Kosten für die Verarbeitungszeit beim Quadrieren von Zahlen in SSD verwenden viele Implementierungen die Summe der absoluten Differenz (SAD) als Grundlage für die Berechnung des Informationsmaßes. Andere Methoden verwenden die normalisierte Kreuzkorrelation (NCC).

Informationsmaß für stereoskopische Bilder[edit]

Das Kleinste-Quadrate-Maß kann verwendet werden, um den Informationsgehalt der stereoskopischen Bilder zu messen,^[7] gegebene Tiefen an jedem Punkt

. Zuerst werden die Informationen abgeleitet, die benötigt werden, um ein Bild in Bezug auf das andere auszudrücken. Das nennt man

.

Eine Farbdifferenzfunktion sollte verwendet werden, um den Unterschied zwischen den Farben angemessen zu messen. Die Farbdifferenzfunktion wird geschrieben CD im Folgenden. Das Maß der Informationen, die zum Aufzeichnen der Farbübereinstimmung zwischen den beiden Bildern benötigt werden, ist:

${displaystyle I_{m}(z_{1},z_{2})={frac {1}{sigma_{m}^{2}}}sum _{x,y}operatorname {cd } (operatorname {color} _{1}(x,y+{frac {k}{z_{1}(x,y)}}),operatorname {color} _{2}(x,y)) ^{2}}$

Es wird eine Annahme über die Glätte des Bildes gemacht. Angenommen, zwei Pixel haben mit größerer Wahrscheinlichkeit dieselbe Farbe, je näher die von ihnen repräsentierten Voxel sind. Diese Maßnahme soll die Gruppierung ähnlicher Farben in der gleichen Tiefe begünstigen. Wenn beispielsweise ein Objekt vorne einen Bereich des Himmels verdeckt, begünstigt das Glättungsmaß, dass die blauen Pixel alle in der gleichen Tiefe gruppiert werden.

Das Gesamtmaß der Glätte verwendet den Abstand zwischen den Voxeln als Schätzung der erwarteten Standardabweichung des Farbunterschieds,

${displaystyle I_{s}(z_{1},z_{2})={frac {1}{2sigma_{h}^{2}}}sum _{i:{1,2 }}sum _{x_{1},y_{1}}sum _{x_{2},y_{2}}{frac {operatorname {cd} (operatorname {color} _{i} (x_{1},y_{1}),operatorname {color} _{i}(x_{2},y_{2}))^{2}}{(x_{1}-x_{2}) ^{2}+(y_{1}-y_{2})^{2}+(z_{i}(x_{1},y_{1})-z_{i}(x_{2},y_{ 2}))^{2}}}}$

Der gesamte Informationsgehalt ist dann die Summe,

${displaystyle I_{t}(z_{1},z_{2})=I_{m}(z_{1},z_{2})+I_{s}(z_{1},z_{2}) }$

Die z-Komponente jedes Pixels muss so gewählt werden, dass sie den Mindestwert für den Informationsinhalt ergibt. Dies ergibt die wahrscheinlichsten Tiefen bei jedem Pixel. Das minimale Gesamtinformationsmaß ist,

${displaystyle I_{operatorname {min} }=min {{i:i=I_{t}(z_{1},z_{2})}}}}$

Die Tiefenfunktionen für das linke und rechte Bild sind das Paar,

${displaystyle (z_{1},z_{2})in {(z_{1},z_{2}):I_{t}(z_{1},z_{2})=I_{operatorname {Mindest} }}}$

Methoden der Implementierung[edit]

Das Minimierungsproblem ist NP-vollständig. Dies bedeutet, dass eine allgemeine Lösung dieses Problems lange dauern wird. Es gibt jedoch Verfahren für Computer, die auf Heuristiken basieren, die das Ergebnis in angemessener Zeit annähern. Es existieren auch Verfahren, die auf neuronalen Netzen basieren.^[8] Die effiziente Umsetzung des stereoskopischen Sehens ist ein aktives Forschungsgebiet.

Siehe auch[edit]

Verweise[edit]

Externe Links[edit]