3D-Kamera: Kalibrierung und Bildsequenzana­lyse

Titel des Projektes:

Entwicklung, Implementation und Verifikation von Verfahren zur Verarbeitung von 3D-Kamera-Daten

Funding: IPF

3D-Kameras (Range Imaging Cameras) sind Digitalkameras, bei denen durch die Anwendung von Modulationstechniken zusätzlich zur Bildinformation für jedes Pixel eine Entfernungsinformation vorliegt. Die Kameras nehmen somit simultan Intensitäts- und Entfernungsbilder auf und ermöglichen eine räumlich-zeitlich aufgelöste Darstellung des Objektraums ohne die Notwendigkeit einer stereoskopischen Zuordnung. Mit einem Sensorformat von derzeit ca. 25.000 Pixel und einer zeitlichen Auflösung von 20-50 Bildern pro Sekunde stellen diese Tiefenbildsensoren eine interessante Alternative zur 3D-Datenakquisition in den Bereichen Robotik und Navigation, Automotive, Überwachung, Human-Computer- (HCI) und Human-Robot-Interaction (HRI) als auch menschlicher Bewegungs- und Verhaltensanalysen dar. Am IPF steht seit 2006 ein Prototyp einer distanzmessenden Kamera SwissRanger SR-3000 zur Verfügung, mit der Forschungs- und Entwicklungsarbeiten in den Bereichen Sensorkalibrierung und Bildsequenzanalyse durchgeführt werden.

Photogrammetrische Kalibrierung unter simultaner Verwendung von Intensitäts- und Entfernungsinformationen

Bei herkömmlichen Kameras wird über das Modell der zentralperspektiven Abbildung unter Verwendung der Orientierungsparameter und Bildkoordinaten der Bezug zwischen Bild- und Objektraum hergestellt. Ein ideales Modell der Zentralprojektion wird zunächst auch für die on-chip-Berechnung der kartesischen Koordinaten bei 3D-Kameras unterstellt. Abweichungen von diesem Idealmodell sind auch bei diesem Sensor durch geeignete Kalibrieransätze zu korrigieren.

Das Referenzfeld wurde unter Berücksichtung der derzeit geringen Auflösung von 3D-Kameras entworfen. Durch die sequentielle Positionierung einer mit vier weißen Kugeln signalisierten Kalibrierplatte im Gesichtsfeld der Kamera kann ein 3D-Kalibrierfeld simuliert werden. Dieser Ansatz ermöglicht eine adäquate Anzahl an räumlich verteilten Passpunkten, welche von einem einzigen 3D-Kamerastandpunkt aufgenommen werden. Ein zusätzliche statische Referenz mit kleinen codierten als auch uncodierten Passpunkten ermöglicht die Transformation der Kugelmittelpunkte in ein übergeordnetes Koordinatensystem. Die 3D-Koordinaten aller Objektpunkte der statischen Referenz sowie der dynamischen Kalibrierplatte können im Rahmen einer Bündelausgleichung und 3D-Helmerttransformation geschätzt werden. Die hierfür notwendigen Bilder wurden mit einer konventionellen hochauflösenden DSLR Kamera aufgenommen.

Aufgrund der Natur der Daten einer distanzmessenden Kamera erscheint es wünschenswert, die zusätzliche Entfernungsinformation sowie die Bestimmung von Passpunktbildkoordinaten aus Entfernungsbildern in eine simultane Kalibrierstrategie zu integrieren. Die folgenden Beobachtungsarten werden für einen integrierten 3D-Kamera-Kalibrieransatz eingeführt:

• 1. Bildkoordinaten aus Intensitätsbildern

Die Messung der Passpunktkoordinaten im Bildraum vollzieht sich als konventionelle Bildpunktmessung mittels Least-Square-Templatematching. Die erhaltenen Bildkoordinaten mit Subpixelgenauigkeit (&sigma x,y = 1/30px) gehen als erste Beobachtungsart in die Ausgleichung ein.

• 2. Bildkoordinaten aus Entfernungsbildern
• 3. Entfernungen zwischen Projektionszentrum und Objektpunkten

2.5D Least Squares Tracking

Automatische Methoden der photogrammetrischen Bewegungsanaylse in Bildsequenzen stellen ein etabliertes Teilgebiet der Nahbereichsphotogrammetrie dar und ermöglichen die hochgenaue sowie zuverlässige Extraktion geometrischer Bildinformationen. Die Verwendung von 3D-Kameras kann in der 3D-Bewegungsanalyse entscheidende Vorteile gegenüber der Verwendung von Mehrkamerasystemen bringen. Sie stehen in Konkurrenz zu anderen Verfahren der Tiefenbildgenerierung wie Laserscannern, Stereokamerasystemen oder Kamera-Projektor-Systemen. Ihr entscheidender Vorteil gegenüber stereophotogrammetrischen Systemen liegt im Wegfall des Arbeitsschritts der stereoskopischen Zuordnung.

In Hinblick auf die Natur der 3D-Kameradaten wurde am IPF ein integrierter Ansatz eines 2.5D Least Squares Tracking entwickelt und verifiziert. Basierend auf dem bekannten Verfahren der Bildzuordnung nach der Methode der kleinsten Quadrate (2D Least Squares Matching) werden 3D-Kamera-Intensitäts- und Entfernungsinformationen zur Lösung des Korrespondenzproblems auf der Zeitachse verwendet. Durch diese geschlossene Bestimmung aller Transformationsparameter

• Translation in x-, y- und Tiefenrichtung (a0, b0, d0),
• Rotation und Scherung (a2, b1),
• Maßstabsänderung in der Bildebene, verursacht durch Tiefenvariationen (a1=b2=f(d0))

lassen sich Genauigkeit und Zuverlässigkeit des Zurordnungsschritts, insbesondere bei nicht idealen Konditionen im Intensitäts- oder Entfernungskanal, deutlich steigern. Neben a-posteriori Genauigkeitsangaben der Entfernungsmessung stehen durch die Integration einer Verianzkomponentenschätzung zur Bestimmung optimaler Gewichte der beiden Beobachtungsklassen Informationen über die a-priori Genauigkeit der ursprünglichen Beobachtungen zur Verfügung.

Zur Evaluierung des aufgestellten funktionalen Modells sowie des Potentials eines 2.5D Least Squares Tracking in 3D-Kamera-Bildsequenzen wurden mehere Testreihen mit synthetischen und realen Datensätzen mit (i) hohem Intensitätskontrast, (ii) hohem Entfernungskontrast und (iii) ausgeglichenem Kontrast zwischen beiden Kanälen durchgeführt.

Die folgenden Ergebnisse resultieren:

Die Qualität des eingeführten funtkionalen Modells kann über die Standardabweichungen der ausgeglichenen Beobachtungen abgeleitet werden. Für den Intensitätskanal bewegen sich diese im Bereich von 100 conts (16-bit) bzw. 0.3 Grauwerte (8-bit). Die Genauigkeiten der ausgeglichenen Entfernungsmessungen liegen im Bereich um 8 conts (16-bit) bzw. 1mm.

Im Rahmen einer iterativen Varianzkomponentenschätzung werden die Varianzen beider Beobachtungsarten geschätzt. Die Standardabweichungen der ursprünglichen Beobachtungen ergeben für den Intensitätskanal 1600 conts (16-bit) bzw. 6 Grauwerte (8-bit) sowie für die Entfernungsmessungen 121 conts (16-bit) bzw. 1.4 cm (Integrationszeit: 20.2ms; Modulationsfrequenz: 20.0MHz). Die Verwednung von lediglich zwei Beobachtungsgruppen zur Aufstellung des stochastischen Modells - im Gegensatz zur Gewichtung jeder einzelnen Beobachtung - konnte durch die zusätzliche Schätzung einer robusten Varianz-Kovarianzmatrix validiert werden.

Zukünftige Arbeiten beschäftigen sich mit Aspekten der (i) Ausreißerbehandlung, (ii) erweiterten Parametrisierung (insbes. Kippung in Tiefenrichtung), (iii) Evaluierung und (iv) Rechenzeitoptimierung.

Menschliche Bewegungsanaylsen

Studien- und Diplomarbeiten

Thema:  Evaluation des Einsatzpotentials einer distanzmessenden Kamera im Bereich der mobilen Roboternavigation
Betreuer: Dipl.-Ing. P. Westfeld, Dipl.-Ing. Ch. Mulsow

Thema:  Validierung der Genauigkeit und des Einsatzpotentials einer distanzmessenden Kamera
Betreuer: Dipl.-Ing. P. Westfeld

Thema:  Photogrammetrische Kalibrierung des SwissRanger SR-3000 aus Intensitäts- und Rangebildern
Betreuer: Dipl.-Ing. P. Westfeld

Thema:  Überwachung eines Industrieroboters anhand der Verarbeitung von dreidimensionalen Bilddaten der distanzmessenden Kamera SwissRanger SR-3000
Betreuer: Dipl.-Ing. P. Westfeld

• Publikationen

• Westfeld, P.; Mulsow, C.; Schulze, M. (2009):
  Photogrammetric calibration of range imaging sensors using intensity and range information simultaneously. Grün, A.; Kahmen H. (Eds.): Optical 3-D Measurement Techniques IX. Vol. II, pp. 129, Research Group Engineering Geodesy, Vienna University of Technology ( 950 KB)
• Hempel, R.; Westfeld, P. (2009):
  Statistical Modeling of Interpersonal Distance with Range Imaging Data. In: A. Esposito, A. Hussain, M. Marinaro and R. Martone (eds.), Multimodal Signals: Cognitive and Algorithmic Issues. COST Action 2102 and euCognition International School Vietri sul Mare, Italy, April 21-26, 2008 Revised Selected and Invited Papers., Lecture Notes in Computer Science, Vol. 5398/2009, ISBN 978-3-642-00524-4, Springer Berlin/Heidelberg, pp. 137-144, DOI: 10.1007/978-3-642-00525-1_14 ( Link: SpringerLink)
• Westfeld, P.; Hempel, R. (2008):
  Range Image Sequence Analysis by 2.5-D Least Squares Tracking with Variance Component Estimation and Robust Variance Covariance Matrix Estimation. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Vol. XXXVII. Part B5. Beijing, China. pp. 933-938. ( 940 KB)
• Westfeld, P. (2007):
  Ansätze zur Kalibrierung des Range-Imaging-Sensors SR-3000 unter simultaner Verwendung von Intensitäts- und Entferungsbildern. Photogrammetrie - Laserscanning - Optische 3D-Messtechnik (Beiträge Oldenburger 3D-Tage 2007, Hrsg. Th. Luhmann), Verlag Herbert Wichmann ( 1,2 MB)
• Westfeld, P. (2007):
  Development of Approaches for 3-D Human Motion Behaviour Analysis Based on Range Imaging Data. Grün, A.; Kahmen H. (Eds.): Optical 3-D Measurement Techniques VIII. Vol., pp., Institute of Geodesy and Photogrammetry, ETH Zürich ( 4,6 MB)

Kontakt

Leitung:

• Prof. Dr. habil. Hans-Gerd Maas

Bearbeitung:

• Dipl.-Ing. Patrick Westfeld