Three-D time-of-flight distance measurement with custom solid-state image sensors in CMOS/CCD-technology
Da wir in einer dreidimensionalen Welt leben, erfordert eine geeignete Beschreibung unserer Umwelt für viele Anwendungen Kenntnis über die relative Position und Bewegung der verschiedenen Objekte innerhalb einer Szene. Die daraus resultierende Anforderung räumlicher Wahrnehmung ist in der Natur dadurch gelöst, daß die meisten Tiere mindestens zwei Augen haben. Diese Fähigkeit des Stereosehens bildet die Basis dafür, daß unser Gehirn qualitative Tiefeninformationen berechnen kann. Ein anderer wichtiger Parameter innerhalb des komplexen menschlichen 3D-Sehens ist unser Erinnerungsvermögen und unsere Erfahrung. Der Mensch ist sogar in der Lage auch ohne Stereosehen Tiefeninformation zu erkennen. Beispielsweise können wir von den meisten Photos, vorausgesetzt sie bilden Objekte ab, die wir bereits kennen, die 3D Information im Kopf rekonstruieren [COR].
Die Aufnahme, Speicherung, Weiterverarbeitung und der Vergleich dieser riesigen Datenmengen erfordert eine enorme Rechenleistung. Glücklicherweise stellt uns die Natur diese Rechenleistung zur Verfügung. Für eine technische Realisierung sollten wir aber nach einfacheren und genaueren Meßprinzipien suchen.
Bildgebende 3D Meßmethoden mit einer brauchbaren Distanzauflösung sind bisher nur in Form von passiven (z.B. Stereosehen) oder aktiven (z.B. Streifenprojektionsverfahren) Triangulationssystemen realisiert worden. Solche Triangulationssysteme bringen vor allem die Nachteile der Abschattungsproblematik und der Mehrdeutigkeit (Streifenprojektion) mit sich. Somit sind oftmals die möglichen Einsatzgebiete eingeschränkt. Außerdem erfordert Stereosehen kontrastreiche Szenen, denn sein Grundprinzip besteht in
der Extrahierung bestimmter signifikanter (kontrastreicher) Merkmale innerhalb der Szenen und dem Positionsvergleich dieser Merkmale in den beiden Bildern. Überdies erfordert die Gewinnung der 3D Information einen hohen Rechenaufwand. Hohe Meßauflösung hingegen kann man nur mit einer großen Triangulationsbasis gewährleisten, welche wiederum zu großen Kamerasystemen führt.
Eine elegantere Methode zur Entfernungsmessung ist das „Time-of-Flight (TOF)“- Verfahren (Fluglaufzeitverfahren), ein optisches Analogon zum Ultraschall Navigationssystem der Fledermaus. Bisher wird das TOF- Verfahren nur eindimensional eingesetzt, also für die Distanzbestimmung zwischen zwei Punkten. Um mit solchen 1D Meßsystemen die 3D Information der Szene zu erlangen,
benutzt man Laserscanner. Diese sind aber teuer, groß, verhältnismäßig langsam und empfindlich gegen Erschütterungen und Vibrationen. Scannende TOF- Systeme sind daher nur für eine eingeschränkte Anzahl von Applikationen geeignet.
In dieser Dissertation stellen wir erstmals eine nicht scannende bildgebende 3D-Kamera vor, die nach dem TOF- Prinzip arbeitet und auf einem Array von sogenannten Demodulationspixeln beruht. Jedes dieser Pixel ermöglicht sowohl die Messung der Hintergrundintensität als auch die individuelle Ankunftszeit einer HF-modulierten Szenenbeleuchtung mit einer Genauigkeit von wenigen hundert Pikosekunden. Das Funktionsprinzip der Pixel basiert auf dem CCD Prinzip ( C harge C oupled D evice), welches den Transport, die Speicherung und die Akkumulation optisch generierter Ladungsträger in definierten örtlich begrenzten Gebieten auf dem Bildsensor erlaubt. Ladungstransport und -addition können von CCDs enorm schnell und beinahe verlustfrei durchgeführt werden. Wir bezeichnen diese neuartigen, hochfunktionalen und leistungsstarken Pixel als Demodulationspixel , weil man mit jedem von ihnen die Entfernungs- und Reflektivitätsinformation des zu vermessenden Ziels aus dem empfangenen optischen Signal extrahieren kann. Die gesuchte Information wird dem aktiven optischen Signal während der Ausbreitung des Lichts durch die Szene (Time of Flight) aufmoduliert. Jedes Pixe l arbeitet wie eine individuelle Hochpräzisions- Stoppuhr. Da die Realisierung im wesentlichen auf CMOS- Technologie basiert, wird diese neue Technik von den stetig fortschreitenden Technologieentwicklungen und -verbesserungen profitieren und zwar in Form von besserer Zeitauflösung und damit höherer Distanzgenauigkeit. Dank der Benutzung einer CMOS- Technologie können zukünftig sehr leicht auch alle bekannten CMOS-APS- Eigenschaften ( A ctive P ixel S ensor) monolithisch implementiert werden (z.B. Definition und Auslese von Bildsegmenten: regions of interest , A/D Wandlung auf dem Sensor, …).
Die neuen Bildsensoren sind in einem 2 µm CMOS/CCD Prozess hergestellt worden, einem leicht modifizierten CMOS Prozess, der zur kostengünstigen Prototypenfertigung zur Verfügung steht (sogenannte MPWs, M ulti P roject W afer). Dieser Prozess bietet die Möglichkeit, CCD Strukturen zu realisieren. Obwohl diese CCDs nicht die Qualität spezieller CCD- Prozesse erreichen, genügen sie den Anforderungen unserer Anwendung vollkommen. Wir haben verschiedene Pixelstrukturen realisiert und charakterisiert und
präsentieren in dieser Arbeit die Ergebnisse. Das Demodulationspixel mit dem besten Füllfaktor und den effizientesten Demodulationseigenschaften wurde als Zeilensensor mit 108 Pixeln und als Bildsensor mit 64 x 25 Pixeln fabriziert. Beide Sensoren sind in separaten Entfernungskameras implementiert, die jeweils modulierte LEDs als Lichtquelle benutzen und einen Entfernungsbereich von 7.5 Metern oder sogar 15 Metern abdecken. Für nicht kooperative diffus reflektierende Ziele erreichen beide Kameras eine Auflösung von wenigen Zentimetern. Mit Ausnahme der Bildsensoren werden in den Distanzkameras ausschließlich optische und elektrische Standardkomponenten eingesetzt. Bei einer Integrationszeit von 50 ms (20 Hz 3D-Bild-Wiederholrate) genügt für eine Distanzauflösung von 5 Zentimetern eine optische Leistung von 600 Femtowatt pro Pixel (Wellenlänge des Lichts: 630 nm). Bei dieser niedrigen optischen Leistung werden statistisch lediglich 0.06 Elektronen innerhalb einer Modulationsperiode von 50 ns akkumuliert (20 MHz Modulationsfrequenz), also nur ein Elektron in jeder 16ten Periode.
Wir führen eine ausführliche Analyse der Einflüsse von Nichtlinearitäten innerhalb der Elektronik, von Aliasing Effekten, von der Integrationszeit und von den Modulationssignalen durch. Außerdem stellen wir eine optische Leistungsbilanz auf und präsentieren eine Formel zur Voraussage der Distanzauflösung als Funktion des Verhältnisses der Hintergrundhelligkeit zur Intensität des aktiven optischen Signals sowie weiteren Kamera- und Szenenparametern. Die Gültigkeit dieser Formel wird durch Simulationen und echte
Messungen verifiziert, so daß wir in der Lage sind, für eine vorgegebene Integrationszeit, optische Leistung und Zieldistanz und -reflektivität die Meßgenauigkeit des Systems vorherzusagen.
Wir demonstrieren die ersten erfolgreichen Realisierungen bildgebender, rein elektronischer 3D-Entfernungskameras nach dem Laufzeitprinzip ohne bewegte Teile, welche auf kundenspezifischen PhotoASICS beruhen. Die erzielten Meßresultate dieser Kameras sind beinahe ausschließlich vom natürlichen Quantenrauschen das Lichts limitiert. Wir zeigen, daß das optische 3D TOF- Verfahren ein exzellentes kostengünstiges Werkzeug für alle modernen berührungslosen optischen Meßaufgaben zur Überwachung relativer
Objektpositionen oder -bewegungen ist.