Komplexprakti­kum Computergraphik und Visualisierung

SS 2015, 0/0/4
INF-B-510 (Vertiefung) INF
INF-B-520 (Vertiefung zur Bachelor-Arbeit) INF
INF-B-530 (Vertiefung) MI
INF-B-540 (Vertiefung zur Bachelor-Arbeit) MI
INF-MA-PR (Master-Praktikum)
INF-E-4 (Master-Praktikum Medieninformatik)
INF-VMI-8 (Angewandte Graphische Datenverarbeitung)
INF-04-KP (Komplexpraktikum)
MINF-04-KP-FG1 (Komplexpraktikum Fachgebiet 1)
IST-05-KP (Komplexpraktium)

Einschreibung per E-Mail an 

Dozent

Prof. Dr. Gumhold
Dipl.-Medieninf. Eric Brachmann

Termine

ZVZ, ZVO

TELEPRÄSENZ-STEUERUNG EINES ROBOTERARMS

Ziel des Komplexpraktikums ist die Schaffung eines Telepräsenz-Systems zum Greifen und Bewegen von Gegenständen. Es soll folgender Versuchsaufbau mit zwei Stationen geschaffen werden:

• Im Aktionsfeld eines Roboterarms stehen verschiedene Gegenstände die bewegt werden können/sollen. Eine Stereokamera filmt das Aktionsfeld.
• Ein Proband trägt eine VR-Brille und sieht das Aktionsfeld von Station 1. Seine Armbewegungen werden von einer Kinect erfasst und auf den Roboterarm übertragen. Greifbewegungen werden ebenfalls von der Kinect erkannt und übertragen.

Beide Stationen können potentiell weit voneinander entfernt sein, sodass der Proband Gegenstände manipulieren kann, obwohl sich diese an einem völlig anderen Ort befinden.

Zur Erfüllung der Aufgabe müssen folgende Teilprobleme gelöst werden:

• Ansteuerung diverser Geräte (Kinect, Roboterarm, Stereokamera, VR-Brille)
• Verwendung des Kinect-Skelett-Trackings und Erkennung von Greifbewegungen (bzw. Handgesten). Insbesondere muss das Endsystem robust gegenüber Fehlern im Skelett-Tracking sein: z.B. durch Ausreißererkennung oder zeitliche Glättung
• Registrierung des Skelett-Koordinatensystems auf das Roboterarm-Koordinatensystem
• Übertragen der Steuerungsinformationen und des Stereo-Video-Streams über ein Netzwerk (zwischen den Stationen 1 und 2)

Die Komplexität der Aufgabe kann je nach Teilnehmerzahl angepasst werden. Für die Mitarbeit an dem Komplexpraktikum ist der Umgang mit C++ notwendig. Vorwissen in Bezug auf lineare Algebra, dem Umrechnen von Koordinatensystemen, OpenCV und der Entwicklung mit der Kinect ist hilfreich.