Forschung zum Erlernen des Drehens von Objekten in der Hand durch Sehen und Tasten an der Fakultät Informatik

Prof. Roberto Calandra ist Mitautor des im Rahmen der Conference on Robot Learning (CoRL), 2023 erschienen Papers „General In-Hand Object Rotation with Vision and Touch”. Gemeinsam mit Haozhi Qi (UC Berkeley, Meta AI), Brent Yi (UC Berkeley), Sudharshan Suresh (Meta AI, CMU), Mike Lambeta (Meta AI), Yi Ma UC (Berkeley und  Jitendra Malik (UC Berkeley, Meta AI) stellen sie in ihrem Beitrag das System „RotateIt“ vor, welches die Rotation von Objekten mit den Fingerspitzen entlang mehrerer Achsen ermöglicht, indem es multimodale sensorische Eingaben nutzt. 

Mit ihrer Forschungsarbeit wollen sie die Manipulationsfähigkeiten von Robotern durch den Einsatz von Künstlicher Intelligenz (KI) verbessern, um eine Geschicklich- und Fingerfertigkeit von Roboterhänden auf menschlichem Niveau zu erreichen.

Roberto Calandra: „Der Einsatz von Tastsinn ist für feine Interaktionen unerlässlich. In unserer Arbeit zeigen wir, dass es möglich ist, mit sim2real in der Simulation visuell-taktile Strategien für allgemeine Drehungen in der Hand zu erlernen. Diese Richtlinien können dann erfolgreich auf physischen Robotern eingesetzt werden, um Objekte zu drehen, die zuvor noch nie gesehen wurden.“

Die Experimente der Wissenschaftler zeigen, dass die Einbeziehung propriozeptiver, visueller und taktiler Informationen die beste Leistung erzielen. Roberto Calandra setzt mit seinem Team an der TU Dresden diese Forschungsrichtung aktiv fort. Kürzlich wurden hier die ersten Roboter mit Roboterhänden und Tastsensoren ausgestattet.