Multimodale Wahrnehmung von Musik und Musikinstrumen­ten

Schall wird oft sowohl auditiv als auch taktil wahrgenommen. Bei einem Rockkonzert wird der menschliche Körper zum Mitschwingen angeregt, aber auch in der Kirche oder im Konzertsaal können Boden oder Sitzflächen vibrieren. Diese Vibrationen nimmt man jedoch meist nicht separat wahr, da sie mit den anderen Sinnesmodalitäten zu einem multimodalen Konzertereignis integriert werden.

© Sebastian Merchel

Die Körperoberfläche wird dabei direkt durch den Luftschall oder indirekt durch Körperschall zum Mitschwingen angeregt. Beide Übertragungspfade konnten z.B. in der Semperoper in Dresden messtechnisch nachgewiesen werden.

© Sebastian Merchel

Zusätzlich wurden im Opernhaus Raumimpulsantworten mit einem binauralen Kunstkopf und - für alle Raumrichtungen separat - mit einem Kugelarray gemessen. Die so gewonnen Daten können anschließend für die Wiedergabe z.B. mittels Wellenfeldsynthese im Multi-Modalen Messlabor bei der Durchführung von Wahrnehmungsexperimenten zum Einsatz kommen.

Wie im nachfolgenden Bild dargestellt ist, überlappen die Frequenzbereiche der auditiven und taktilen Wahrnehmung. Zusätzlich sind die Grundtonbereiche für einige Musikinstrumente eingezeichnet die beide Wahrnehmungsmodalitäten ansprechen können.

© Sebastian Merchel

Bei der Wiedergabe von Konzertaufnahmen zu Hause über Multimedia- oder Hi-Fi-Systeme, fehlen Vibrationen in der Mehrzahl der Fälle. Dies kann z.B. an den niedrigeren Lautstärken oder dem eingeschränkten Frequenzbereich der Lautsprecher liegen.

Fügt man leichte Vibrationen während der Wiedergabe von Musikaufnahmen wieder hinzu, z.B. unter Verwendung eine Vibrationssitzes, dann steigt in vielen Fällen die wahrgenommene Qualität des Konzerterlebnisses. Verschiedene multimodale Musikwiedergeabesysteme wurden in Zusammenarbeit mit Fahrzeugherstellern und Zulieferern entwickelt und optimiert.

© Sebastian Merchel

Besonders interessant ist dabei die Erzeugung des Vibrationssignal aus dem Audiosignal. Dafür wurden verschiedene Signalverarbeitungsalgorithmen entwickelt und in Wahrnehmungsexperimenten mit der Hilfe beispielhafter Musiksequenzen evaluiert. Es konnte geschlussfolgert werden das Vibrationen einen positiven Effekt auf die Musikwahrnehmung haben können. Zusätzlich verstärken sie die wahrgenommene Lautheit. 

© Sebastian Merchel

Weiterhin kann gezeigt werden das haptisches Feedback eine wichtige Rolle beim aktiven Musizieren mit einem Instrument spielt. Beispielhaft ist im Bild eine elektrische Violine zu sehen, welche mit einem elektrodynamischen Exciter unter der Kinnstütze und einem freeDSP ausgestattet wurde um solche Effekte zu untersuchen.

In einem aktuellen Forschungsprojekt werden die Vibrationen an einer Violine gezielt durch Shaker beeinflusst, um so die Wahrnehmung des Instruments beim Spielen zu verändern. So soll erforscht werden, ob bestimmte Frequenzanteile im Vibrationssignal bestimmte Wahrnehmungsattribute (z. B. Responsivität, Kraft, Klarheit) verstärken oder unterdrücken können. Um dieses Ziel zu erreichen, soll ein 'virtueller Prototyp' eingesetzt werden, der auf einer elektrischen Violine basiert und der den Klang sowie die Vibrationen des Instruments beliebig modifizieren kann.

Kontakt