Pyanook Lab

Wie Freiburger Master-Studierende Bewegungen in Musik umwandeln

Valentin Heneka

Für seine Suche nach neuen Klängen nutzt Jazzpianist Ralf Schmid Spitzentechnologie. Bei seinem Pyanook Lab am Mittwoch stellt er Prototypen vor, die Studierende der Uni Freiburg für ihn entwickelt haben. fudder hat sie vorab angeschaut.

Im Techniklabor an der Technischen Fakultät der Universität Freiburg herrscht Hochbetrieb. Zwischen Elektronikbauteilen und Kabeln ertönen deutsche und englische Sprachfetzen, Zeilen von Code rattern über die Bildschirme. Rund 20 Studierende sitzen und stehen in Arbeitsgruppen beisammen und testen die Prototypen, die sie im laufenden Semester entwickelt haben. Bei manchen läuft es, andere suchen nach letzten Fehlern, wieder andere kennen diese, müssen sie aber noch beheben.


Viel Zeit haben sie nicht mehr: Denn anders als in den Vorjahren landen die Projektarbeiten nach Abschluss des Kurses nicht in irgendeiner Schublade, sondern werden am Mittwoch in zwei Aufführungen vor Publikum eingesetzt und vorgestellt. Entwickelt wurden die Geräte für Ralf Schmid, Freiburger Jazzpianist, Komponist und Produzent, der für seine Arbeit Pyanook im vergangenen Jahr mit dem Stipendium des Reinhold-Schneider-Kulturpreises der Stadt Freiburg ausgezeichnet wurde.

Warum Technik-Studierende mit einem Musiker zusammenarbeiten

"Die Zusammenarbeit kam über einen Kollegen zustande, der bei einem der ersten Pyanook-Labs war, sich nach der Performance mit Ralf Schmid unterhalten und den Kontakt hergestellt hat", sagt Dr. Philipp M. Scholl. Der Post-Doktorand am Institut für Informatik ist einer von vier Betreuern des Kurses "Wearable Computing" für Master-Studierende der Fächer Informatik und Embedded Systems Engineering, eine Verbindung aus Ingenieurtechnik und Informatik. Um zu verstehen, warum gerade Scholl und seine Technik-Studierenden mit einem Musiker zusammenarbeiten, muss man über Ralf Schmid einige Dinge wissen.

Sein Projekt Pyanook, das 2017 auf dem Freiburger Jazzfestival Premiere feierte, ist eine Zusammenarbeit mit dem Lichtdesigner und Videokünstler Pietro Cardarelli. Es verwischt Grenzen und erschafft neue Zusammenhänge: zwischen Jazz und elektronischer Musik, zwischen Klängen und Bildern, zwischen Musik und Technologie sowie zwischen Mensch und Maschine. Denn Schmid musiziert nicht nur an mindestens einem Flügel, sondern auch mit Daten. Seine Datenhandschuhe etwa übersetzen Handbewegungen in Software-Befehle, welche wiederum elektronische Klänge erzeugen oder den Klang seines Flügels nachträglich elektronisch verändern.



Solche am Körper tragbare, mit Sensoren ausgestatteten Wearables, die uns im Alltag als Fitnessarmband oder Smartwatch bekannt sind, entwickeln Studierende im Kurs an der Technischen Fakultät, angesiedelt am Lehrstuhl für Rechnerarchitektur von Professor Bernd Becker. Ihre Einsatzmöglichkeiten der tragbaren Minicomputer sind vielfältig: Labor, Medizin und Pflege, Sport- und Unterhaltungselektronik oder eben die musikalische Avantgarde.

Um sich mit Letzterer vertraut zu machen, besuchten die Studierenden zu Beginn des Semesters eine Ausgabe von Schmids Konzertreihe Pyanook Lab, dessen vierte Ausgabe am Mittwoch im Humboldtsaal stattfindet. Bei den Lab-Veranstaltungen handelt es sich um eine reduzierte Variante von Pyanook, mit audiovisueller Performance und anschließendem Austausch über Musik und Technik bei Wein und Snacks. Dabei fanden die Studierenden erste Ansätze, wie sie die Fähigkeiten des Musikers zusätzlich technologisch erweitern könnten.

Erweiterungen für die Datenhandschuhe und Herzraten-Sensorik

"Im Gesprächsteil hat er etwas über seine Handschuhe erklärt, dann wollte er ein praktisches Beispiel geben. Der erzeugte Ton war allerdings viel zu laut, weil die Handschuhe scheinbar keine Rückmeldung darüber geben, wie die Lautstärke eingestellt ist", sagt einer der Studenten. Er und seine Arbeitsgruppe entwickelte für Schmid eine Manschette, die ihn, vernetzt mit seinen Handschuhen, in Zukunft durch leichten Druck am Oberarm vor solchen Situationen warnen könnte.



Am Oberarm wird auch das flache, von der Gruppe "Artrate" gebaute Kästchen befestigt, aus dem diverse Kabel herausragen. Mehrere Sensoren messen die Frequenzen von Herzschlag und Atmung, sodass der Musiker seinen Puls in ein musikalisches Element umwandeln und mit seiner Atmung weitere Parameter steuern kann – während er weiterhin zwei freie Hände für Flügel und Handschuhe hat. Da die Studierenden zwei Exemplare gefertigt haben, könnten auch Herzschlag- und Atmung einer Person im Publikum in das Gesamtkunstwerk einfließen.

Eye- und Space-Tracking

Die Kommilitonen am Nebentisch konstruierten indessen eine Eye-Tracking-Brille zur Steuerung von Synthesizern oder Effekten. Eine Kamera erfasst dabei die Pupille des Musikers. Durch Augenbewegungen kann er etwa Effekte wie Hall und Echo auswählen und sie mit einem Blinzeln an- und ausschalten. Ähnlich wie bei einer Computer-Maus, nur ebenfalls freihändig.

Den vierten Entwurf des Kurses trägt am Mittwoch nicht der Jazzpianist, sondern die Tänzerin Luka Fritsch. Ein Sender übermittelt ihre Position an vier im Raum verteilte Empfänger. Betritt sie verschiedene, vorher festgelegte Bereiche oder kommt sie in deren Nähe, löst das System Veränderungen in Licht und Musik aus.



Ob die Neuentwicklungen des Kurses bereit für den Live-Einsatz sind, zeigt sich am Mittwochmittag: Dann kommt Ralf Schmid an die Technische Fakultät, um die Geräte nach der Präsentation durch die Studierenden in seiner Performance mit Tänzerin Luka Fritsch auszuprobieren. "Es wird quasi eine Generalprobe vor Publikum, bei der einiges improvisiert wird", sagt Kursbetreuer Scholl. Was sich Mittags bewährt, könnte Abends im Humboldtsaal eingesetzt werden. Für Ralf Schmid ist das zwar mit einem gewissen Risiko verbunden, doch hat er längst gezeigt, dass er dieses nicht scheut, um neue Wege in der Musik zu gehen.
Was: Pyanook Lab Vol. 4 "Wearable Inventions": Audiovisuelle Performance mit Ralf Schmid (Musik), Pietro Cardarelli (Video und Licht) und Luka Fritsch (Choreographie), anschließend Werkstattgespräch.
Wann: Mittwoch, 6. Februar 2019, 20 Uhr
Wo: Humboldtsaal, Humboldtstr. 2, 79098 Freiburg

Was: Zukunftsmusik: Präsentation der Kursarbeiten und Performance von Ralf Schmid (Musik) und Luka Fritsch (Choreographie)
Wann: Mittwoch, 6. Februar 2019, 12 Uhr
Wo: Technische Fakultät, Gebäude 082, Kinohörsaal, Georges-Köhler-Allee 082, 79110 Freiburg

Mehr zum Thema: