Text: rashad becker aus De:Bug 04

In Testbed with Music & Computers

Neue Musik braucht neue Interfaces

Das MIDI-Standard-Protokoll wurde 1983 entwickelt und in die Musikwelt geworfen, um dort Umbrüche hinter sich herzuschleifen wie kaum eine Neuerung vorher seit der “Entdeckung” elektronischer Musik. Plötzlich konnte man überall schlanke kleine Expander übereinanderschrauben – an Stelle der ewig nicht sinnvoll anortenbaren Tastaturburgen. Jedermann ward, wenigstens theoretisch, die Möglichkeit gegeben, Rhythmusgefühl einfach mal nur als Idee zu betrachten, keiner ward mehr gezwungen, einen Take in Echtzeit zufriedenstellend einzuspielen – dank MIDI-Sequenzer und Quantize-Function, 100%ige Reproduzierbarkeit stand in Flammenschrift am Horizont.
Vor allem durch den Verdienst von ATARI rückten durch MIDI-Musik und Computer auf einer Massenplattform ganz ganz nah zusammen, das MIDI-Heimstudio ward geboren. Das bedeutete vor allem auch die Vermassung von musikalischen Möglichkeiten, einige Schritte zwischen musikalischer Idee und Tonträgerendprodukt (Studio, Produzent et al) wurden zumindest in manchen Szenen obsolet, was nicht zuletzt die Entwicklung und Verfügbarkeit experimenteller elektronischer Musik ungeheuer begünstigte.
Auf der anderen Seite wuchsen aber auch die Ansprüche an MIDI-Instrumente, man sollte dann aber schon auch Shakuhachi oder Cello in sein Heimarrangement mit einbeziehen können und so entstanden die unsäglichen MIDI-Workstations und ROM-Player a la M1, um den endgültig absurden Schritt zu forcieren, Naturinstrumente mit sogenannten Synthesizern möglichst perfekt und “menschlich” zu emulieren, und damit geradeweg eine Absage an die Klangsynthese als eigenständige Instrumentenkultur zu erteilen. Weiter eröffnete man damit den “Workout”-Markt für kreative Reproduktion erschlaffter Produktionskräfte in Form von GENERAL-MIDI-Anwendungen und das Verdealen aktueller Pop-Geschichte als MIDI-File 10er-Packung um letztendlich Musikmöbel und Stereomöbel noch näher zusammenzubringen.
Nichtsdestotrotz – MIDI veränderte in jedem Falle den Umgang mit Musik und Musikinstrumenten in struktureller, ästhetischer sowie technischer Hinsicht, im Guten wie im Bösen, und es versah den Vorgang des Musizierens mit einer völlig neuen Oberfläche, die im Gros der Zeit der Entstehung eines Stückes leider ungefähr so funky ist, wie Textverarbeitung. Das “Arbeiten” an einem Stück auf der Plattform eines MIDI-Sequenzers bietet im Regelfall kaum Vergleichswerte zum Spielen eines (elektronischen) Instrumentes, die Benutzeroberflächen und Interfaces bieten den denkbar unorganischsten und unzeitgemäßesten Zugang zur Musik. Und obgleich MIDI, ähnlich dem Hardware-Klangerzeuger, in vielen Bereichen zusehends wieder an Bedeutung verliert und die Möglichkeiten der Computermusik die Foren von Pattern-Song-Logic und temperierter Skala beiweitem überragen, zerren wir nach wie vor an Mäusen, starren dabei in Fenster, schieben und ziehen Cursor und drücken im besten Fall auf ein paar Dutzend temperierte schwarz-weiße Tasten. Ein paar Exoten unter den MIDI-Controllern oder Gimmicks wie der Ribbon-Controller können hierbei nicht der Weisheit letzter Schluß sein. Obgleich die Computertechnologie die Formen der Klangsteuerung und Klangsynthese kontinuierlich revolutioniert, fällt vielen Programmierern nichts Besseres ein, als ihre Cutting-Edge-Applikationen mit fusseligen Drehpoti-Simulationen etwaiger physikalischer Vorbilder auszustaffieren und im Überwiegenden physikalische Lösungen zu emulieren.
Das muß anders werden. Wir wollen moderne Lösungen! Und darum horchen wir auch auf, wenn mal wieder (nach Laurie Anderson et al) jemand versucht, den Datenhandschuh als mögliches Interface zwischen Mensch und Musik zur Dateneingabe heranzuzitieren, treffen uns mit dem Betreffenden und stellen ihm langatmige Fragen zu Theorie, Forschung und Details in Sachen Computermusik und Interfacing.
Im vorliegenden Fall trifft dies Ioannis Zannos, der am Berliner Staatlichen Institut für Musikforschung (SIM) den Forschungsauftrag betreffs computergestützter Musikforschung betreut und in dieser Funktion eng mit dem internationalen Projekt “Testbed for Music and Acoustics”(TEMA) verwoben ist. In dessen Rahmen fand besagter Handschuh seine Berührung mit musikalischen Anwendungen .

…der Handschuh?

Der Datenhandschuh ist als Diplomarbeit von Frank Hoffmann an der technischen Universität Berlin entstanden. Aus dieser Arbeit, dem Prototyp 1 des Handschuhs ging ein interdisziplinäres Forschungsprojekt-kurz IFP-hervor, an dem sich das Institut für technische Informatik, ein Institut für Mikro- und Biosensorik und das Institut für Semiotik beteiligten. Diese drei haben das Projekt konstituiert und von der TU Gelder erhalten, um den Projektbetrieb zu gewährleisten. Es ist also ein verhältnismäßig großangelegtes Projekt, jedenfalls für eine Universität, zumal es über vier Jahre lief. In der ersten Phase dieses Projektes entstand der Prototyp 2, der Dritte stand für April 96 zu erwarten, kam aber letztlich erst dieses Jahr zu Stumbling in the Hightech Pool, also mit gut 16 Monaten Verspätung, da in der Zwischenzeit theoretische Vorarbeit und Programmierarbeiten parallel gelaufen sind, und weil die Hardwareentwicklung sehr schwierig, unattraktiv und wenig motivierend ist, lauter Fummlerei, vor allem bei so kleinen, sensiblen Elementen.
Der komplette Handschuh in guter Ausführung liegt quasi erst jetzt vor, es wird aber weitere Verbesserungen geben in Richtung Beschleunigungssensoren.
Der Aufbau des Handschuhs ist wie folgt: Es gibt für jedes Fingerglied komplette Abtastung, sprich dreimal pro Finger. Zusätzlich läßt sich jeweils zwischen zwei Fingern ein Spreizwert auslesen, der durch den Distanzwert je zweier Sensoren ermittelt wird. Darüber hinaus lassen sich die Abspreizung des Daumens sowie die Biegung des Handgelenks in Daten übersetzen, so daß man insgesamt 22 unabhängige Werte mit einer effektiven Auflösung von guten 9 Bits ermitteln kann, eigentlich sogar 11. Das ist schon sehr viel, wenn man bedenkt, das sich die einzelnen Fingerglieder kaum 90 Grad krümmen, da wären die Schritte schon viel kleiner als 1 Grad, eher bei einem zehntel Grad. Die Innovation bei der verwendeten Art von Sensoren liegt darin, das magnetische Induktionsspulen benutzt werden, die eine bestimmte Frequenz senden, und diese Frequenz je nach dem ändern, wie tief das Induktionselement in die Spule eintritt. Natürlich gibt es da Probleme mit Thermal Drift, da die Temperatur schon eine wesentliche Rolle spielt in der Induktivität dieser Spulen, außerdem entsteht einfach Noise. Darüber hinaus war es recht kompliziert die Mechanik soweit sensibel zu justieren, das keine Fehler mehr entstehen.
Dazu kommen drei Beschleunigungssensoren, die äußerst empfindlich und sehr teuer sind und über zweihundert Auflösungsstufen in einem Bereich bieten, der das menschenmögliche an Beschleunigung schon sehr gut abdeckt, aber hier werden wie gesagt noch sensiblere und vor allem auch kleinere Sensoren aus dem Labor für Mikrosensorik kommen, von denen mehrere an Handgelenk und -rücken plaziert werden.
Die ursprüngliche Idee hinter der Entwicklung des Handschuhs war Steuerungstechnik im Bereich Robotik, dann kamen Ideen in Richtung Gehörlosensprache und Steuerung von Haushaltsgeräten bzw. Computern per Geste, und dann kamen auch schon erste Ansätze, das Projekt mit musikalischen Anwendungen zu verknüpfen, die schnell an Kontur gewannen und mittlerweile ein immer stärker werdendes Interesse an sich binden können. Das war auch der Moment, in dem sich die Zusammenarbeit mit dem SIM ergeben hat.

…das SIM?

Das SIM ist das Staatliche Institut für Musikforschung, das aus einer staatlichen Einrichtung des 19. Jahrhunderts, im Wesentlichen einer Instrumentensammlung, hervorgegangen ist und einige sehr wichtige Musikwissenschaftler der Zwischenkriegszeit beherbergt hat, die es zu einer regelrechten Forschungseinrichtung aufgewertet haben. Im zweiten Weltkrieg wurde es dann erwartungsgemäß geschlossen, und erst 1964 wieder gegründet, um fortwährend eigentlich alle Bereiche der Musikwissenschaft und Forschung abzudecken.

…TEMA?

Das Projekt Testbed for Music and Acoustics ist ein europäisches Gemeinschaftsprojekt verschiedener Institute, das vom SIM aus initiiert wurde, dem die Universität Helsinki, die Universität York, das Computerinstitut der Uni Genova sowie die Musiktechnologie-Entwicklungsfirma IRIS angegliedert sind, die mitunter DSP-Anwendungen für industrielle Zwecke herstellen, aber auch eine experimentelle Klangsynthesemaschine mit Namen Mars entwickelt haben, die auf ATARI-Plattform angefangen wurde und inzwischen auf DOS als Karte läuft. Es handelte sich dabei ursprünglich um eine externe Box mit ziemlich exotischen Bit- und Taktformaten, die für ihre Zeit und die Zeiten von ATARI wohl wegweisend war. Sie bietet offen programmierbare Klangsynthese, vergleichbar dem amerikanischen KYMA-System oder der IRCAM-Workstation, die später auf NEXT entstand, aber schon weit vorher entwickelt wurde. Da wurden Klangsynthesealgorithmen zur Verfügung gestellt, die teilweise in NEXT immer noch nicht oder nur als Patches verfügbar sind. Die Entwickler dort haben und hatten wirklich einen Sinn für experimentelle High-Level-Anwendungen und High-End-Hardware, die auch komplett selbst produziert wird und wurde. Mars hat ein eigenes Betriebssystem und eine eigene Programmierumgebung.
Testbed soll eine experimentelle Werkstätte sein, die konkret mit Hard- und Softwareunterstützung neue Anwendungen aus dem Bereich der Musik oder der Akustik ermöglichen soll, um zu forschen.
Das heißt, jemand kommt z. B. vom Physical Modeling her um etwas zu realisieren, und die Station bietet ihm direkt ein Umfeld um es etwa mit Gestenerkennung oder intelligentem Sequenzing oder intelligentem Musikprocessing zu verbinden. Es soll also eine gemeinsame Sprache, eine gemeinsame Forschungsstation sein, die Grundlagenforschung für künstlerische, musikalische Zwecke betreibt, neue Musikalgorithmen oder neue Algorithmen für Sound Effects entwickeln hilft, also eher Musik-Design als technische Marktorientiertheit. Das Ziel ist, sowohl für DSP- als auch Akustikspezialisten eine offene Plattform zu sein, in der sie ihre Ideen testen können, aber auch für Musikpädagogen oder direkt für Musiker und Klangkünstler, also ein Weg die verschiedenen Ebenen und Bereiche der Computermusik und der Musiktechnologie zusammenzubringen und mehr gemeinsames Vokabular und Brücken zu entwickeln.

…Netzwerke?

Netzwerke sind vor allem durch den Einfluß der Universität von York zu einem Schwerpunkt geworden,
In England gibt es eine sehr starke Tradition in Sachen paralleles Programmieren durch die ganze Bewegung für Transputer, und die hat natürlich ihre Spuren hinterlassen, und die Idee lebt auch noch und stößt nach wie vor auf Interesse. Aus dieser Tradition heraus wachsend gab es an der Universität von York das Projekt, ein Protokoll zu entwickeln, das es ermöglichen würde, DSP-Algorihmen in einem Netzwerk laufen zu lassen, so daß man neue Hardware-Komponenten einfach dem Netz angliedert um z.B. Leistungssteigerung zu erwirken. Das ganze läuft aber wie ein Netzwerk und man kann die Musikverarbeitung frei verteilen. Wir haben das MIDAS-Protokoll, das dabei entwickelt wurde, übernommen und bauen die ganze Klangsynthese darauf auf, und machen jetzt die ersten Versuche tatsächlich mit Hochgeschwindigkeitsnetzen in seriellem Protokoll ab 100 MegaBaut, direkt in Midas. Das bedeutet also keine Latenzzeiten, sondern echte Verteilung der Algorhitmen, echte Verteilung des Rechnens auf mehre Rechner über das Netz.
Wir benutzen im Tema-Projekt auch neuronale Netze und zwar vornehmlich für die flexible Erkennung von Gesten.

…andere Pojekte in Sachen Interfaces?

Unsere Partner in Helsinki benutzen einen sehr teuren Sensor, der die genaue Ortung eines einzelnen Punktes aufnehmen kann und mit dem man dirigiert. Das paßt auch in diesem Rahmen, aber erstmal ist der Handschuh schon genug, zumal dieser ja auch die Möglichkeit der Interaktion mit graphischen Objekten zwei-und dreidimensionaler Form anstrebt.

…was heißt?

An sich gibt es noch keine Resultate, wir haben aber schon angefangen. Das bedeutet, daß man eine virtuelle Welt hat, die aus Klangerzeugungsobjekten oder klingenden Objekten besteht, die man dann bewegt oder anstößt und dadurch ein Musikgeschehen spielend erzeugt oder in Bewegung bringt. Das ist einfach eine Metapher, ein Spiel mit den Metaphern. Interessant ist es vor allem, weil jetzt gerade im Internet die dritte Dimension eröffnet wird mit VRML, und weil man hofft, daß es noch weiter in diese Richtung geht. Die dritte Dimension ist schon interessant an sich und sie bedeutet noch eine weitere Dimension in der Darstellung von Daten, Darstellung von überhaupt Zuständen. Und wenn man überlegt, man hat Papier gehabt, dann hat man zwei Dimensionen oder nur Linien zur Verfügung gehabt, schwarz auf weiß bzw. auch mit Farben früher im Mittelalter, dann hat man diese Mittel benutzt um Musik zu machen. Jetzt haben wir drei Dimensionen. Bis das heranreift um neue Möglichkeiten des Musikmachens zu erschließen müssen eben Experimente her. Dies ist so ein Experiment, daß man sich einfach herantastet, um herauszufinden, was passiert wenn man jetzt drei Dimensionen und Farben hat, wie man damit Musik machen kann.
Es muß noch viel passieren mit dem Handschuh. Bisher haben wir hauptsächlich die Parameter des Handschuhs in Klangalgorithmen eingespeist. Erst jetzt haben wir die Algorithmen um ganze Gesten zu erkennen oder um bestimmte Punkte in der Bewegung der Hand zu charakterisieren bzw. zu klassifizieren und damit auf höherer Ebene umzugehen. Die Ankopplung von dem zur dreidimensionalen Welt steht noch völlig frei. Man kann es entweder direkt umsetzen, in dem man einfach in die Welt hineingreift und die Objekte dann berührt oder aber etwas indirekter eingreifen, in den Zustand der Objekte dieser Welt selbst.
Die graphische Ebene an sich bringt eine ganze neue Welt mit ins Spiel, weil die Objekte mit Eigenschaften geladen sind und von sich aus fähig sind quasi Patterns, Ostinatimelodien oder Rhythmen zu erzeugen. Es geht mehr in die Interaktion zwischen dem Handschuh, den Daten und den Objekten.

…musikalische Komponenten des Projektes?

Die sind wirklich vielfältig und jeder Partner hat mehrere Interessen, die sich in unterschiedlichem Grade miteinander verflechten. Teilweise gibt es richtig gute Überschneidungen. Grundsätzlich ist es so: Helsinki und die University of Technology sind sehr stark in Akustik, aber auch in Multimedia sowie in virtueller Realität. Das bedeutet auch Modellierung von virtuellen Konzerträumen und virtuellen Agenten in diesen Konzerträumen – Personen die so aussehen und sich akustisch so verhalten wie Menschen – vor allem in Akustik und in der Simulation von dreidemensionalem Klang, Bewegung von Klang im Raum. Aber auch die der Simulation von musikalischen Instrumenten durch Physical Modelling ist der eine Teil davon.
In York besteht die Gruppe zu 50% aus Ingenieuren und Informatikern sowie zu 50 % aus Komponisten und Musikern. Die machen viel elektronische Musik, elektroakustische Musik und neue Musik. Jeder hat sein Projekt und es wurden dort größere Softwareprojekte für elektroakustische Bearbeitung durch Softwaresynthese – also Erweiterung von Stücken – geschrieben. Es laufen ständig Projekte bezüglich Interfaces, wie man sogar die Maus sinnvoll einsetzt als musikalisches Instrument oder auch zu einfachen taktilen Objekten, mit denen man durch Abnahme mit Mikrofonen oder Sensoren dann Synthesizer steuern oder Effekte erzeugen und Klänge durch Effektgeräte jagen kann.

…Elfenbeinturm oder Zielrichtung Vermassung?

Das Projekt soll auf jeden Fall auch Anwendern zur Verfügung gestellt werden. Da es eine Grundtechnologie ist, sind die Nutzungsmöglichkeiten sehr vielfältig. Unser Flagschiff wäre eine Station, die für Forscher und für experimentelle Studios zur Verfügung steht, zwar einiges kostet – jedoch weniger als eine Workstation, dafür aber auch viel zur Verfügung stellt. Parallel dazu besteht die Idee, kleinere Module zu ermöglichen, basierend auf dieser Grundtechnologie, z.B. für Live Sampling oder Beats im Zusammenhang mit Scratching. Man könnte jetzt auch mit Samples scratchen. Das wirft die Frage auf: Wie kann man das auf einer noch höheren Ebene organisieren, musikalisch sinnvoll und mit noch mehr Reiz. Grundsätzlich geht es darum, daß durch die Computer eine völlig neue Art des Musikmachens ermöglicht wird. Dazu braucht man neue Werkzeuge und neue Sprachen, neue Begriffe oder auch neue Wege der Handhabung von Tönen. Das Projekt soll dazu beitragen, diese Begriffe und Tools zu erforschen.
Ein anderer Bereich sind intelligente Agenten, Softwareteile im Rechner, die Aktionen – seien sie musikalisch, seien sie gestisch oder seien sie optischer Input durch Kameras – aus der Umwelt oder vom Benutzer intelligent auswerten, ein eigenes Verhalten haben und daher ein intelligenter Gegenspieler oder fühlender Gegenspieler des Musikspiels sind.

…das hieße konkreter?

Man hat beispielsweise eine Kamera oder ein Fernsehbild und je nachdem, wie das Bild ist, das sie gerade abnimmt ändert sich die Musik, die vom Rechner synthetisiert wird. Man könnte auch eine Geste eingeben und der Computer interpretiert, ob die Geste jetzt gewaltsam war, geradlinig, sachte oder müde, und entsprechend ändert er die Musik. Es wäre auch möglich, daß der Rechner die erzeugten Motive beobachtet und selbst Sequenzen erzeugt, die dazu passen würden – oder überlegt sich: Das ist nun zu lang gewesen, das wird langweilig, laß uns ein wenig die Bässe aufdrehen oder eine dritte Stimme nehmen, oder den Klang von Bass auf Cembalo wechseln – ein bißchen mehr Dissonanz reinbringen.

….Neuerungen in der Musik nur noch gekoppelt an neue Technologien?

Musik und Technologie gehen immer nebeneinander. Ich glaube, daß die Kulturen dieser Tatsache unterschiedlich gegenüber stehen. Manche hüten Musik als sakrales Objekt – Philosophen oder Wissenschaftler stehen wiederum der Musik mit eine gewissen Hemmung gegenüber, sowohl der Sinnlichkeit von Musik als auch ihrer Technologie.
Allein schon dadurch, das sich die Musik als flüchtiger Klang in der Zeit abspielt, ist sie eine abstrakte Sache. Sobald man beim Prozeß des Musizierens über die eigene Stimme hinausgeht geht man auf Technologie ein. Musik ist ein Kult- oder Kulturgegenstand, das heißt man stellt ihn zur Schau und damit stellt sich auch die Technologie zur Schau.
Wie in der Architektur die Entwicklung auch in ihren Komponenten vorgeführt wird, fließt eben bei Musik entsprechend eine eigene Technologie ein: Strukturelles Denken, in Form der Möglichkeiten von Notation, Instrumentenbau und in der Musiktheorie vor allem. Und die technologische Revolution in der westlichen Moderne hat die Musik ganz und gar mitgetragen, und trägt sie noch.
Musik ist immer mit den abstrakten Ebenen zeitgenössischen Denkens verwoben. Wenn man sich die Aufgabe stellt ein neues Instrument mit dem Handschuh zu machen oder auch mit etwas völlig anderem, sobald der Sprung auf Computer und Programme vollzogen wird, muß man grundlegend an neue Möglichkeiten denken, die sich für Musik als eine Kunst, die sich in der Zeit ausbreitet, ergeben.
Durch das aktive Gedächtnis, das der Computer zur Verfügung stellt, insbesondere durch die Möglichkeit des virtuellen Reformings – also der Möglichkeit, Mutationen einer vergangenen Realität in Form eines Werkzeugs zu erzeugen und Abläufe in der Zeit und im Gedächtnis in frei zu manipulieren – revolutioniert er den Umgang mit der Musik.

Service:

MIDI: Musical Instrument Digital Interface; Standard seit 1983; Datenprotokoll zur Steuerung und Vernetzung vornehmlich elektronischer Musikinstrumente; serielle Übertragung via RS 232 mit 31 KiloBaut

GM/GS: General Midi und General Standard sind Erweiterungen des MIDI- Standards, die über das Befehlsformat hinaus z.B. die Zuordnung bestimmter Klangfarben zu bestimmten Speicherplätzen/MIDI- Kanälen oder die Konfiguration eines Sample-Drum-Kits festlegen.

Baut: Bits per second

IRCAM: Institut de Recherche et Coordination Acoustique/Musique ;
-> http://varese.ircam.fr

KYMA: ->http://www.symbolicsound.com

VRML: Virtual Reality Modeling Language,
-> http://www.vrml.org

DSP: Digital Signal Processor; spezialisierter Prozessortyp für digitale Signalbearbeitung

Physical Modeling: Klangsyntheseform, die versucht, physikalische Körper in all ihren klangbildenden Eigenschaften zu emulieren und letztlich virtuell zum klingen zu bringen

Specials:

Testbed soll eine experimentelle Werkstätte sein, die neue Anwendungen aus dem Bereich der Musik oder der Akustik ermöglichen soll, um zu forschen.

Grundsätzlich geht es darum, daß durch die Computer eine völlig neue Art des Musikmachens ermöglicht wird, und dazu braucht man neue Werkzeuge und neue Sprachen.

Musik ist ein Kult- oder Kulturgegenstand, das heißt man stellt ihn zur Schau und damit stellt sich auch die Technologie zur Schau.

About The Author

Elektronische Lebensaspekte.