De-Mix-Revolution Melodyne DNA und wie es dazu kam

Als auf der Musikmesse 2008 zum ersten Mal davon die Rede war, dass Melodyne in einer kommenden Version Songs wieder in Einzelspuren zerlegen kann, avancierte Melodyne-Entwickler Peter Neubäcker zum Mittelpunkt der Veranstaltung: Alle wollten wissen was hinter dem angekündigten Zaubertrick steckt oder einfach nur im Bart des Meisters lesen, ob sie den Versprechungen Glauben schenken sollen. Auf den anderen Ständen herrschte relative Leere und Bewunderung, abgerundet mit einer gehörigen Portion Neid, gern mit der Prophezeiung garniert: “Das schaffen die eh nicht”. Nun haben sie es aber geschafft, was wir zum Anlass genommen haben, ein bisschen mehr über Melodyne DNA und Peter Neubäcker zu erfahren.

Debug: Wann bist du auf die Idee gekommen, DNA zu entwickeln?

Peter Neubäcker: Die Formulierung “DNA zu entwickeln” klingt, als ob es da zunächst ein Problem gäbe und dann eine Produktvorgabe, mit dem man dieses Problem lösen kann. Aber so war es gar nicht: Vor über zehn Jahren hatte ich eine Idee, die letztendlich zu Melodyne geführt hat. Damals habe ich versucht, zu verstehen, was ein Klang eigentlich ist, wenn man ihn unabhängig von der Zeit und von seiner Tonhöhe denkt. Aus diesem Ansatz habe ich dann das Verfahren entwickelt, das wir später “Local Sound Synthesis” genannt haben, aus dem wiederum Melodyne entstanden ist.
Da ist es natürlich naheliegend, so etwas auch mit mehrstimmigen Klängen oder Akkorden machen zu wollen, denn in unserem Denken und Hören von Klängen sind wir ja auch nicht davon abhängig, ob ein Klang einstimmig oder mehrstimmig ist – wir können ihn hören, ihn verstehen und dann auch anders denken. Da kann uns die Physik erzählen, dass wir prinzipiell den Klang nie wirklich in Einzelteile zerlegen können, beim Hören ist das egal. Es muss nur plausibel sein und der Einzelklang muss sich so verändern lassen, dass bei der Veränderung wieder ein plausibler Gesamtklang entsteht. Solche Gedanken hatten sich über die Jahre verdichtet, wie auch die Ansätze dazu, inwiefern man das konkret machen könnte.

Debug: Wann hast du zum erste Mal gemerkt, dass es wirklich funktionieren könnte?

Neubäcker: Vor zweieinhalb Jahren, als ein Melodyne-User aus Los Angeles sich bei uns meldete. Er hat mir eine kurze Aufnahme einer Marimbaphon-Phrase geschickt und schrieb dazu, das Instrument sei nur für das Studio gemietet worden, längst wieder weg und nun stelle sich heraus, dass durch einen Notationsfehler eine Phrase in Moll statt in Dur gespielt worden war. Das könne man doch sicher mit Melodyne korrigieren, er bekomme es aber nicht hin. So etwas ging mit dem damaligen Melodyne natürlich überhaupt nicht, weil die Töne des Marimba ineinander klingen und sich ganz lange überlagern – ein typisches mehrstimmiges Signal also.
Zu diesem Zeitpunkt dachte ich: Lass es uns probieren! Um die Sache zu vereinfachen, habe ich die eigentliche Analyse, welche Töne zu welchem Zeitpunkt klingen, erst einmal übersprungen. Danach wurden die Werte für dieses Beispiel herausgehört und in das Testprogramm zunächst fest eingegeben, um dann auf Grund dieser Annahme über die vorhandenen Töne die Einzelklänge aus dem Gesamtklang rauszurechnen. Es hat so gut funktioniert, dass ich einfach weiter gemacht habe.

Debug: Was waren die größten Hürden?

Neubäcker: Das Verfahren besteht eigentlich aus zwei ganz getrennten Vorgängen: Zunächst der Untersuchung, welche Note oder welcher Klanganteil wann klingt und erst darauf basierend das tatsächliche Auseinanderrechnen des Gesamtklangs als Voraussetzung dafür, dass die Einzelnoten dann auch separat verändert werden können. Es hat sich herausgestellt, dass der erste Schritt tatsächlich der anspruchsvollere ist – nicht so sehr das Finden von einzelnen Noten, sondern die vollständige Aufteilung in alle klingenden Anteile. Auch wenn sie vielleicht als Noten kaum noch wahrgenommen werden, weil sie im Hintergrund fast ausgeklungen sind. Oder umgekehrt eine Note zu finden, die im Signal so schwach ist, dass sie kaum gefunden werden kann, aber im musikalischen Zusammenhang trotzdem deutlich zu hören ist. Da gibt es eine Diskrepanz zwischen dem, was der Benutzer aus musikalischer Sicht als Note zu sehen erwartet und dem, was für die saubere Klangtrennung notwendig ist. Daher muss der Benutzer auch oft noch dem Analyse-Ergebnis etwas nachhelfen mit dem Erkennungskorrekturmodus, den wir extra zu dem Zweck entwickelt haben.
Andere, eher technische Hürden, waren die Bewältigung der anfallenden Datenmengen und die Optimierung der notwendigen Rechenzeit und des Speicherbedarfs. Letztlich sind es eher diese softwaretechnischen Notwendigkeiten, die dazu geführt haben, dass wir bis zum fertigen Programm doch deutlich länger gebraucht haben.

Debug: Neue Techniken und Werkzeuge der Klangbearbeitung verändern auch die Art und Weise, wie wir Musik wahrnehmen und benutzen. Habt ihr im Laufe der Entwicklung bereits eine Ahnung von diesen Veränderungen bekommen?

Neubäcker: Wir haben ganz deutlich gemerkt, wie unser Umgang mit dem Material davon geprägt ist, was wir erwarten wollen. Du musst dich tatsächlich erst daran gewöhnen, dass man jetzt einen einzelnen Ton eines Akkords verändern kann, und damit die Samplebibliothek, die man auf dem Rechner hat, eine ganz neue Dimension von Nutzbarkeit gewinnt. Auch beim UI haben wir gemerkt, dass es gar nicht ohne weiteres möglich ist, erst alles durchzudenken und dann festzulegen, was man auf welche Weise machen kann. Du musst dich eine Weile damit beschäftigen, bis du einem Bedienfluss für dich selbst erschlossen hast.

Debug: Hat bei der Entwicklung eine Rolle gespielt, dass sich durch die Möglichkeiten, die Melodyne eröffnet, auch die Sampling-Kultur grundlegend verändern oder eine völlig neue Ästhetik entstehen könnte?

Neubäcker: Ich bin mir zwar sicher, dass du Recht hast – bei der Entwicklung hat es aber zunächst keine Rolle gespielt. Wir waren zunächst damit beschäftigt, die neuen Möglichkeiten handhabbar zu machen und wir sind selbst darauf gespannt, was sich in Zukunft im Umgang damit entwickelt.

Debug: Ist nicht sogar eine neue Diskussion um das Urheberrecht von Musik zu erwarten?

Neubäcker: Ja. Bisher definiert sich eine Komposition wesentlich über die Melodie – und bis zu welchem Grad der Veränderung der Melodie ein Stück noch dasselbe ist, kann natürlich zur Frage werden. Aber ich glaube andererseits nicht, dass die Änderung so tiefgreifend ist, wie man vielleicht auf den ersten Blick denkt: Eine gegebene Komposition umkomponieren und neu einspielen konnte man auch vorher schon. Dass man jetzt auch musikalische Veränderungen an fertig eingespieltem Material machen kann, ändert nichts an der Tatsache, dass der Musiker, der das ursprünglich eingespielt hatte, ein Recht an dieser Aufnahme hat. Aber durch die tiefer gehenden Eingriffsmöglichkeiten ergeben sich da sicher auch größere Grauzonen. Zum Glück müssen wir uns nicht damit auseinandersetzen …

Debug: Über welche Erweiterungen von Melodyne denkt ihr nach, gibt es dazu schon konkrete Pläne?

Neubäcker: Natürlich die polyphone Handhabung auch in der mehrspurigen Version von Melodyne: Mit der Integration eines polyphonen Editors in die mehrspurige Version von Melodyne ist es natürlich nicht getan, die mögliche Polyphonie der einzelnen Spuren und das “Wissen” der Spuren um ihren Inhalt hat einen großen Einfluss auf das gesamte Konzept. An dieser Optimierung arbeiten wir gerade.

Celemony