Im Groove des Jazzomaten:

Martin Pfleiderer, Klaus Frieler, HfM Weimar im Gespräch mit Milena Milivojevic, IM+io

(Titelbild: © AdobStock | 1097910167 | Gali )

MP: Unsere zentrale Fragestellung kam direkt aus der Jazzforschung und Musikpsychologie, zwei eher randständige Bereiche der Musikwissenschaft. Im Jazz spielt Improvisation eine große Rolle, weshalb wir uns fragten: Soll man wie in der Musikwissenschaft üblich nur einzelne berühmte Aufnahmen analysieren oder besser eine Vielzahl improvisierter Soli untersuchen, um Muster und Regelmäßigkeiten zu erkennen? Uns ging es darum, die Entwicklung des Jazz nicht nur anhand von Meisterwerken, sondern auf breiter Datenbasis zu erfassen. Besonders interessiert hat uns, wie dramaturgische Prinzipien und musikalische Patterns funktionieren und zum Personalstil beitragen. So entstand die Idee, viele Soli statistisch auszuwerten und Data-Mining-Methoden einzusetzen – ein für die Musikwissenschaft eher ungewöhnlich breiter, empirischer Ansatz.

MP: Eine große Herausforderung war es, statt nur mit Notenmaterial direkt mit Audioaufnahmen zu arbeiten und diese systematisch zu annotieren. Wir haben per Hand erfasst, wann welcher Ton beginnt und endet, welche Akkorde zugrunde liegen und welche Spieltechniken verwendet werden – eine riesige Fleißarbeit, an der viele Studierende beteiligt waren. So entstand eine frei verfügbare Datenbank mit rund 450 Soli, die heute als wichtige Grundlage in der Jazzforschung dient.

Zusätzlich haben wir die Software „MeloSpy“ entwickelt – ein Wortspiel, weil sie Melodien gewissermaßen „ausspioniert“. Ursprünglich als Kommandozeilentool gedacht, gibt es inzwischen auch eine grafische Benutzeroberfläche. Mit MeloSpy können Forschende und Interessierte beispielsweise untersuchen, wie oft bestimmte Tonhöhen oder rhythmische Patterns in bestimmten harmonischen Kontexten vorkommen. Die Software steht wie die Datenbank kostenlos zur Verfügung.

MP: Die technische Umsetzung war ein echtes Gemeinschaftsprojekt. Mein Kollege Klaus Frieler, der hier auch mit am Projekt beteiligt ist, ist sowohl Musikwissenschaftler als auch ein ziemlich versierter Programmierer. Dann gab es noch unseren Kollegen Jakob Abeßer, der Informatiker ist und sich vor allem um die technische Infrastruktur gekümmert hat. Die erste große Entwicklungsphase war in den Jahren 2012/13, und wir haben von Anfang an auf Python als Programmiersprache gesetzt. Das war eine gute Entscheidung, weil Python sich in der Forschung inzwischen etabliert hat und viele andere daran weiterarbeiten können.

KF: Wir haben relativ schnell gemerkt, dass es nicht reicht, einfach nur eine Datenbank zu bauen, sondern dass wir auch eine große Codebasis drumherum brauchen. Wir wollten ja nicht nur die Daten sammeln, sondern auch Tools zur Analyse anbieten. Deswegen haben wir alle Skripte und auch das Format der Transkriptionen so angelegt, dass wir bei Bedarf schnell etwas anpassen konnten. Es war schon ein längerer Prozess, aber ich schätze, für die erste lauffähige Version haben wir so ein halbes Jahr ziemlich intensiv daran gearbeitet. Es gab dann immer wieder Ergänzungen und Verbesserungen, und am Ende hatten wir ein wirklich gutes interdisziplinäres Team aus Musikwissenschaft, Programmierung und Informatik.

MP: In den ersten Jahren war alles Handarbeit. Die Transkriptionen mussten per Gehör erstellt und anschließend detailliert annotiert werden – zum Beispiel, wann ein Ton anfängt und aufhört, welche harmonischen Bezüge es gibt. Das war sehr zeitaufwendig, aber dadurch ist die Qualität der Datenbank auch sehr hoch. Mittlerweile haben wir viel Erfahrung gesammelt und auch externe Entwicklungen genutzt. Wir setzen zum Beispiel maschinelles Lernen ein, um bestimmte Arbeitsschritte wie das Transkribieren zu automatisieren. Unsere manuell annotierten Daten sind dabei ein wichtiger Grundstock, weil sie als Trainingsdaten dienen und die automatischen Systeme erst dadurch lernen, Jazzaufnahmen richtig zu verarbeiten.

KF: Es gibt jetzt Projekte, in denen solche automatisierten Transkriptionen viel schneller und zuverlässiger funktionieren als noch vor fünf oder zehn Jahren. Natürlich gibt es Grenzen – Jazz ist ein sehr komplexes Genre mit vielschichtiger Instrumentierung und oft sehr individueller Spielweise. Aber insgesamt hat sich da in kurzer Zeit enorm viel getan. Auch im Projekt haben wir das erlebt: Was anfangs noch kaum vorstellbar war, ist heute mit der richtigen Software viel besser umsetzbar. Trotzdem bleibt immer ein Teil, der händisch überprüft werden muss, weil die Künstliche Intelligenz bestimmte Feinheiten oft noch nicht so gut erfasst.

MP: Diese beiden Tools sind Ergebnisse aus aus dem internationalen Anschlussprojekt „Dig that lick. Analysing large-scale data for melodic patterns in jazz performances“ und richten sich vor allem an Jazzforschende, die sich mit typischen musikalischen Mustern – den sogenannten Patterns – beschäftigen. Jazzmusikerinnen und Jazzmusiker haben häufig ein ganzes Repertoire an eingeübten kleinen Tonfolgen, die sie im Laufe eines Solos flexibel einbauen können. Mit den Tools wollten wir herausfinden: Nutzen eigentlich alle diese Patterns? Wie oft tauchen sie auf? Sind manche Muster eher typisch für bestimmte Spielweisen oder für bestimmte Tempi? Oder werden sie vielleicht sogar bei bestimmten Stücken immer wieder ähnlich verwendet?

KF: Für diese Tools haben wir die Datenbank deutlich erweitert, auch mit automatisiert erstellten Transkriptionen, um größere Trends sichtbar zu machen. In der Software kann man etwa eine Melodie auf einem virtuellen Keyboard eingeben, und das Tool zeigt, in welchen Stücken und von welchen Musiker:innen dieses oder ähnliche Muster auftauchen. So erkennt man schnell typische Bausteine im Jazz und kann nachvollziehen, wie sie variiert werden. Die Tools werden nicht nur in der Forschung, sondern auch von Jazzmusiker:innen genutzt, etwa zur Inspiration oder zur Analyse des eigenen Stils.

MP: Ehrlich gesagt waren wir anfangs selbst überrascht, wie vielseitig unsere Datenbank genutzt wird. Ursprünglich war alles vor allem für die Forschung gedacht, also für Leute wie uns, die sich mit Jazzgeschichte, Musikpsychologie oder Musikanalyse beschäftigen. Aber mittlerweile melden sich immer wieder auch Musikerinnen und Musiker, die die Transkriptionen und Tools in der Praxis nutzen. Zum Beispiel, um typische Licks zu lernen oder für den Unterricht. Und natürlich gibt es viele, die an der Entwicklung neuer Analyse- und Transkriptionssoftware arbeiten, für die unsere Datenbank eine ideale Grundlage ist. Wir haben mit der Zeit gemerkt, dass besonders die Daten selbst einen extrem hohen Wert haben. Es gibt ja diesen Satz: Wer die besten Daten hat, kann am meisten bewegen – das stimmt definitiv auch in der Musikinformatik.

Die Nachfrage kommt inzwischen aus ganz unterschiedlichen Richtungen. Einerseits gibt es die Forschenden, die tiefer in die Jazzgeschichte einsteigen wollen. Andererseits sind es Informatikerinnen und Informatiker, die auf der Suche nach hochwertigen Daten zum Trainieren ihrer Systeme sind. Manchmal gibt es auch Rückmeldungen von Musikerinnen und Musikern, die mit den Pattern-Tools experimentieren und sich davon inspirieren lassen. Man merkt richtig, wie vielseitig das Angebot ist und wie breit das Interesse geworden ist – deutlich breiter, als wir das am Anfang erwartet hätten.

MP: Im Jazz, wie in vielen anderen Musikrichtungen, basiert viel auf einer begrenzten Zahl von Patterns oder musikalischen Bausteinen. Kreativität bedeutet hier, bekannte Versatzstücke immer wieder neu zu kombinieren und zu variieren – das ist die eigentliche Kunst. Es ist wie beim Lego: Die Bausteine kennt jeder, aber daraus etwas wirklich Eigenständiges und Spannendes zu machen, erfordert viel Handwerk.

KF: Unsere Tools und Datenbanken zeigen, wie unterschiedlich Musiker:innen mit diesen Bausteinen umgehen: Manche nutzen bestimmte Patterns oft, andere suchen bewusst neue Wege. Auch stilistische Trends lassen sich erkennen, sodass man mit unseren Analysen typische musikalische „Lego-Steine“ für Stile oder Künstler:innen nachvollziehen kann.

KF: Definitiv, zum Beispiel bei der Analyse der sogenannten Parker-Patterns, also der musikalischen Muster von Charlie Parker. In den Siebzigerjahren hat Thomas Owens schon viele dieser Patterns von Hand herausgeschrieben, aber wir konnten zeigen, dass es tatsächlich noch viel mehr gibt und dass fast jedes Solo von Parker aus einer Art musikalischem Baukastensystem besteht – teils mit bis zu 30 Tönen, die wiederum aus kleineren Einheiten zusammengesetzt sind. Das war in der Breite vorher nicht sichtbar. Wir konnten auch zeigen, dass diese Patterns je nach Stück und Tempo unterschiedlich verwendet werden, und dass sich das musikalische Vokabular von Parker und anderen über die Jahre weiterentwickelt und immer komplexer wird. Solche systematischen Erkenntnisse sind wirklich nur mit einer großen Datenbasis und passenden Tools möglich.

Ein weiteres Beispiel: Wir haben festgestellt, dass manche Patterns nur in ganz bestimmten Stücken auftauchen, dass also manche Musikerinnen und Musiker ihre Improvisation sehr stark an den Charakter des jeweiligen Stücks anpassen. Oder dass bei Wiederholungen desselben Stücks – etwa in verschiedenen Aufnahmen – teilweise die gleichen Patterns wieder verwendet werden, aber mit feinen Variationen. Das sind Details, die für die Analyse von Stilentwicklung und Kreativität im Jazz unglaublich spannend sind.

MP: Es ist wichtig zu sagen, dass wir bei der Analyse nicht direkt mit generativer Künstlicher Intelligenz arbeiten, wie sie etwa im Text- oder Bildbereich inzwischen verbreitet ist. Unsere Analyse nutzt maschinelles Lernen vor allem für Transkription und Datenaufbereitung, was große Datenmengen schnell auswertbar macht. Doch automatisierte Tools kommen meist nur auf 80–85 Prozent Genauigkeit, besonders bei komplexen Passagen. Für feine Details und musikalischen Ausdruck ist weiterhin menschliche Expertise nötig. Im kommerziellen Bereich, etwa bei Streaming-Plattformen, spielt das eine riesige Rolle – dort geht es darum, Playlists automatisiert zu erstellen oder Empfehlungen zu geben, und dafür braucht man eine solide Musikanalyse im Hintergrund. Die Konkurrenz um hochwertige Daten und um Expertinnen und Experten ist in den letzten Jahren enorm gewachsen, viele Forschende werden inzwischen von großen Firmen abgeworben, weil dort einfach viel Geld dahintersteckt. Für die Wissenschaft bleibt da manchmal gar nicht mehr so viel übrig.

MP: Unsere Tools sind ursprünglich für die Forschung und Lehre entwickelt worden. Das heißt, Studierende oder Forschende, die damit arbeiten, müssen sich erstmal ein bisschen einarbeiten. Gerade am Anfang braucht es schon ein Tutorial oder eine Einführung, damit man die ganzen Funktionen versteht. Wir bieten im Lehrkontext natürlich Unterstützung an und helfen, eine passende Fragestellung zu formulieren, denn das ist oft der wichtigste Schritt – zu wissen, was man eigentlich analysieren will.

KF: Genau, die Komplexität der Analyse macht es einerseits spannend, andererseits aber auch herausfordernd. Es gibt sozusagen eine „Best of“-Auswahl, also häufig verwendete Pattern, die wir auch extra herausgezogen haben. Wer sich ein bisschen in die Thematik einarbeitet, kann mit unseren Tools wirklich spannende Entdeckungen machen – etwa wie oft ein bestimmtes Pattern in verschiedenen Stücken auftaucht oder wie unterschiedlich es interpretiert wird. Für das Fachpublikum ist das natürlich besonders interessant, aber ich bin mir sicher, auch ambitionierte Musikerinnen und Musiker können damit viel lernen.

MP: Für alle, die einen unkomplizierten Zugang suchen, empfehle ich besonders die browserbasierte „Pattern Similarity Search“. Dieses Tool ist deshalb so attraktiv, weil Sie eigene Melodien eingeben können – zum Beispiel den Anfang eines Kinderliedes – und das System zeigt Ihnen sofort, in welchen Jazz-Soli dieses Muster vorkommt. Sie erhalten dazu jeweils kurze Audioschnipsel, die Sie direkt anhören können.

Das erleichtert nicht nur den Einstieg, sondern macht es auch möglich, Muster und deren Varianten direkt zu erleben, statt sich nur auf abstrakte Analysen zu verlassen. Gerade für Studierende und alle, die gerne experimentieren oder neugierig sind, bietet das Tool einen spielerischen Zugang: Oft ist die Überraschung groß, wie häufig und in welchen unterschiedlichen Kontexten bestimmte Patterns im Jazz auftauchen.

MP: Ja, es gibt schon einen gewissen Austausch, aber die Community ist wirklich noch sehr überschaubar. Für die Musikinformatik gibt es beispielsweise eine internationale Gesellschaft, die jedes Jahr eine große Konferenz organisiert. Dort kommen Leute aus allen möglichen Musikrichtungen zusammen, aber die Zahl der Forschenden, die sich wirklich explizit mit Jazz und computergestützter Analyse beschäftigen, ist weltweit recht klein. In Deutschland kann man die Leute, die in diesem Bereich aktiv sind, wirklich fast an einer Hand abzählen. Im Jazzbereich sind es international vielleicht ein oder zwei Dutzend. Man kennt sich oft persönlich, unterstützt sich gegenseitig, und gerade für Nachwuchswissenschaftlerinnen und -wissenschaftler ist es ein guter Ort, um Kontakte zu knüpfen. Trotzdem ist das Feld im Vergleich zu anderen Wissenschaftsbereichen noch ziemlich „familiär“.

KF: Gerade die computergestützte Musikanalyse ist noch ein recht junges Feld, in dem vieles ausprobiert wird. Die Community ist nicht formal organisiert, aber es entstehen nach und nach mehr Austauschmöglichkeiten, zum Beispiel über spezielle Konferenzen oder Workshops. Manchmal docken wir uns auch an größere Veranstaltungen aus den Bereichen Musikwissenschaft, Informatik oder Psychologie an. Es gibt außerdem Leute, die aus dem künstlerischen Bereich kommen und neue Musik oder Produktionsmethoden entwickeln – auch da gibt es Überschneidungen und immer wieder spannende Diskussionen. Die Szene wächst langsam, aber sie ist immer noch sehr offen und persönlich.

MP: Ein großes Ziel ist, mehrstimmige Improvisationen und die komplexe Interaktion zwischen Musiker:innen genauer zu analysieren. Bisher lag unser Schwerpunkt auf einstimmigen Soli, weil die technische Herausforderung bei mehreren Stimmen viel größer war. Durch Fortschritte bei der Quellentrennung, also der Möglichkeit, einzelne Instrumente aus einer Aufnahme herauszulösen, können wir nun besser untersuchen, wie Musiker:innen musikalisch miteinander kommunizieren und sich gegenseitig beeinflussen. Auch die gezielte Analyse von Klangfarben, Spieltechniken und Effekten bei verschiedenen Musiker-Generationen ist spannend. Technisch wäre das jetzt viel eher machbar, aber es hängt weiterhin stark von ausreichender Finanzierung und engagierten Teams ab.

KF: Durch neue Deep-Learning-Methoden und verbesserte Quellentrennung eröffnen sich ganz neue Möglichkeiten. Was früher kaum machbar war, etwa das Extrahieren von Schlagzeugspuren oder komplexe Analysen von Klaviersoli, ist heute viel einfacher. Gerade weil sich technisch so viel bewegt, entstehen ständig neue Forschungsfragen und Impulse für die Praxis.