Dig that Lick. Analysing large-scale data for melodic patterns in jazz performances
Data Management, Data-Intensive Systems, Computer Science Methods in Business Informatics
Software Engineering and Programming Languages
Final Report Abstract
Das transatlantische Verbundprojekt untersucht den Gebrauch von melodischen Spielmustern (Patterns) in Improvisationsaufnahmen aus hundert Jahren Jazzgeschichte. Für diese Untersuchung wurde eine Reihe neuer Ansätze und Methoden aus der Musikinformatik, der Music Information Retrieval und der statistischen Musikanalyse eingesetzt bzw. weiterentwickelt. Die hierbei entstandene Datenbank DTL1000 sowie die frei verfügbaren Webtools sind weltweit einmalig. Die DTL1000-Datenbank enthält Transkriptionen aller einstimmigen Improvisationen aus jeweils hundert zufällig aus einem größeren Datenbestand von Jazzaufnahmen ausgewählten Stücken aus zehn Dekaden Jazzgeschichte (1920er bis 2010er Jahre). Diese insgesamt 1685 Soli wurden innerhalb der ausgewählten 1000 Aufnahmen manuell annotiert und Instrumenten zugeordnet sowie mithilfe eines neu entwickelten Deep-Learning-Algorithmus automatisiert transkribiert. Zugleich wurde eine neue Ontologie für Jazzsoli erstellt und die hierauf basierende RDF-Datenbank der diskografischen Metadaten semiautomatisch mit den Transkriptionen verknüpft. Das Weimarer Teilprojekt entwickelte drei frei verfügbare browserbasierte Online-Tools zum interaktiven Pattern-Mining. Das umfassendste dieser Webtools, die Pattern Similarity Search, ermöglicht auf der Grundlage entsprechender N-Gramm-Datenbanken die Suche nach Tonhöhen- und Intervallpatterns in der DTL1000-Datenbank, in zwei weiteren Datenbanken von Jazzimprovisationen (Weimar Jazz Database, Charlie Parker Onmibook) sowie zu Vergleichszwecken in der Essen Folk Song Collection. Da in Improvisationen immer mit Variationen bestimmter Spielmuster zu rechnen ist, kann auch nach ähnlichen Patterns gesucht werden; der gewünschte Grad der Ähnlichkeit kann über die Edit-Distance-Metrik nach Levenshtein eingestellt werden. Alle Suchergebnisse werden tabellarisch ausgegeben, können angehört und zusätzlich chronologisch auf Zeitleisten und als Netzwerke sowie in Patternfamilien dargestellt werden. Die Datenbanken und Webtools ermöglichen Jazzforschern die explorative Erforschung des Vokabulars von Jazzimprovisationen sowohl bei einzelnen Jazzmusikern als auch in historischen, stilistischen und regionalen Kontexten und auf dieser Grundlage die Tradierungen von Spielmustern zwischen Musikern. Dies verspricht neue Ergebnisse sowohl hinsichtlich der Geschichte der Jazzimprovisation und ihrer Tradierungsweisen als auch generell hinsichtlich der Psychologie improvisatorischer Schaffensprozesse. Erste Fallstudien hierzu wurden im Rahmen der Projektlaufzeit bereits durchgeführt. Aufgrund der neuen Entwicklung von Transkriptionsalgorithmen und Webtools sowie einer neu entwickelten Dateninfrastruktur für Jazzaufnahmen und der entsprechenden diskografischen Metadaten kann das Verbundprojekt als Meilenstein der computergestützten Analyse von Audiodaten angesehen werden.
Publications
- (2018). Two Web Applications for Exploring Melodic Patterns in Jazz Solos. In: Proceedings of the 19th International Society for Music Information Retrieval Conference (ISMIR), Paris, France
K. Frieler, F. Höger, M. Pfleiderer und S. Dixon
(See online at https://doi.org/10.5281/zenodo.1492533) - (2019). Anatomy of a lick. Structure and variants, history and transmission. In: Book of Abstracts of the Digital Humanities Conference, Utrecht
K. Frieler, F. Höger und M. Pfleiderer
(See online at https://doi.org/doi:10.34894/tikagc) - (2019). Constructing Jazz Lines: Taxonomy, Vocabulary, Grammar. In: Jazzforschung heute: Themen, Methoden, Perspektiven, hrsg. von M. Pfleiderer und W.-G. Zaddach, Berlin: Edition EMVAS, S. 103-132
K. Frieler
- (2019). Dig that Lick. Exploring melodic patterns in jazz. In: Late Breaking/Demo at the 20th International Society for Music Information Retrieval (ISMIR), Delft, The Netherlands (extended abstract)
F. Höger, K. Frieler, M. Pfleiderer und S. Dixon
- (2019). Digging into pattern usage within jazz improvisation (Pattern History Explorer, Pattern Search and Similarity Search). In: Book of Abstracts of the Digital Humanities Conference, Utrecht
F. Höger, K. Frieler und M. Pfleiderer
(See online at https://doi.org/10.34894/ZVDDHU) - (2019). Don‟t hide in the frames: Note- and pattern-based evaluation of automated melody extraction algorithms. In: Proceedings of the 6th International Conference on Digital Libraries for Musicology 2019, The Hague, The Netherlands
K. Frieler, D. Başaran, F. Höger, H.-C. Crayencour und G. Peeters
(See online at https://doi.org/10.1145/3358664.3358672)
