Opublikowano: 08.04.2022 14:49

Sztuczna inteligencja i głębokie sieci neuronowe pomogą tworzyć i analizować muzykę

Pionierskie w skali światowej badania na ten temat prowadzi dr inż. Mateusz Modrzejewski ­ – naukowiec z Wydziału Elektroniki i Technik Informacyjnych PW i ceniony perkusista.

Zdjęcie dr. inż. Mateusza Modrzejewskiego grającego na perkusji

Dr inż. Mateusz Modrzejewski koncertował m.in. z Majką Jeżowską i The Dumplings, fot. Instagram

Dr Modrzejewski szuka odpowiedzi na pytania z zakresu music information retrieval. Zastanawia się m.in. nad tym, czy algorytmy sztucznej inteligencji mogą zastąpić dyrygenta, jaka jest szansa, że instrumenty nauczą się same grać i co różniłoby muzykę pisaną przez automat i przez człowieka.

– W prowadzonych badaniach łączę swoje dwie największe pasje: muzykę oraz zagadnienia związane z głębokimi sieciami neuronowymi będącymi podstawą uczenia maszynowego i zastosowań sztucznej inteligencji – wyjaśnia dr inż. Mateusz Modrzejewski z Zakładu Grafiki Komputerowej Wydziału EiTI. – Jako jazzowy perkusista z bogatym doświadczeniem scenicznym znam i rozumiem strukturę muzyki, a jako inżynier zapisuję ją nie tylko w postaci nut, ale także przedstawiam w języku komputerowym. A to jest doskonały zbiór danych wejściowych do maszynowego przetwarzania, analizy i komponowania utworów przez algorytmy sztucznej inteligencji.

Nowe spojrzenie na muzykę

Badania naukowca z PW opierają się na wykorzystaniu głębokich modeli neuronowych, w tym sieci rekurencyjnych i generatywnych sieci typu GAN oraz nowoczesnych reprezentacji opartych na podejściu transfer learning.

Nowe metody opracowywane są z wykorzystaniem dużych zbiorów danych w formacie audio i w formatach symbolicznych, takich jak MIDI (Musical Instruments Digital Interface). Po przetworzeniu poszczególnych utworów z wykorzystaniem algorytmów sztucznej inteligencji możliwe jest wygenerowanie zupełnie nowej muzyki spełniającej określone założenia oraz trafna i dokładna klasyfikacja istniejącej muzyki według zadanych kryteriów, takich jak identyfikacja wokalisty, nastroju i instrumentów czy też rozpoznanie gatunku muzycznego.

Ikona cytatu

– Muzyka jest bardzo abstrakcyjnym komunikatem, głęboko zakorzenionym w ludzkiej inteligencji i wrażliwości – zwraca uwagę dr Modrzejewski. – W przypadku generowania muzyki uwypuklamy aspekt kompozycyjny – kodujemy nuty w postaci ekspresyjnych reprezentacji tekstowych lub w formie graficznej zwanej piano roll. Sztuczna inteligencja staje się tu sprzymierzeńcem ludzkiego kompozytora, dostarcza nowych melodii, struktur i rozwiązań. Wspomagamy ludzką inteligencję i kreatywność za pomocą technik AI.

Nieco inaczej działa to w przypadku analizowania muzyki.

– Korzystamy tam z technik cyfrowego przetwarzania sygnałów i badamy reprezentacje wyuczone przez głębokie sieci neuronowe – tłumaczy naukowiec. – Te reprezentacje w naturalny sposób pozwalają maszynom zrozumieć treść zawartą w muzyce, a więc na przykład również zarekomendować słuchaczowi nową muzykę do posłuchania, z uwzględnieniem spersonalizowanych preferencji.

Naukowiec i perkusista

Dr Modrzejewski opracowane koncepcje rozwija pod opieką prof. Przemysława Rokity w Zakładzie Grafiki Komputerowej Wydziału Elektroniki i Technik Informacyjnych PW.

Jako perkusista nasz naukowiec zagrał ponad 600 koncertów z czołowymi polskimi artystami. Występował na wielu festiwalach i wydarzeniach muzycznych w Polsce, a także m.in. w Chinach, Wietnamie, Niemczech, Szkocji, Anglii, Estonii, Ukrainie. Grał dla publiczności liczących nawet 150 tys. osób. W 2020 r. został laureatem stypendium „Kultura w Sieci” Ministra Kultury i Dziedzictwa Narodowego. W ubiegłym roku był nominowany – jako członek zespołu Majki Jeżowskiej – do nagrody Fryderyk za płytę „Live at Pol’and’ rock”.

Jak gra nasz naukowiec? Zapraszamy do obserwowania jego profilu na Instagramie.

Więcej informacji, w tym przykłady występów dr. Modrzejewskiego, można znaleźć na stronie Wydziału Elektroniki i Technik Informacyjnych