Przejdź do treści

FlexFusionNet: An Inception and Residual Fusion-Based Method for Cross-Subject SSVEP Classification in BCI for Enhanced IoT Applications

Sygnały steady-state visual evoked potentials (SSVEP), czyli stacjonarne  wzrokowe potencjały wywołane, są szeroko wykorzystywane w interfejsach mózg–komputer (BCI, brain–computer interface), ponieważ charakteryzują się stabilnością i korzystnym stosunkiem sygnału do szumu. W kontekście Internetu Rzeczy (IoT, Internet of Things) kluczowym wyzwaniem pozostaje jednak uzyskanie prawdziwego trybu „plug-and-play”, w którym system BCI działa bez czasochłonnej kalibracji dla każdego użytkownika z osobna.

W pracy zaproponowano FlexFusionNet – metodę  głębokiego uczenia składająca się z kilku współpracujących modułów głębokich sieci neuronowych.  Wykorzystuje on m.in. blok typu inception do wieloskalowej ekstrakcji cech czasowych, ekstraktor cech przestrzenno–czasowych łączący hybrydowy blok konwolucji czasowo–przestrzennej oraz wielo-skalowy rezydualny blok fuzji, który pozwala jednocześnie uchwycić lokalne interakcje oraz zachować zależności globalne w sygnale. Dodatkowy moduł doprecyzowania czasowego służy do wzmacniania istotnych informacji w dziedzinie czasu. Wspólnie moduły te umożliwiają uczenie reprezentacji cech mniej wrażliwych na różnice pomiędzy użytkownikami, co sprzyja scenariuszom „cross-subject”. 

Szczególnie istotny jest wieloskalowy blok fuzji rezydualnej (MFRB), który integruje cechy czasowe na różnych skalach, a jednocześnie zachowuje strukturę globalną sygnału. Cała strategia integracji architektury została zaprojektowana tak, aby model był odporny zarówno w scenariuszach wewnątrzosobniczych (subject-specific), jak i międzyosobniczych (cross-subject). Metodę zweryfikowano na dwóch publicznych zbiorach danych SSVEP, Benchmark i BETA, przy różnych długościach okien czasowych. 

W eksperymentach cross-subject, przy długości okna 1,2 sekundy, uzyskano dokładność 74,57% oraz 122,28 bit/min ITR (information transfer rate) dla zbioru Benchmark, a także 62,60% dokładności i 89,86 bit/min ITR dla zbioru BETA, wyraźnie przewyższając klasyczne metody i znane dotychczas  modele głębokiego uczenia. FlexFusionNet osiąga bardzo dobre wyniki zarówno przy analizie pojedynczych użytkowników, jak i pomiędzy różnymi osobami, co pokazuje jego dużą zdolność uogólniania i potencjał do budowy praktycznych, przyjaznych użytkownikowi systemów BCI zintegrowanych z ekosystemami IoT. 

Artykuł:

IEEE Internet of Things Journal

Autorzy z PW:

Andrzej Cichocki 

Rok wydania: