Task-recency bias strikes back: Adapting covariances in Exemplar-Free Class Incremental Learning
Uczenie przyrostowe bez egzemplarzy (Exemplar-Free Class Incremental Learning, EFCIL) zajmuje się problemem trenowania modelu na sekwencji zadań bez dostępu do danych z wcześniejszych etapów. Współczesne metody reprezentują klasy jako rozkłady Gaussa w przestrzeni utajonej ekstraktora cech, co umożliwia klasyfikację Bayesowską lub trenowanie klasyfikatora poprzez odtwarzanie pseudocech. W pracy wskazujemy jednak dwa istotne problemy ograniczające skuteczność tych podejść, gdy ekstraktor cech jest aktualizowany w kolejnych zadaniach: po pierwsze, nie uwzględniają one faktu, że macierze kowariancji klas zmieniają się i muszą być adaptowane po każdym zadaniu, a po drugie, są podatne na stronniczość względem najnowszego zadania, wynikającą z zapadania wymiarów (dimensionality collapse) podczas treningu. Proponujemy AdaGauss – nową metodę, która adaptuje macierze kowariancji pomiędzy zadaniami i ogranicza stronniczość kolejności zadań dzięki dodatkowej funkcji straty przeciwdziałającej zapadaniu wymiarów. AdaGauss osiąga najlepsze dotychczas wyniki na popularnych benchmarkach i zbiorach danych EFCIL, zarówno przy trenowaniu od podstaw, jak i z wykorzystaniem wstępnie wytrenowanego backbone’u.
Książka:
Advances in Neural Information Processing Systems 37
Autorzy z PW:
Grzegorz Rypeść, Tomasz Trzciński
Dyscyplina:
Rok wydania: