Przejdź do treści

Adaptive knowledge selection in dialogue systems: Accommodating diverse knowledge types, requirements, and generation models

Skuteczne systemy dialogowe oparte na wiedzy w dużym stopniu zależą od precyzyjnego doboru informacji wykorzystywanych podczas generowania odpowiedzi. Niniejsza praca proponuje nową perspektywę, w której badania nad selekcją wiedzy klasyfikuje się ze względu na moment jej wyboru względem procesu generowania odpowiedzi: na selekcję wstępną, selekcję łączoną oraz selekcję końcową. Szczególnym zainteresowaniem cieszy się obecnie selekcja wstępna (pre-selection), ponieważ dostarcza modelom generującym odpowiedzi odpowiednio dopasowanego kontekstu wejściowego jeszcze przed samym etapem generacji. Zmniejsza to obciążenie związane z uczeniem, dostrajaniem oraz interpretacją po stronie modeli generacyjnych AI, w szczególności dużych modeli językowych (LLM, large language models). 

Istniejące metody selekcji wstępnej napotykają jednak trzy kluczowe wyzwania: radzenie sobie z różnymi typami wiedzy (np. fakty, dokumenty, grafy wiedzy), dostosowanie się do zróżnicowanych wymagań informacyjnych w zależności od kontekstu dialogowego oraz adaptacja do różnych modeli generacyjnych, o odmiennej architekturze i sposobie wykorzystania wiedzy. Aby sprostać tym wyzwaniom, autorzy proponują metodę ASK (Adaptive Knowledge Pre-selection), która dokonuje adaptacyjnego wyboru wiedzy. ASK unifikuje różne typy zasobów wiedzy w spójną przestrzeń reprezentacji, ocenia ich istotność i wkład w generowanie pożądanych odpowiedzi, a następnie dynamicznie dostosowuje rozmiar zbioru wybranej wiedzy, tak aby zapewnić modelom generacyjnym wystarczający, lecz nie nadmierny kontekst.

Metoda ASK jest dodatkowo wzmacniana za pomocą uczenia ze wzmocnieniem (RL, reinforcement learning), w którym nagradzane jest zarówno trafne dobranie wiedzy pod względem jakości, jak i jej ilości (np. penalizacja za przeładowanie kontekstu). W przeprowadzonych eksperymentach wykorzystano dwa benchmarki: WoW (Wizard of Wikipedia) oraz OpenDialKG, reprezentujące różne typy dialogów opartych na wiedzy. Wyniki pokazują, że (1) ASK wykazuje wysoką skuteczność selekcji wiedzy dla różnych typów informacji i zróżnicowanych wymagań zadań, (2) znacząco poprawia wydajność różnych modeli generacyjnych, w tym takich systemów jak ChatGPT i GPT-4o, oraz (3) dzięki lekkiej konstrukcji zmniejsza zużycie zasobów obliczeniowych o około 40% w porównaniu z wybranymi metodami bazowymi. Kod źródłowy autorzy udostępniają publicznie. 

Artykuł:

Neural Networks

Autorzy z PW:

Andrzej Cichocki

Rok wydania: