Testy porównawcze (benchmarki) są ważnymi narzędziami służącymi do monitorowania szybkiego rozwoju możliwości dużych modeli językowych (LLM). Jednak poziom trudności stosowanych testów nie nadąża za tym rozwojem: obecnie duże modele językowe osiągają ponad 90% poprawnych odpowiedzi w popularnych testach, takich jak Measuring Massive Multitask Language Understanding, co ogranicza możliwość rzetelnej oceny możliwości najnowocześniejszych modeli LLM. W odpowiedzi na to wyzwanie przedstawiamy Humanity’s Last Exam (HLE) – multimodalny test porównawczy obejmujący zagadnienia z pogranicza ludzkiej wiedzy, zaprojektowany jako akademicki test ekspercki z pytaniami zamkniętymi i szerokim zakresem tematycznym. HLE składa się z 2500 pytań z kilkudziesięciu dziedzin, w tym matematyki, nauk humanistycznych i nauk przyrodniczych. Test został opracowany przez ekspertów dziedzinowych z całego świata i obejmuje pytania wielokrotnego wyboru oraz pytania z krótką odpowiedzią, umożliwiające automatyczne ocenianie. Każde pytanie ma znane rozwiązanie, które jest jednoznaczne i łatwe do zweryfikowania, ale nie można na nie szybko odpowiedzieć, wyszukując informacje w internecie. Najnowocześniejsze modele LLM osiągają niską skuteczność i wykazują słabą kalibrację wyników w teście HLE, co uwidacznia znaczącą lukę między obecnymi możliwościami modeli LLM a eksperckim poziomem wiedzy człowieka w zakresie akademickich pytań zamkniętych. Aby umożliwić prowadzenie badań i kształtowanie polityki w oparciu o rzetelną wiedzę na temat możliwości modeli, udostępniamy publicznie test HLE na stronie https://lastexam.ai.