Gevoeligheidsanalyse van GRU, LSTM en Transformer Encoder bij classificatie van geautomatiseerde rijsystemen

Recent werk heeft aangetoond dat het classificeren van antwoorden van grote taalmodellen kan worden onderscheiden door tokenembeddings te modelleren als trajecten van een black-box dynamisch systeem en de voorspellingsresiduen van twee dynamische systemen te vergelijken. Ondanks het empirische succes van deze dynamische benadering ontbreekt het nog aan een theoretisch begrip van waarom het werkt, hoe goed het schaalt als functie van de tokensequentie en wanneer het overdraagbaar is tussen verschillende embeddingmodellen.