Progressive²: een lerende-leerling progressieve co-evoluerende kennisdestillatiemethode voor substantiële modelcompressie

Kennisdestillatie is een veelgebruikte techniek om kennis over te dragen van een groot model (de leraar) naar een kleiner model (de leerling). Door de flexibiliteit en brede toepasbaarheid wordt KD op grote schaal ingezet voor het comprimeren van servermodellen, zodat die voldoen aan de kwaliteitseisen van eindgebruikers. Ondanks flinke vooruitgang loopt de destillatieprestatie een forse deuk op wanneer er een groot verschil is tussen leraar en leerling.