Laagsgewijs curriculumleren voor efficiënte LLM-compressie

In dit artikel introduceren we laagsgewijze curriculum-learning voor efficiënte LLM-compressie. De voorgestelde methode vergemakkelijkt de kennisoverdracht van het teacher-model naar het student-model, door een curriculum-learningbenadering te gebruiken die begint met eenvoudigere optimalisatietaken en geleidelijk overgaat naar moeilijkere. Om laagsgewijs leren bij LLM-compressie toe te passen, verdelen we het volledige model in meerdere segmenten bestaande uit lagen.