SDO: Structuurbewuste data-organisatie voor efficiënte post-training van LLM's

arXiv:2607.27273v1 Aankondigingstype: nieuw Samenvatting: De post-training van grote taalmodellen is duur, en bestaande efficiëntieverbeteringen richten zich voornamelijk op het selecteren van informatieve steekproeven of het ontwerpen van trainingsschema's. De organisatie van de data zelf wordt echter meestal behandeld als een statische voorbewerkingsstap: op embeddings gebaseerde groeperingsmethoden construeren vaste partities vóór de training en kunnen zich niet aanpassen aan de veranderende blootstelling van steekproeven tijdens de optimalisatie. Als gevolg hiervan krijgen alle steekproeven een vergelijkbare blootstelling de