De sociaal-semantische kloof overbruggen: SPSD voor edge-gebaseerde promptcompressie bij cloud LLM-inferentie

De prefill-fase van LLM-inferentie is een groeiende kostenpost in cloud-energieverbruik. Veel klantenservice- en conversatieprompts bevatten sociale opvulling — beleefdheidsmarkeringen, verontschuldigende aanlopen, herhaling en relationele taal die voor mensen belangrijk is maar voor machinaal redeneren nauwelijks informatie toevoegt. De auteurs noemen dit de Social-Semantic Gap en presenteren SPSD, een methode om zulke prompts voor te comprimeren.