6. AI gedraagt zich meer als een brein dan als een database – de rol van de cognitiewetenschap in zijn ontstaansgeschiedenis helpt verklaren waarom
arXiv:2610.06927v1 — Aankondigingstype: nieuw — Samenvatting: De key-value (KV) cache van autoregressieve transformers groeit lineair met de contextlengte en domineert het geheugen bij lange context. De meeste training-vrije remedies evacueren tokens van laag belang, een onomkeerbare keuze langs de sequentie-as. Wij houden daarentegen elke token vast en slaan die goedkoper op langs de "feature"-as. Daarom stellen we AttSVD voor, een nieuwe "interpreteerbare" laagrang-compressie waarvan de basis is afgeleid van de aandachtgeometrie van elke prompt zelf.
🔗 lees originele bron