← terug naar overzicht

6. AI gedraagt zich meer als een brein dan als een database – de rol van de cognitiewetenschap in zijn ontstaansgeschiedenis helpt verklaren waarom

onderzoek 📅 2026-10-07
arXiv:2610.06927v1 — Aankondigingstype: nieuw — Samenvatting: De key-value (KV) cache van autoregressieve transformers groeit lineair met de contextlengte en domineert het geheugen bij lange context. De meeste training-vrije remedies evacueren tokens van laag belang, een onomkeerbare keuze langs de sequentie-as. Wij houden daarentegen elke token vast en slaan die goedkoper op langs de "feature"-as. Daarom stellen we AttSVD voor, een nieuwe "interpreteerbare" laagrang-compressie waarvan de basis is afgeleid van de aandachtgeometrie van elke prompt zelf.

🔗 lees originele bron