Een mesoscopisch beeld van Transformer-gewichten via rij- en kolomschaalvelden

arXiv:2609.35852v1 Aankondigingstype: nieuw. Samenvatting: Samengevoegde statistieken van Transformer-gewichten verhullen hoe de grootte ervan over functionele kanalen is verdeeld, terwijl individuele gewichten te talrijk zijn om direct te vergelijken. We bestuderen het mesoscopische niveau daartussenin: rij- en kolomschaalvelden, de mediaan-gecentreerde log-RMS-profielen van een gewichtsmatrix over zijn kanalen, die samen met een globale schaal en een volledig gebalanceerde kern de matrix exact representeren. Aan de hand van openbare Pythia-checkpoints in vier formaten...