Вкратце можно сказать, что гетерогенность слоев (последовательных представлении в visual cortex, например) и внутри- и межслоевых обратных связей - функциональна. Т.е. она эволюционировала "для" определенных функций. Т.е. sparsification (обобщение контрастирования и робастности) точно функционально, most important works:
http://www.princeton.edu/~wbialek/rome/refs/barlow_59.pdf
H.B. Barlow "Unsupervised learning" (1989)
P. Foldiak "Adaptive Network for Optimal Linear Feature Extraction" (1989)
R. Linsker "Self-Organization in a Perceptual Network" (1988)
J.-P. Nadal, N.Parga "Nonlinear neurons in the low-noise limit: a factorial code maximizes information transfer" (1994)
A. N. Redlich "Redundancy reduction as a strategy for unsupervised learning" (1993)
and see also works of Gustavo Deco 1993-1996.
Bсюду речь идет как раз о необходимой сильной избыточности (capacity >> data length), но при этом, minimal description length для каждого отдельного представления экземпляра данных.
Что касается вариаций объема памяти с увеличением вариаций параметров (например, для сетей типа Хопфилда, где связи учатся, но пороги отдельных нейронов сильно разбросаны и разброс фиксирован навсегда), то, кажется, это изучалось самим Хопфилдом (и м.б. K.Schulten?) - но точно не помню.