D. Gabor, Associative Holographic Memories

[anhinga_anhinga]

I recently found a very cool short paper (4 pages) which Dennis Gabor written 40 years ago.

It explains the math of associative holographic memory, which turns out to be very simple.

Because it is that simple, neither holograms, nor even waves and oscillations, are actually necessary to implement this scheme of associative memory.

D. Gabor, Associative Holographic Memories, IBM Journal of Research and Development, 13(2), 156-159 (1969). Abstract, PDF

Comments

[am.livejournal.com]

Эти статьи конца 60х, разных линейных моделей памяти, дали инструменты оценок объема памяти, затем использованных такими людьми как Willshaw, von der Malsburg, Kohonen, Hopfild для других моделей. По Hopfild nets - cм. например:
E.Domany, J.L. Van Hemmen, K.Schulten (eds.) 1991-92 (есть в джвю)
"Models of Neural Networks" Vol.1 ("Physics of Neural Networks")
J.Hertz, A.Krogh, R.Palmer "Introduction to the Theory of Neural Computation" (1991)
or smth here:
B.Müller, J.Reinhardt, M.T.Strickland (1995) "Neural networks: an introduction"
http://books.google.de/books?id=EFUzMYjOXk8C

[anhinga-anhinga.livejournal.com]

Интересно, пытался ли кто-нибудь учесть то обстоятельство, что в биологической нервной среде сигнал распространяется, по сути, в сети, состоящей из разных механизмов усиления контраста и уменьшения чрезмерного шума, в отличии от голограмм или сетей Хопфилда?

Интуитивно кажется, что это обстоятельство должно сильно увеличивать объём памяти, который можно реализовать на том же субстрате. Мне хотелось бы проверить, правильная ли это интуиция..

[am.livejournal.com]

Вкратце можно сказать, что гетерогенность слоев (последовательных представлении в visual cortex, например) и внутри- и межслоевых обратных связей - функциональна. Т.е. она эволюционировала "для" определенных функций. Т.е. sparsification (обобщение контрастирования и робастности) точно функционально, most important works:
http://www.princeton.edu/~wbialek/rome/refs/barlow_59.pdf
H.B. Barlow "Unsupervised learning" (1989)
P. Foldiak "Adaptive Network for Optimal Linear Feature Extraction" (1989)
R. Linsker "Self-Organization in a Perceptual Network" (1988)
J.-P. Nadal, N.Parga "Nonlinear neurons in the low-noise limit: a factorial code maximizes information transfer" (1994)
A. N. Redlich "Redundancy reduction as a strategy for unsupervised learning" (1993)
and see also works of Gustavo Deco 1993-1996.
Bсюду речь идет как раз о необходимой сильной избыточности (capacity >> data length), но при этом, minimal description length для каждого отдельного представления экземпляра данных.
Что касается вариаций объема памяти с увеличением вариаций параметров (например, для сетей типа Хопфилда, где связи учатся, но пороги отдельных нейронов сильно разбросаны и разброс фиксирован навсегда), то, кажется, это изучалось самим Хопфилдом (и м.б. K.Schulten?) - но точно не помню.

[anhinga-anhinga.livejournal.com]

Большое спасибо!

[am.livejournal.com]

Если интересно, то искать можно начинать наверное со статей о емкости сетей Wilson-Cowan (starting paper: H.R.Wilson,J.D.Cowan (1972) "Excitatory and inhibitory interactions in localized populations of model neurons." Biophys J 12:1-24) - более общих чем Хопфилдовские. Введение в их анализ было в статье: Cohen, M.A., Grossberg, S., (1983) "Absolute stability and global pattern formation and partial memory storage by compeitive neural networks." IEEE Trans. Syst. Man Cybern. v13. 815-826. Далее S.Grossberg ими занимался и много кто. А с другой стороны, по дискретным моделям тоже немало сделано - Hahnloser, например.

[anhinga-anhinga.livejournal.com]

Спасибо, это интересные ссылки.

Надо сказать, что мне кажется, что оценки количества steady states или limit cycles, в духе статьи Вильсона и Кована -- это не совсем то, что нужно. Мне кажется, что это скорее оценка того, какие могут быть разные состояния нервной системы -- и просто из интроспекции разнообразных неподвижных визуальных картинок, вроде бы, следует практически неограниченная ёмкость в этом смысле (хотя адекватность steady states и даже limit cycles даже для "неподвижных" картинок не очевидна). Но так много состояний там из-за параметризации внешним входом..

Меня, скорее, интересует это всё для долговременной памяти.. И я не уверен, что правильно думать в терминах того, сколько есть аттракторов в системе.. Некоторый cross-talk есть, поэтому, собственно, память и ассоциативна, надо как-то его принять во внимание..

[am.livejournal.com]

Насколько я помню (давно не следил за темой), то какие-то оценки объемов долговременной памяти делались в работах посвященных сравнению "Neural Gas" (Martinetz and Schulten, 1991) и Kohonen Maps. Information-theoretic and Bayesian analysis were done by S.P.Luttrell in 1992-1996. Кроме того, можно посмотреть, что на сегодня сделано по Boltzmann machine, Helmholtz machine...

[anhinga-anhinga.livejournal.com]

Спасибо, взгляну. (Машины Гельмгольца для меня новая архитектура, так что особенно интересно.)