software continualization: neural nets

[anhinga_anhinga]

Embedding programs into neural nets.

João Pedro Neto's NETDEF page:

http://www.di.fc.ul.pt/~jpn/netdef/

I am using J. Neto, H. Siegelmann, J. Costa, Symbolic Processing in Neural Networks, for the description of the embedding, and J. Neto, J. Costa, A. Ferreira, Merging Sub-symbolic and Symbolic Computation, for the description of higher-order synapses for learning.

The question is: how good a description of higher-order functions is possible in this framework?

Comments

[ipain.livejournal.com]

методологически удобство чаще ведет к неприятностям.
синхронность ваще наше все, точнее соорганизация
но никак не синхронность через часы на главпочтампте.
типа изменение сети через апдейт нода и есть такт.
про firing rate models не расскажите поподробней?

кслову читали ль вы, 'прыгай старик прыгай' анчарова?

[anhinga-anhinga.livejournal.com]

> кслову читали ль вы, 'прыгай старик прыгай' анчарова?

нет, к сожалению...

> firing rate models

Когда-то давно была в биологии доминантная парадигма, что выходной сигнал нервной клетки кодируется частотой импульсов, которые она испускает. Практически все индустриальные "нервные сети" мотивированы этой парадигмой. Повидимому, именно с этим связаны довольно фиговые характеристики их обучаемости.

В биологии теперь доминируют волны, и отдельные нервные импульсы, и идея, что точное время испускания этих импульсов весьма важно, и всякие механизмы синхронизации фазы, но в индустриальные "нервные сети" это почти не проникло.

Вроде бы на базе этой парадигмы должно быть можно сделать "нервные сети", которые не будут в процессе обучения забывать то, что они выучили раньше, и будут запоминать с первого раза. Но что-то мешает людям перейти к успешным приложением на этой основе...