software continualization: neural nets

[anhinga_anhinga]

Embedding programs into neural nets.

João Pedro Neto's NETDEF page:

http://www.di.fc.ul.pt/~jpn/netdef/

I am using J. Neto, H. Siegelmann, J. Costa, Symbolic Processing in Neural Networks, for the description of the embedding, and J. Neto, J. Costa, A. Ferreira, Merging Sub-symbolic and Symbolic Computation, for the description of higher-order synapses for learning.

The question is: how good a description of higher-order functions is possible in this framework?

Comments

[mathemajician.livejournal.com]

Looking at the relation between symbolic processing and neural networks has been on my to-do list for a while as it relates to some things I'm doing. The links on this guy's page look like just what I need...

[anhinga-anhinga.livejournal.com]

What they've done seems very cool.

I'll try to play with their scheme during the next few weeks...

[dmierkin.livejournal.com]

кажется удивительно интересным

[ipain.livejournal.com]

The NETDEF neural networks are synchronous, i.e., they need a global clock to update at the same time.

таким макаром далеко не уедешь

[anhinga-anhinga.livejournal.com]

Мне кажется, что для начала математически удобнее работать с синхронными.

Но, вообще говоря, на firing rate моделях очень далеко вряд ли удастся уехать.

[dmierkin.livejournal.com]

надо смешивать со спайками, сделают.

[anhinga-anhinga.livejournal.com]

В точности...

Это одна из хороших задач --- как модифицировать их конструкцию, чтобы были спайки...

[ipain.livejournal.com]

методологически удобство чаще ведет к неприятностям.
синхронность ваще наше все, точнее соорганизация
но никак не синхронность через часы на главпочтампте.
типа изменение сети через апдейт нода и есть такт.
про firing rate models не расскажите поподробней?

кслову читали ль вы, 'прыгай старик прыгай' анчарова?

[anhinga-anhinga.livejournal.com]

> кслову читали ль вы, 'прыгай старик прыгай' анчарова?

нет, к сожалению...

> firing rate models

Когда-то давно была в биологии доминантная парадигма, что выходной сигнал нервной клетки кодируется частотой импульсов, которые она испускает. Практически все индустриальные "нервные сети" мотивированы этой парадигмой. Повидимому, именно с этим связаны довольно фиговые характеристики их обучаемости.

В биологии теперь доминируют волны, и отдельные нервные импульсы, и идея, что точное время испускания этих импульсов весьма важно, и всякие механизмы синхронизации фазы, но в индустриальные "нервные сети" это почти не проникло.

Вроде бы на базе этой парадигмы должно быть можно сделать "нервные сети", которые не будут в процессе обучения забывать то, что они выучили раньше, и будут запоминать с первого раза. Но что-то мешает людям перейти к успешным приложением на этой основе...