A robot with impressive language capabilities

[anhinga_anhinga]

This is a prototype of an elderly home care robot developed by a very small group at IBM (with the benign indifference from their employer corporation that does not want to deal with robots and headaches and liabilities associated with robots). Its ability to verbally communicate with a human and to learn from a human is very impressive (basically, one can program this robot to a large extent simply by talking to it). Here is a demo video from the talk at the AGI-12 conference:

http://www.youtube.com/watch?v=M2RXDI3QYNU

The paper itself, "An Extensible Language Interface for Robot Manipulation", explaining to some extent how this works can be found here:

http://www.mindmakers.org/boards/18/topics/73

and the free online version of AGI-12 proceedings is here (scroll down to AGI-12 Contributed Paper Sessions):

http://www.mindmakers.org/projects/agiconf-2012/wiki/Schedule

Comments

[x-ghbdtn.livejournal.com]

Разобрались со статьей?
Я как раз только что её прочел, см. (http://x-ghbdtn.livejournal.com/5719.html)

[bvn-mai.livejournal.com]

Нет, я отложил это дело, потому что пока не понял за дебрями новых терминов, как ETS поможет мне распознать устойчивые фонетические элементы, в знакомых словах, для того чтобы после этого я умел с помощью программы распознать их во входном потоке и сложить из них неизвестное мне слово "бурбулин".

А Вы видите, как прикладывать ETS к практическим задачам?

Мне не хватает моего английского, возможно за этим что-то есть, а я не могу понять, хотя некоторые примеры авторов ETS из физики, как бы намекают, что данный труд можно и не читать.

[x-ghbdtn.livejournal.com]

В статье по ссылке вводится только понятийный аппарат, который авторы используют в своих работах, плюс в заключительном разделе "Preliminary general thoughts on learning" - "общие мысли" про применения. Метода, как это все использовать, здесь нет, возможно нужно читать другие статьи, которых у автора на сайте достаточное количество. Есть, в частности, "Articulatory Speech Structures" и "Future of Machine Learning". Как прочитаю, напишу о результатах, возможно через неделю.

Предупреждаю, в "бурбулине" я не специалист, меня их математические методы заинтересовали.

[bvn-mai.livejournal.com]

Я пытался разобраться со всем, что есть на сайте у Гольдфорба - увы разбивается о мой английский, хотя его достаточно, чтобы без проблем читать учебник Спивака по ссылке в Вашем ЖЖ.
В моей интерпретации (возможно неверной) - это все очень похоже на фричество.
Ну а что касается в мат.аппарате - я инженер и меня он интересует лишь, как средство решения прикладных задач в "когнитивистике". "Бурбулин" - это лишь одна из немногих задач, которые надо научиться решать для систем, "размерность" которых с одной стороны не достаточна, чтобы работала статистика, а с другой стороны слишком велика, чтобы их можно было анализировать "традиционной механикой".

[x-ghbdtn.livejournal.com]

Ну, фричество - не фричество, но эта статья теоретическая. Матаппарат у них крайне общий, и между ним и когнитивистикой действительно заметный разрыв. Здесь, как от анаграммы Ньютона "полезно решать дифференциальные уравнения" до конкретной механики, - целая пропасть. Но предлагают ли авторы метод, этот разрыв преодолевающий, можно судить, только прочитав их прикладные работы (и есть ли работающие реализации этих методов).

Те моменты теорката, которые затрагиваются у Гольдфарба, можно посмотреть в недавнем обзоре http://arxiv.org/abs/1307.4038 "An alternative Gospel of structure: order, composition, processes", это вступление к "Quantum Physics and Linguistics: A Compositional, Diagrammatic Discourse". Только сам Гольдфарб про теоркат не говорит, а изображает самостоятельное изобретение велосипеда.

[bvn-mai.livejournal.com]

Я очень рассчитываю, что Вы напишите свое мнение об "..."Articulatory Speech Structures" и "Future of Machine Learning". ..", как обещали :). Спасибо за ссылку, но всего лишь инженер, который знает математику чуть лучше обычного инженера из IT-сферы, у меня чисто утилитарный взгляд на математику.

[x-ghbdtn.livejournal.com]

Я пока успел посмотреть только "Future of Machine Learning", там одна критика текущего положения дел и никаких предложений для Future. Будем смотреть дальше.

[x-ghbdtn.livejournal.com]

В "Articulatory Speech Structures" метод никак не расрывается, просто говорится, что при тестовой классификации на данных MOCHA
articulatory corpus (я не знаю, как выглядят артикуляторные корпусы - это необработанный звук?) на 14 классов (типов фонем? почему 14?) у них получилось 77% совпадений. Что там за алгоритм, как в нем используются авторские ETS - ни слова.

Будем смотреть дальше, в поисках чего-нибудь содержательного.

[x-ghbdtn.livejournal.com]

Предыдущее было про https://www.era.lib.ed.ac.uk/handle/1842/928 "Structural representation and matching of articulatory speech structures based on the evolving transformation system (ETS) formalism". Они работают поверх препроцессора, описанного в https://www.era.lib.ed.ac.uk/handle/1842/942 "Detection of Symbolic Gestural Events in Articulatory Data for Use in Structural Representations of Continuous Speech" - он, собственно и обрабатывает речь в дискретное представление.

Алгоритм там описан словами, без особой математики и оригинальной терминологии, он отношения к ETS не имеет. Исходные данные это не звук, если я правильно понял, а Electromagnetic Articulograph (EMA), Laryngograph and Electropalatograph (EPG) measurements. Им сделали кластеризацию, причем индивидуально по человеку (clustering, making use of an efficient variant of k-means described in [9], is applied to the entire data available for the particular speaker), а дальше фиксировали, в какой кластер попадают данные этих артикулографов, ларингографов и электропалатографов. Какие 14 фонем выбраны - там есть табличка. По кластеризации ссылка на “An Efficient k-Means Clustering Algorithm: Analysis and Implementation,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 24, а их ETS не причем.

[bvn-mai.livejournal.com]

А статья по Вашей ссылке действительно интересная.

[x-ghbdtn.livejournal.com]

Другая статья из того же сборника - "Types and forgetfulness in categorical linguistics and quantum mechanics" http://arxiv.org/abs/1303.3170 продолжает подход, уже удостоенный внимания в этом гостеприимном журнале ( http://anhinga-anhinga.livejournal.com/77367.html ).

[anhinga-anhinga.livejournal.com]

> Types and forgetfulness in categorical linguistics and quantum mechanics

Спасибо, очень интересная ссылка.