A tempting paper in math linguistics
Oct. 10th, 2010 05:58 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
anhinga_anhinga![[livejournal.com profile]](https://www.dreamwidth.org/img/external/lj-userinfo.gif){kind=small}
russhatter showed me a very tempting paper in mathematical linguistics (in the comments to the previous post). I don't understand it well enough (yet) to say whether I like it. It does use monoidal categories to achieve its goals. Perhaps someone would want to comment on this, or would find the reference interesting.
http://arxiv.org/abs/1003.4394
"Mathematical Foundations for a Compositional Distributional Model of Meaning
Authors: Bob Coecke, Mehrnoosh Sadrzadeh, Stephen Clark
(Submitted on 23 Mar 2010)
Abstract: We propose a mathematical framework for a unification of the distributional theory of meaning in terms of vector space models, and a compositional theory for grammatical types, for which we rely on the algebra of Pregroups, introduced by Lambek. [...]"
Update: I think understand it completely now.
It's a paper worth reading. It's not too difficult, and is a very inexpensive way to get a review of quite a few cool things it relies upon.
The objective of this paper is to provide a civilized, compositional semantics, but with meanings naturally represented by ordinary vectors, and this is what I'd like to see very much.
What remains to be seen is whether this can be further developed to be applicable in practice.
One remark about their particular examples is that the meanings for all their example sentences are represented by fuzzy Booleans, that is, a sentence "John likes Mary" is represented by a fuzzy Boolean expressing to which extent the statement is true (and this fuzzy Boolean is represented as a vector in a two-dimensional space generated by atoms "true" and "false").
In practice, one would probably want a more intensional approach, preserving information about the identities of John and Mary in the combined meaning of the sentence. But then one would lose the property that all sentences take their meaning in the same vector space, and restoring that would result in a very large space. Perhaps, one would need to consider a projection of that very big space onto the space expressing meanings of the set of sentences under consideration at a given point, or something like that.
Update 2: Of course, this does not even start to model the connotations of the word "likes". It might be possible to introduce those connotations simply as the lexical vector of nearby words, but the paper does not even start to explore how this should/might be combined with the functions of word "likes" as an operator containing the sentence type and yielding the sentence value.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2010-10-10 11:31 am (UTC)no subject
Date: 2010-10-10 07:07 pm (UTC)no subject
Date: 2010-10-11 12:13 pm (UTC)Короче, спасибо то нужно говорить Бобу с учениками :)
no subject
Date: 2010-10-11 08:49 pm (UTC)Но, в данном случае, оно, кажется, сильнее недоделано, чем я сначала думал, см. update 2. Проблема в том, что лексический смысл слова "нравится" совсем уж не отражается в смысле предложения (смысл, наоборот, оказывается зависимым только от "переменной части данного возможного мира", а именно того, кто кому нравится или не нравится в данной конфигурации; но совсем не зависит от того, что общее между всеми "возможными мирами", а именно значения слова "нравится".) Я боюсь, что это будет непросто починить.
no subject
Date: 2010-10-12 05:05 am (UTC)no subject
Date: 2010-10-12 07:46 pm (UTC)То есть, эта матрица тоже нужна, но, вообще говоря, прежде всего нужна структура, которая будет моделировать, что значит "нравится", в чём состоит содержание понятия "нравится", безотносительно к тому, кто кому нравится.
no subject
Date: 2010-10-12 08:28 am (UTC)Чем здесь ограничена применимость PLSA? Тем, что нам просто распределения по смыслам недостаточно, нам нужны еще некоторые матрицы, преобразующие распределения в распределения, и эти матрицы нужно обучить по корпусу. Наверное, тут для обучения нужен будет синтаксический анализатор, который будет обнаруживать все конструкции вида
___ likes ___
и выдавать параметризованные (по левому и правому слову) частоты. Дальше я сильно не продумывал, но мне кажется математика будет похожая на PLSA, разве что чуть более сложная.
no subject
Date: 2010-10-12 07:41 pm (UTC)С одной стороны, слово likes тоже должно иметь некоторое распределение по смыслам (непараметризованное, хотя можно представить себе ограничения по грамматическому типу контекста).
С другой стороны, оно ещё и работает, как преобразователь смыслов/распределений.
Надо, чтобы эти две роли были естественно увязаны между собой. Иначе, какие бы категорные красоты не использовать, изящно не будет. Вообще говоря, задача естественного увязывания этих двух ролей -- очень "категорная по духу".
no subject
Date: 2010-10-13 12:07 pm (UTC)Другое дело, что синтаксис должен быть вероятностный, иначе естественные языки не взять. Т.е. мы должны перейти от моноидальной категории M к M-алгебре над R. Т.е. вместо синтасксических единиц брать их взвешенные суммы.
no subject
Date: 2010-10-13 12:44 pm (UTC)Я попробую привести пример. Пусть, несмотря на то, что корпус большой, сочетания "John likes Mary" и "John observes Mary" встречаются там только по одному разу, в качестве отдельных предложений, и без какого-либо интересного контекста. Даже и для большого корпуса это вполне реалистичная ситуация, поскольку сочетания эти весьма специфичны.
Пусть мы можем интерпретировать эту ситуацию, как то, что оба предложения, "John likes Mary" и "John observes Mary", по крайней мере, по отношению к тем моментам времени повествования, когда каждое из них было произнесено, истинны.
Тем ни менее, я хотел бы, чтобы значения этих сочетаний были различны, исходя из того, что известно про значения слов "likes" и "observes" в других контектах или независимо от контекста. Есть что-то неправильное в том, что у предложений "John likes Mary" и "John observes Mary" в такой ситуации одна и та же семантика, только потому, что они редко встречаются в данном корпусе именно в такой форме.
И мне кажется, что задача модифицировать формализм статьи так, чтобы это получилось, достаточно нетривиальна.
no subject
Date: 2010-10-13 12:51 pm (UTC)Тогда наш семантический распознаватель просто не будет обучен на эти слова и соответствующие конструкции. Они будут выкинуты по недостоверности. Т.е. единственный способ обучить его - это взять еще больший корпус, где они встречаются достаточное число раз. И тогда у этих конструкций будут разные семантики.
Во всяком случае, так делается на практике. Т.е. я обсуждаю здесь не какую-то отвлеченную философскую семантику, а вполне инструментальные вещи.
А формализму статьи до этих практических тонкостей нет дела, и это совершенно верно.
no subject
Date: 2010-10-13 01:01 pm (UTC)Тогда это очень слабый формализм.
Прогресс, которого мы действительно хотели бы, как в теории, так и в приложениях, состоит в том, чтобы был inference, позволяющий что-то сделать и в этом случае.
Даже если предположить, что этого ещё совсем нет в практических приложениях (в чём я очень сомневаюсь, но я просто не очень слежу за state-of-the-art в этой области), всё таки мы надеемся, что статьи вроде этой позволят нам продвинуться вперед, а не будут просто кодифицировать status quo в теоретико-категорных терминах.
no subject
Date: 2010-10-13 01:07 pm (UTC)Но тут наши взгляды расходятся. Я как раз за то, чтобы очень долго "кодифицировать status quo в теоретико-категорных терминах" и обучать такой кодификации, даже не имея почти никаких практических следствий. Только после такого обучения начнется новый прорыв в практике и в понимании этого мира, за счет облегчения взаимопонимания и улучшения наглядности.
no subject
Date: 2010-10-13 02:31 pm (UTC)Конечно. Но, мне кажется, что есть потенциал к тому, чтобы сделать это, и притом принципиальным, теоретико-категорным способом, и что это потребует существенно нового подхода, а не просто незначительных вариаций.
То есть, мне кажется, что людям, которые хотят это развивать дальше, надо ставить себе такую цель, и что самое интересное в этом месте ещё впереди.
И, мне кажется, для приложений эта штука, в том виде, как она есть, ещё не созрела...
no subject
Date: 2010-10-11 01:21 am (UTC)Я написал некоторый комментарий в update к этому посту.
no subject
Date: 2010-10-10 06:33 pm (UTC)no subject
Date: 2010-10-10 07:07 pm (UTC)no subject
Date: 2010-10-10 07:56 pm (UTC)no subject
Date: 2010-10-11 01:27 am (UTC)Я написал некоторый комментарий в update к этому посту.
no subject
Date: 2010-10-12 01:19 am (UTC)no subject
Date: 2010-10-12 04:10 am (UTC)Теперь, вроде бы, добрались до самой темы. Ура.
Я бы не сказал, что я всё пока понял, но меня смутило то же, что и тебя.
"likes" представляет собой безумную матрицу, а обсуждаемое высказывание определяет в матрице одну ячейку; никаких намёков на конструктивные соображения о том, как же выглядит эта матрица целиком. Но да, много чего увязано, и увязано, на мой дилетантский взгляд, весьма добротно.
Спасибо за пост
Date: 2011-10-27 04:14 am (UTC)