Читать онлайн «Прикладная и компьютерная лингвистика»

 Содержание Введение ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . 11 Часть I. Компоненты ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 14 Глава 1. Компьютерная морфология ... ... ... ... ... ... ... ... ... ... ... ... ... ... 14 1. Как найти слова ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 14 2. Каким может быть анализ слов ... ... ... ... ... ... ... ... ... ... ... ... ... . 16 3. Лексическая неоднозначность ... ... ... ... ... ... ... ... ... ... ... ... ... . . 18 4. Анализ морфологии на основе правил ... ... ... ... ... ... ... ... ... . 20 4. 1. Что хранить в словарях? ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 20 4. 2. Морфологические модули АОТ ... ... ... ... ... ... ... ... ... ... ... ... ... . . 21 4. 3. Морфологический анализатор Pymorphy2 и словарь проекта OpenCorpora ... ... ... ... ... ... ... ... ... ... ... ... ... . . 24 4. 4. Анализатор Mystem... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . 26 5. Статистические методы анализа слов ... ... ... ... ... ... ... ... ... . . 27 5. 1. Статистическая частеречная разметка... ... ... ... ... ... ... ... ... ... . 27 5. 2. Триграммная скрытая Марковская модель ... ... ... ... ... ... ... . . 29 5. 3. Частеречная разметка незнакомых слов ... ... ... ... ... ... ... ... ... . 31 Литература ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 32 Электронные ресурсы ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 33 Глава 2. Компьютерный синтаксис ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 35 1. Разные подходы к анализу синтаксических структур... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 35 1. 1. Что такое парсинг... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . 35 1. 2. Грамматики зависимостей ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 36 1. 3. Грамматики непосредственных составляющих... ... ... ... ... . 40 1. 4. Комбинированные теории анализа предложения ... ... ... ... . 43 2. Неоднозначность и проблема комбинаторного взрыва ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 44 4 Содержание 3. Статистический парсинг... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 47 4. Современные синтаксические анализаторы: семь глаз и типы в цехе... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 48 4. 1. Лингвистический процессор ЭТАП ... ... ... ... ... ... ... ... ... ... ... . 48 4. 2. DictaScope и АОТ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . 50 4. 3. Stanford NLP, RASP, OpenNLP ... ... ... ... ... ... ... ... ... ... ... ... ... ... . 52 4. 4.