Читать онлайн «Корпусная лингвистика: учебник для студентов гуманитарных вузов»
Автор Богданова С.Ю.
Министерство образования и науки РФ
ГОУ ВПО «Иркутский государственный
лингвистический университет»
В. П. Захаров, С. Ю. Богданова
КОРПУСНАЯ ЛИНГВИСТИКА
Учебник
Иркутск
ИГЛУ
2011
УДК 81’32
ББК 81. 1-923
З - 38
Рецензенты:
доктор филологических наук, ведущий научный сотрудник Института востоковедения РАН
С. А. Крылов,
доктор технических наук, профессор Санкт-Петербургского государственного университета
В. Ш. Рубашкин
Захаров В. П. , Богданова С. Ю.
З-38 Корпусная лингвистика: учебник для студентов гуманитарных вузов. – Иркутск: ИГЛУ, 2011. – 161 с.
ISBN 978-5-88267-316-0
Учебник знакомит с концепциями корпусной лингвистики, дает возможность освоить основы корпусных технологий, приобрести навыки работы с корпусами, определить место дисциплины и собственно корпусов в ряду информационных технологий.
Предназначен для студентов, магистрантов и аспирантов филологических специальностей.
УДК 81’32
ББК 81. 1-923
ISBN 978-5-88267-316-0© Захаров В. П. , 2011© Богданова С. Ю. , 2011 © Иркутский государственный
лингвистический университет, 2011
ОГЛАВЛЕНИЕ
Предисловие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5ЧАСТЬ 1. Введение в корпусную лингвистику . . . . . 71. 1. Основные понятия корпусной лингвистики . . . . . . . . . . 71. 2. Направления в лингвистике, предвосхитившие появление корпусной лингвистики: от картотеки к корпусу . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
111. 3. История создания лингвистических корпусов . . . . . . . . 141. 4. Основные характеристики корпусов . . . . . . . . . . . . . . . . 171. 4. 1. Репрезентативность корпусов . . . . . . . . . . . . . . . . . . . . . 171. 4. 2. Классификация корпусов по различным основаниям . . 201. 4. 3. Особые типы корпусов . . . . . . . . . . . . . . . . . . . . . . . . . . . 261. 4. 3. 1. Параллельные корпусы . . . . . . . . . . . . . . . . . . . . . . . . . . . 261. 4. 3. 2. Корпусы устной речи . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29ЧАСТЬ 2. Создание корпусов . . . . . . . . . . . . . . . . . . . . . . . . 332. 1. Предварительные работы по созданию корпуса . . . . . . 332. 1. 1. Проектирование и технологический процесс создания332. 1. 2. Отбор источников. Критерии отбора . . . . . . . . . . . . . . . 362. 1. 3. Основные процедуры обработки естественного языка: токенизация, лемматизация, стемминг, парсинг . . . . . .
382. 2. Понятие разметки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422. 2. 1. Разметка. Средства разметки корпусов . . . . . . . . . . . . . 422. 2. 2. Лингвистическая разметка . . . . . . . . . . . . . . . . . . . . . . . . 452. 2. 3. Экстралингвистическая разметка . . . . . . . . . . . . . . . . . . 502. 2. 4. Стандартизация в корпусной лингвистике . . . . . . . . . . . 52Часть 3. Использование корпусов . . . . . . . . . . . . . . . . . . 553. 1. Корпусные менеджеры . . . . . . . . . . . . . . . . . . . . . . . . . . . 553. 1. 1. Корпус как поисковая система . . . . . . . . . . . . . . . . . . . . 553. 1. 2. Языки запросов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 563. 1. 3. Выходные интерфейсы . . . . . . . . . . . . . . . . . . . . . . . . . . . 693. 1. 4. Корпусные менеджеры нелингвистических корпусов (WWW) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
713. 2. Обзор существующих корпусов различных типов . . . . 753. 2. 1. Зарубежные национальные корпусы . . . . . . . . . . . . . . . . 753. 2. 2. Корпусы русского языка . . . . . . . . . . . . . . . . . . . . . . . . . 823. 2. 2. 1. Первые корпусы русского языка . . . . . . . . . . . . . . . . . . . 823. 2. 2. 2. Современные корпусы русского языка . . . . . . . . . . . . . . 863. 2. 2. 2. 1. Национальный корпус русского языка . . . . . . . . . . . . . . 863. 2. 2. 2. 2. Устные корпусы русского языка . . . . . . . . . . . . . . . . . . . 893. 2. 3. Специальные корпусы . . . . . . . . . . . . . . . . . . . . . . . . . . . 923. 3. Корпусные исследования . . . . . . . . . . . . . . . . . . . . . . . . . 943. 3. 1. Пользователи корпусов . . . . . . . . . . . . . . . . . . . . . . . . . . 943. 3. 2. Способы использования корпусов . . . . . . . . . . . . . . . . . 953. 3. 3. Лексикографические исследования, основанные на корпусах . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
983. 3. 3. 1. Пример одного лексикографического исследования . . 1003. 3. 3. 2. Выделение коллокаций статистическими методами . . 1133. 3. 4. Грамматические исследования, основанные на корпусах 1163. 3. 4. 1. Распределение и функции номинализаций . . . . . . . . . . 1173. 3. 4. 2. Распределение грамматических категорий . . . . . . . . . . 1233. 3. 5. Исследования дискурса, основанные на корпусах . . . . . . . 128Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147Библиографический список . . . . . . . . . . . . . . . . . . . . . . . 148Приложения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 Предисловие
Предлагаемый вашему вниманию учебник является своего рода обобщением многочисленных разрозненных материалов, опубликованных за последние два десятилетия в России и за рубежом, которые легли в основу лекционных курсов по дисциплине «Корпусная лингвистика», читаемых кандидатом филологических наук, доцентом Виктором Павловичем Захаровым в Санкт-Петербургском государственном университете и доктором филологических наук, профессором Светланой Юрьевной Богдановой в Иркутском государственном лингвистическом университете.
ГОУ ВПО «Иркутский государственный
лингвистический университет»
В. П. Захаров, С. Ю. Богданова
КОРПУСНАЯ ЛИНГВИСТИКА
Учебник
Иркутск
ИГЛУ
2011
УДК 81’32
ББК 81. 1-923
З - 38
Рецензенты:
доктор филологических наук, ведущий научный сотрудник Института востоковедения РАН
С. А. Крылов,
доктор технических наук, профессор Санкт-Петербургского государственного университета
В. Ш. Рубашкин
Захаров В. П. , Богданова С. Ю.
З-38 Корпусная лингвистика: учебник для студентов гуманитарных вузов. – Иркутск: ИГЛУ, 2011. – 161 с.
ISBN 978-5-88267-316-0
Учебник знакомит с концепциями корпусной лингвистики, дает возможность освоить основы корпусных технологий, приобрести навыки работы с корпусами, определить место дисциплины и собственно корпусов в ряду информационных технологий.
Предназначен для студентов, магистрантов и аспирантов филологических специальностей.
УДК 81’32
ББК 81. 1-923
ISBN 978-5-88267-316-0© Захаров В. П. , 2011© Богданова С. Ю. , 2011 © Иркутский государственный
лингвистический университет, 2011
ОГЛАВЛЕНИЕ
Предисловие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5ЧАСТЬ 1. Введение в корпусную лингвистику . . . . . 71. 1. Основные понятия корпусной лингвистики . . . . . . . . . . 71. 2. Направления в лингвистике, предвосхитившие появление корпусной лингвистики: от картотеки к корпусу . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
111. 3. История создания лингвистических корпусов . . . . . . . . 141. 4. Основные характеристики корпусов . . . . . . . . . . . . . . . . 171. 4. 1. Репрезентативность корпусов . . . . . . . . . . . . . . . . . . . . . 171. 4. 2. Классификация корпусов по различным основаниям . . 201. 4. 3. Особые типы корпусов . . . . . . . . . . . . . . . . . . . . . . . . . . . 261. 4. 3. 1. Параллельные корпусы . . . . . . . . . . . . . . . . . . . . . . . . . . . 261. 4. 3. 2. Корпусы устной речи . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29ЧАСТЬ 2. Создание корпусов . . . . . . . . . . . . . . . . . . . . . . . . 332. 1. Предварительные работы по созданию корпуса . . . . . . 332. 1. 1. Проектирование и технологический процесс создания332. 1. 2. Отбор источников. Критерии отбора . . . . . . . . . . . . . . . 362. 1. 3. Основные процедуры обработки естественного языка: токенизация, лемматизация, стемминг, парсинг . . . . . .
382. 2. Понятие разметки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422. 2. 1. Разметка. Средства разметки корпусов . . . . . . . . . . . . . 422. 2. 2. Лингвистическая разметка . . . . . . . . . . . . . . . . . . . . . . . . 452. 2. 3. Экстралингвистическая разметка . . . . . . . . . . . . . . . . . . 502. 2. 4. Стандартизация в корпусной лингвистике . . . . . . . . . . . 52Часть 3. Использование корпусов . . . . . . . . . . . . . . . . . . 553. 1. Корпусные менеджеры . . . . . . . . . . . . . . . . . . . . . . . . . . . 553. 1. 1. Корпус как поисковая система . . . . . . . . . . . . . . . . . . . . 553. 1. 2. Языки запросов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 563. 1. 3. Выходные интерфейсы . . . . . . . . . . . . . . . . . . . . . . . . . . . 693. 1. 4. Корпусные менеджеры нелингвистических корпусов (WWW) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
713. 2. Обзор существующих корпусов различных типов . . . . 753. 2. 1. Зарубежные национальные корпусы . . . . . . . . . . . . . . . . 753. 2. 2. Корпусы русского языка . . . . . . . . . . . . . . . . . . . . . . . . . 823. 2. 2. 1. Первые корпусы русского языка . . . . . . . . . . . . . . . . . . . 823. 2. 2. 2. Современные корпусы русского языка . . . . . . . . . . . . . . 863. 2. 2. 2. 1. Национальный корпус русского языка . . . . . . . . . . . . . . 863. 2. 2. 2. 2. Устные корпусы русского языка . . . . . . . . . . . . . . . . . . . 893. 2. 3. Специальные корпусы . . . . . . . . . . . . . . . . . . . . . . . . . . . 923. 3. Корпусные исследования . . . . . . . . . . . . . . . . . . . . . . . . . 943. 3. 1. Пользователи корпусов . . . . . . . . . . . . . . . . . . . . . . . . . . 943. 3. 2. Способы использования корпусов . . . . . . . . . . . . . . . . . 953. 3. 3. Лексикографические исследования, основанные на корпусах . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
983. 3. 3. 1. Пример одного лексикографического исследования . . 1003. 3. 3. 2. Выделение коллокаций статистическими методами . . 1133. 3. 4. Грамматические исследования, основанные на корпусах 1163. 3. 4. 1. Распределение и функции номинализаций . . . . . . . . . . 1173. 3. 4. 2. Распределение грамматических категорий . . . . . . . . . . 1233. 3. 5. Исследования дискурса, основанные на корпусах . . . . . . . 128Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147Библиографический список . . . . . . . . . . . . . . . . . . . . . . . 148Приложения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 Предисловие
Предлагаемый вашему вниманию учебник является своего рода обобщением многочисленных разрозненных материалов, опубликованных за последние два десятилетия в России и за рубежом, которые легли в основу лекционных курсов по дисциплине «Корпусная лингвистика», читаемых кандидатом филологических наук, доцентом Виктором Павловичем Захаровым в Санкт-Петербургском государственном университете и доктором филологических наук, профессором Светланой Юрьевной Богдановой в Иркутском государственном лингвистическом университете.
