Читать онлайн «Лекции по искусственным нейронным сетям»

Лекции по искусственным нейронным сетям (черновик) К. В. Воронцов 9 апреля 2006 г. Содержание 1 Искусственные нейронные сети 2 1. 1 Однослойные нейронные сети . . . . . . . . . . . . . . . . . . . . . . . . 2 1. 1. 1 Естественный нейрон и его формальная модель . . . . . . . . . . 2 1. 1. 2 Методы обучения отдельного нейрона . . . . . . . . . . . . . . . 4 1. 1. 3 Проблема полноты . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1. 2 Многослойные нейронные сети . . . . . . . . . . . . . . . . . . . . . . . . 12 1. 2. 1 Метод обратного распространения ошибок . . . . . . . . . . . . . 12 1. 2. 2 Улучшение сходимости и качества градиентного обучения . . . . 15 1. 2. 3 Неградиентные методы обучения . . . . . . . . . . . . . . . . . . 19 1. 3 Сети Кохонена . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1. 3. 1 Модели конкурентного обучения . . . . . . . . . . . . . . . . . . . 20 1. 3. 2 Самоорганизующиеся карты Кохонена . . . . . . . . . . . . . . . 22 1. 3. 3 Гибридные сети встречного распространения . . . . . . . . . . . 24  –2– 1 Искусственные нейронные сети Человеку и высшим животным буквально на каждом шагу приходится распо- знавать, принимать решения и обучаться. Нейросетевой подход возник благодаря стремлению понять, каким образом мозг решает столь сложные задачи, и реализо- вать эти принципы в автоматических устройствах. Пока искусственные нейронные сети (artificial neural networks, ANN) являют- ся лишь предельно упрощёнными аналогами естественных нейронных сетей. Нерв- ные системы животных и человека гораздо сложнее тех устройств, которые можно создать с помощью современных технологий. Однако для успешного решения мно- гих практических задач оказалось вполне достаточно «подсмотреть» лишь общие принципы функционирования нервной системы. Некоторые реально применяемые разновидности ANN представляют собой математические модели, имеющие лишь отдалённое сходство с нейрофизиологией. 1. 1 Однослойные нейронные сети 1. 1. 1 Естественный нейрон и его формальная модель Рассмотрим в общих чертах устройство и принципы работы нервной клетки — естественного нейрона. Клетка имеет множество разветвлённых отростков — дендри- тов, и одно длинное тонкое волокно — аксон, на конце которого находятся синапсы, примыкающие к другим нервным клеткам. Каждая нервная клетка может находить- ся в двух состояниях: обычном и возбуждённом. В возбуждённом состоянии клетка генерирует электрический импульс величиной около 100 мВ и длительностью 1 мс, который проходит по аксону до синапсов.