Читать онлайн «Лекции по статистическим алгоритмам классификации»

Лекции по статистическим (байесовским) алгоритмам классификации (черновик) К. В. Воронцов 19 июня 2005 г. Содержание 1 Статистические (байесовские) алгоритмы классификации 2 1. 1 Вероятностная постановка задачи классификации . . . . . . . . . . . . 3 1. 1. 1 Функционал среднего риска . . . . . . . . . . . . . . . . . . . . . 3 1. 1. 2 Оптимальное байесовское решающее правило . . . . . . . . . . . 4 1. 2 Нормальный дискриминантный анализ . . . . . . . . . . . . . . . . . . . 7 1. 2. 1 Линейные и квадратичные разделяющие поверхности . . . . . . 7 1. 2. 2 Метод максимума правдоподобия . . . . . . . . . . . . . . . . . . 9 1. 2. 3 Подстановочный алгоритм . . . . . . . . . . . . . . . . . . . . . . 10 1. 2. 4 Линейный дискриминант Фишера . . . . . . . . . . . . . . . . . . 11 1. 3 Разделение смеси распределений . . . . . . . . . . . . . . . . . . . . . . . 13 1. 3. 1 EM-алгоритм . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1. 3. 2 Метод радиальных базисных функций . . . . . . . . . . . . . . . 19 1. 4 Непараметрические методы классификации . . . . . . . . . . . . . . . . 21 1. 4. 1 Непараметрические оценки плотности распределения . . . . . . 21 1. 4. 2 Метод парзеновского окна . . . . . . . . . . . . . . . . . . . . . . 22 1. 4. 3 Связь параметрических и непараметрических методов . . . . . . 22  –2– 1 Статистические (байесовские) алгоритмы клас- сификации Байесовский подход основан на предположении, что плотности распределения классов либо известны, либо могут быть оценены по обучающей выборке. Это очень сильное предположение. Оно позволяет выписать искомый алгоритм в явном анали- тическом виде. Более того, можно доказать, что этот алгоритм является оптималь- ным, обладая минимальной вероятностью ошибки классификации. К сожалению, на практике плотности распределения классов, как правило, неизвестны. Оценивание плотности по конечной выборке — задача, вообще говоря, более трудная, чем построение алгоритма классификации. В первом случае требу- ется восстановить вещественную функцию, во втором — всего лишь бинарную. Ка- залось бы, нет особого смысла сводить простую задачу к сложной. Тем не менее, байесовский подход, основанный на восстановлении плотностей, позволяет строить вполне работоспособные алгоритмические конструкции. Эти алгоритмы, как и мно- гие другие алгоритмы классификации, являются, по сути дела, эвристическими. По идее, они должны работать в тех случаях, когда реальные данные удовлетворя- ют, хотя бы приближённо, исходным вероятностным предположениям.