Читать онлайн «Лекции по алгоритмам восстановления регрессии»

Лекции по алгоритмам восстановления регрессии К. В. Воронцов 21 декабря 2007 г. Материал находится в стадии разработки, может содержать ошибки и неточности. Перепечатка любых фрагментов данного материала без согласия автора является плагиатом. Содержание 1 Восстановление регрессии 2 1. 1 Метод наименьших квадратов . . . . . . . . . . . . . . . . . . . . . . . . 2 1. 2 Непараметрическая регрессия: ядерное сглаживание . . . . . . . . . . . 3 1. 2. 1 Метод наименьших квадратов и формула Надарая–Ватсона . . . 3 1. 2. 2 Выбор ядра и ширины окна . . . . . . . . . . . . . . . . . . . . . 4 1. 2. 3 Проблема выбросов: робастная непараметрическая регрессия . . 5 1. 2. 4 Проблема краевых эффектов . . . . . . . . . . . . . . . . . . . . . 6 1. 3 Многомерная линейная регрессия . . . . . . . . . . . . . . . . . . . . . . 7 1. 3. 1 Нормальная система уравнений . . . . . . . . . . . . . . . . . . . 8 1. 3. 2 Сингулярное разложение . . . . . . . . . . . . . . . . . . . . . . . 9 1. 3. 3 Стандартизация данных . . . . . . . . . . . . . . . . . . . . . . . 10 1. 3. 4 Проблема мультиколлинеарности . . . . . . . . . . . . . . . . . . 10 1. 3. 5 Гребневая регрессия . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1. 3. 6 Лассо Тибширани . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1. 3. 7 Линейная монотонная регрессия . . . . . . . . . . . . . . . . . . . 14 1. 3. 8 Метод главных компонент . . . . . . . . . . . . . . . . . . . . . . 14 1. 3. 9 Метод ортогонализации Грама-Шмидта . . . . . . . . . . . . . . 18 1. 3. 10 Робастная регрессия . . . . . . . . . . . . . . . . . . . . . . . . . . 23 1. 4 Нелинейные обобщения линейной регрессии . . . . . . . . . . . . . . . . 23 1. 4. 1 Нелинейная модель регрессии . . . . . . . . . . . . . . . . . . . . 24 1. 4. 2 Нелинейные одномерные преобразования признаков . . . . . . . 25 1. 4. 3 Обобщённые линейные модели . . . . . . . . . . . . . . . . . . . . 27 1. 4. 4 Неквадратичные функции потерь . . . . . . . . . . . . . . . . . . 27 1. 5 Логистическая регрессия . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 1. 5. 1 Обоснование логистической регрессии . . . . . . . . . . . . . . . 30 1. 5. 2 Итерационный взвешенный МНК . . . . . . . . . . . . . . . . . . 32 1. 5. 3 Оценивание рисков . . . . . . . . . . . . . . . . . . . . . . . . . . 33 1. 5. 4 Кривая ошибок и выбор порогового параметра α0 . . . . . . . . 34 1. 5. 5 Скоринг . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35  2 1 Восстановление регрессии Задачу обучения по прецедентам при Y = R принято называть задачей восста- новления регрессии.