Срок выполнения этого задания (HW-05) – 5 апреля 2017 24:00

После этого срока работы не будут приниматься.

Работу надо выслать на e-mail преподавателям Н.Ю.Золотых, Д.В.Грибанову (ставим каждого в копию)

  • Практические задания, в которых надо что-то посчитать или доказать, пишем на бумаге, фотографируем и присылаем. Можете, конечно, набрать в вашем любимом редакторе.

  • Практические задания, где надо писать код, оформляем как ipython Notebook. Пишем комментарии (используем Markdown).

Вы можете использовать другой язык программирования и другие библиотеки. В этом случае заранее свяжитесь со мной.

Задание № 5-1

В этом задании вы должны работать с diabetes dataset. Задание выполняете в новом NoteBook'е.

Необходимо решить задачу восстановления регрессии и отбора признаков, используя метод наименьших квадратов вместе с методом Recursive feature selection (greedy forward selection). Постройте графики ошибки на обучающей и тестовой выборках. Сделайте выводы.

Примеры см. здесь файл 12-3. Linear Regression - Boston.

Напоминаю, что ваш ipython Notebook должен содержать комментарии (оформленные в Markdown). Текста и кода должно быть примерно поровну.

Задание № 5-2

Это практическое задание. Его нужно решать вручную, оформляя решение на бумаге. Графики можно нарисовать на компьютере.

Дана обучающая выборка $$ \begin{array}{|c|rrrrr|} \hline x & 1 & 1 & 0 & 0 & -1 \\\hline y & 4 & 4 & 0 & 2 & 6 \\\hline \end{array} $$

  1. изобразить точки;

  2. методом наименьших квадратов построить модель вида $f(x)=\beta_0 + \beta_1 x + \beta_2 x^2$; построить график этой функции;

  3. построить модель того же вида методом ридж-регрессии с параметром регуляризации $\lambda=1$; построить график этой функции.

Замечание: при ручных вычислениях по методу наименьших квадратов рекомендуется составить систему ${\bf X}^{\rm T}{\bf X}\beta = {\bf X}^{\rm T}{\bf y}$ и решить ее. Регуляризованная система: $({\bf X}^{\rm T}{\bf X} + \lambda{\bf I})\beta = {\bf X}^{\rm T}{\bf y}$, где ${\bf I}$ – единичная матрица.