#!/usr/bin/env python
# coding: utf-8

# # Майнор по Анализу Данных, Группа ИАД-2
# ## Домашнее задание №2: Классификация текстовых данных

# <hr\>
# **Общая информация**
# 
# **Срок сдачи:** 19 апреля 2017, 23:59 <br\>
# 
# При отправлении ДЗ на почту `hse.minor.dm+2@gmail.com` указывайте фамилию в названии файла, а тему письма оформляйте в следующем виде:<br\>
# ** [ИАД-2] *{Фамилия}* *{Имя}* ДЗ*{Номер}* **<br\>
# 
# Сопровождайте ваш код изображеними, комментариями и выводами. <br\>
# Иммейте ввиду, что на некоторые задачи нет единственного верного и полного ответа. Чем больше информации вы сможете извлечь, аргументированных выводов сформулировать, тем лучше.
# 
# Используйте данный Ipython Notebook при оформлении домашнего задания.
# <hr\>

# <p>Чтобы узнать свой вариант, введите Вашу фамилию на русском языке в соответвующее поле ниже и запустите ячейку:</p>

# In[9]:


surname = u"Иванов" #Ваша фамилия

variant = (hash(surname.lower()) % 2 + 1)
print "Ваш вариант - ", variant


# <p><b>Варианты</b></p>

# * Набор SMS сообщений (sms) - <b>спам/не спам</b> - <a href="https://archive.ics.uci.edu/ml/datasets">источник</a> - файл c данными: <b>data/SMSSpamCollection</b></li>
# </ol>
# * Набор рецензий на фильмы (reviews) - <b>positive/negative</b> - <a href="http://www.cs.cornell.edu/people/pabo/movie-review-data/">источник</a> - файл c данными: <b>data/reviews.tsv</b></li>
# </ol>

# ## Задача 1
# #### Классификация текстовых сообщений (2 балла)

# <ol>
#     <li>Загрузите исходные данные</li>
#     <li>Разбейте загруженные данные на обучающее (train) и тестовое подможества (test)</li>
#     <li>Переведите текстовые данные в векторный вид. Для этого воcпользуйтесь средствами sklearn для конвертации текста в векторы TF-IDF (настроить на обучающем подмножестве, n-gram=1, слова в нижний регистр)</li>
#     <li>Постройте на обучающем подмножестве следующие модели классификации:
#         <ul>
#             <li>K-ближайших соседей ($n=5$)</li>
#             <li>Логистическая регрессия ($C=1$)</li>
#             <li>Мультиномиальный наивный Байес ($\alpha=1$)</li> 
#         </ul>
#     </li>
#     <li>Определите качество классификации (по доле правильных классификаций) на тестовом подмножестве</li>
#     <li>Определите с помощью timeit время обучения и предсказания (на тестовом подмножестве) </li>
# </ol>

# In[ ]:


random_state = 123 # для всех объектов/методов/моделей


# In[ ]:


# Параметры логистической регрессии
penalty="l2", fit_intercept=True, max_iter=100, C=1, solver="lbfgs", random_state=12345


# In[ ]:


# Ваш код


# ## Задача 2.
# #### Применение k-folds (3 балла)

# <p>Повторите решение задачи 1, но с ипользованием k-folds (k=4) для разделения исходных данных, обучения и тестирования.</p>

# In[ ]:


random_state = 123 # для всех объектов/методов/моделей


# In[ ]:


# Ваш код


# ## Задача 3.
# #### Выбор модели (5 баллов)

# <p style="padding-left:15px;">1. Используя данные из задачи 1, разбейте обучающее подмножество (train) с использованием k-folds (k=4) <br>
# 2. Обучите и протестируйте на разбитом обучающем подмножестве классификаторы со следующими параметрами: </p>

# <p>K-ближайших соседей</p>

# In[ ]:


ns = np.arange(1, 150, 20) # количество соседей


# <p>Логистическая регрессия</p>

# In[ ]:


cs = np.logspace(-2, 10, 8, base=10) # параметр регуляризации


# <p>Мультиномиальный наивный Байес</p>

# In[ ]:


alphas = np.logspace(-4, 1, 8, base=10) # сглаживающий параметр


# <p style="padding-left:15px;">3. Постройте графики (параметры модели)-(доля правильных классификаций) при обучении и валидации <br>
# 4. Выберите лучшую модель для каждого метода, используя значение качества классификации (использовать долю правильных классификаций)<br>
# 5. Выбранные модели обучите на обучающем подмножестве (train) и протестируйте на тестовом (test). Определите время обучения и предсказания (см. задачу 1 п. 6)<br>
# 6. Повторите шаги 2-4 для n-gram=2<br>
# 7. Выведите итоговые данные по всем методам для лучших моделей (метод, n-gram, значение параметра модели, время обучения, время предсказания, доля правильных классификаций)<br>
# 8. Сделайте выводы по полученным результатам (преимущества и недостатки методов)
# </p>

# In[ ]:


random_state = 123 # для всех объектов/методов/моделей


# In[ ]:


# Ваш код


# ## Задача 4. (опционально)
# #### Исследование влияния количества признаков FeatureHasher на качество классификации (5 баллов к сумме по всем ДЗ) 

# <p>Как будет меняться качество классификации для обозначенных ранее методов при использовании FeatureHasher (или HashingVectorizer) из пакета sklearn перед TF-IDF преобразованием, если</p>

# In[ ]:


n_features = np.logspace(1, 5, 5, base=10) # количество признаков
non_negative=True


# <p>Можно воспользоваться GridSearchCV</p>

# In[ ]: