Pandas¶
Тьюториалы:
- http://byumcl.bitbucket.org/bootcamp2013/labs/pandas.html
- http://pandas.pydata.org/pandas-docs/stable/10min.html
- https://www.kaggle.com/c/titanic/details/getting-started-with-python-ii
Примеры:
Если нужно что-то более специальное -- смотрите в документации
Рассмотрим сэмпл из данных по авиарейсам в США за январь-апрель 2008 года.
Полный датасет можно найти здесь: http://stat-computing.org/dataexpo/2009/2008.csv.bz2
Описание: http://stat-computing.org/dataexpo/2009/the-data.html
In [9]:
import pandas as pd
In [10]:
data = pd.read_csv('flights.csv')
data.head()
Out[10]:
In [3]:
data.columns
Out[3]:
In [4]:
data.shape
Out[4]:
In [14]:
data['Distance'].head()
Out[14]:
In [15]:
data['CancellationCode'].unique()
Out[15]:
In [19]:
data[['DepDelay', 'ArrDelay']][:10]
Out[19]:
Слайсы по столбцам и строкам:
In [26]:
data.iloc[:10, 1:4]
Out[26]:
Группировка данных¶
In [31]:
data.groupby('UniqueCarrier')
Out[31]:
In [36]:
data.groupby('Cancelled')['Origin'].describe()
Out[36]:
In [43]:
data.groupby('Cancelled')['CancellationCode'].value_counts()
Out[43]:
Объединение данных¶
In [45]:
carrier = data[data['CancellationCode'] == 'A']
weather = data[data['CancellationCode'] == 'B']
In [46]:
pd.concat([carrier, weather]).head()
Out[46]:
In [47]:
pd.concat([carrier[:3], weather]).head()
Out[47]:
Пропуски в данных¶
In [62]:
data['CarrierDelay'][:10]
Out[62]:
In [53]:
data['CarrierDelay'].describe()
Out[53]:
In [54]:
data['CarrierDelay'].isnull()[:10]
Out[54]:
In [63]:
data[data['CarrierDelay'].isnull()][:10]
Out[63]:
Избавляемся от пропусков:
In [65]:
new_data = data.dropna(subset=['CarrierDelay'])
new_data.shape
Out[65]:
In [66]:
new_data = data.dropna()
new_data.shape
Out[66]:
In [67]:
new_data.to_csv('has_carrier_delay.csv')
Matplotlib¶
Тьюториалы:
- http://matplotlib.org/users/pyplot_tutorial.html
- http://nbviewer.jupyter.org/github/jrjohansson/scientific-python-lectures/blob/master/Lecture-4-Matplotlib.ipynb
- http://matplotlib.org/users/beginner.html
Примеры (просто делайте ctrl+f тип нужного графика):
Документация:
Matplotlib + Pandas:
In [13]:
%pylab inline
import matplotlib.pyplot as plt
In [69]:
x = linspace(1, 10, 20)
y = np.log(x)
In [70]:
plot(x, y)
Out[70]:
In [71]:
scatter(x, y)
Out[71]:
In [72]:
plot(x, y, 'bo-')
Out[72]:
In [82]:
data['AirTime'].hist()
Out[82]:
In [81]:
data['AirTime'].hist(bins=30)
Out[81]:
С группировкой:
In [15]:
cmp_data = pd.concat([data[data['Origin'] == 'ATL'],
data[data['Origin'] == 'ORD']])
cmp_data['AirTime'].hist(by=cmp_data['Origin'], bins=30)
Out[15]:
In [16]:
cmp_data['AirTime'].hist(by=cmp_data['Origin'],
bins=30, sharey=True, sharex=True)
Out[16]:
Как сделать то же самое в Matplotlib?
In [23]:
bins = 30
fig, axis = plt.subplots(1, 2, sharey=True, sharex=True)
axis[0].hist(cmp_data[cmp_data['Origin'] == 'ATL']['AirTime'].dropna(),
bins=bins)
axis[0].set_xlabel('AirTime')
axis[0].set_ylabel('Scores')
axis[1].hist(cmp_data[cmp_data['Origin'] == 'ORD']['AirTime'].dropna(),
bins=bins)
axis[1].set_xlabel('AirTime')
Out[23]:
In [24]:
fig.clf()
In [17]:
bins = 30
index = np.arange(bins)
plt.hist(cmp_data[cmp_data['Origin'] == 'ATL']['AirTime'].dropna(),
bins=bins, alpha=0.6)
plt.hist(cmp_data[cmp_data['Origin'] == 'ORD']['AirTime'].dropna(),
bins=bins, alpha=0.6)
plt.xlabel('AirTime')
plt.ylabel('Scores')
plt.title('Comparison of ATL and ORD airports')
plt.legend(['ATL', 'ORD'])
plt.show()
In [130]:
bins = 30
index = np.arange(bins)
plt.hist(cmp_data[cmp_data['Origin'] == 'ATL']['AirTime'].dropna(),
bins=bins, alpha=0.6, normed=True)
plt.hist(cmp_data[cmp_data['Origin'] == 'ORD']['AirTime'].dropna(),
bins=bins, alpha=0.6, normed=True)
plt.xlabel('AirTime')
plt.ylabel('Scores')
plt.title('Comparison of ATL and ORD airports')
plt.legend(['ATL', 'ORD'])
plt.show()
In [143]:
plt.scatter(data['DepDelay'], data['ArrDelay'])
plt.xlabel('DepDelay')
plt.ylabel('ArrDelay')
Out[143]:
In [183]:
from sklearn.decomposition import PCA
pca = PCA(n_components = 2)
data_new = pca.fit_transform(data[['DepDelay', 'ArrDelay']].dropna())
print 'Component 1 explains %.2f of total variance'%pca.explained_variance_ratio_[0]
print 'Component 2 explains %.2f of total variance'%pca.explained_variance_ratio_[1]
plt.scatter(data['DepDelay'], data['ArrDelay'])
tg = pca.components_[0,1]/pca.components_[0,0]
plt.plot([data['DepDelay'].min(), data['DepDelay'].max()],
[data['DepDelay'].min() * tg, data['DepDelay'].max() * tg], color='green')
plt.plot([data['DepDelay'].min(), data['DepDelay'].max()],
[data['ArrDelay'].min(), data['ArrDelay'].max()], color = 'red')
plt.legend(['Regression that accounts variance', 'Obvious regression'], loc=4)
Out[183]:
Задания¶
По векторным операциям:
- Найдите несколькими способами диагональ матричного произведения
- Вставьте между каждым числом в заданном векторе четыре нуля
- Найдите ближайшее значение в массиве к заданному
- Найдите ближайшую строчку в массиве к заданной
По датасету flights:
- Найдите рейс (FlightNum) с максимальной длиной перелетов. Уникален ли такой рейс?
- Найдите для каждого аэропорта среднее время полета (AirTime) по всем вылетевшим из него рейсам. Какой аэропорт имеет наибольшее значение этого показателя?
- Найдите аэропорт, у которого наибольшая доля задержанных (DepDelay > 0) рейсов. Исключите при этом из рассмотрения аэропорты, из которых было отправлено меньше 1000 рейсов (используйте функцию filter после groupby).