# 주 데이터 - 실전 데이터 DB 
df_db = pd.read_csv('data/실전db.csv')
df_db.head(5)

df_db.describe()

# 실전 데이터 DB 데이터 타입 확인 
df_db.info()

# 실전DB 사이즈 확인
df_db.shape

# 외부 데이터 1 - 2020년 교통량 데이터
trafic = pd.read_excel('data/2020교통량통합.xlsx')
trafic.head(5)

# 교통량 통합 데이터 타입 확인 
trafic.info()

# 교통량 통합 데이터 타입 확인 
trafic.shape

# 외부 데이터 2 - 서울 기상 데이터 
weather = pd.read_csv('data/서울시_기상데이터.csv', encoding = 'cp949')
weather.head(5)

# 서울시 기상 데이터 타입
weather.info()

# 서울시 기상 데이터 사이즈 
weather.shape

# 결측치 그래프 나타내기
msno.bar(df_db, fontsize=12, figsize=(13,8));

# 결측치 확인하기
for i in df_db.columns:
    ab = df_db[i].isnull().sum()
    if ab < 100000:
        print(i + "has {} null values.".format(ab))
        print()

# 전처리한 데이터 확인 
df_db.head(5)

# 데이터 타입 확인 
df_db.info()

# 각 column당 row 값 현황 정리 - unique
for col in df_db.columns:
    print(f"column : {col}")
    print(f"The number of unique : {df_db[col].nunique()}")  # nunique: 유니크한 value의 갯수를 나타내는 함수
    print()

df_db['JOIN_YEAR'].unique()

# 가입 발생한 년도별 건수 분포 
year_1970_count = len(df_db[df_db['JOIN_YEAR']==1970])
year_2013_count = len(df_db[df_db['JOIN_YEAR']==2013])
year_2014_count = len(df_db[df_db['JOIN_YEAR']==2014])
year_2015_count = len(df_db[df_db['JOIN_YEAR']==2015])
year_2016_count = len(df_db[df_db['JOIN_YEAR']==2016])
year_2017_count = len(df_db[df_db['JOIN_YEAR']==2017])
year_2018_count = len(df_db[df_db['JOIN_YEAR']==2018])
year_2019_count = len(df_db[df_db['JOIN_YEAR']==2019])
year_2020_count = len(df_db[df_db['JOIN_YEAR']==2020])

print('1970년 기준 건수:', year_1970_count, '건')
print('2013년 기준 건수:', year_2013_count, '건')
print('2014년 기준 건수:', year_2014_count, '건')
print('2015년 기준 건수:', year_2015_count, '건')
print('2016년 기준 건수:', year_2016_count, '건')
print('2017년 기준 건수:', year_2017_count, '건')
print('2018년 기준 건수:', year_2018_count, '건')
print('2019년 기준 건수:', year_2019_count, '건')

# 가입년도 1970년도만 추출 
df_db[df_db['JOIN_YEAR']==1970].head(5)

# 그래프로 나타내보기
df_year = pd.DataFrame({'year': [1970, 2013, 2014, 2015, 2016, 2017, 2018, 2019, 2020],
                       'case': [1093, 37, 2957, 14946, 32701, 79938, 140523, 257603, 349473],
                       })

plt.figure(figsize=[13,8])
sns.pointplot(data=df_year, x='year', y="case", color=sns.color_palette()[6])
plt.title("가입이 발생한 년도 추이", fontsize=20, pad=20)
plt.xlabel('년도')
plt.ylabel('건수')
plt.show()

# 2014년도 월별 가입 분포 - 참고로 2013년도는 12월 데이터만 있어 데이터는 제외 
join_2014_month = pd.DataFrame(join_2014['JOIN_MONTH'].value_counts().sort_index())

plt.figure(figsize=(13, 8))
plt.title("2014년 월별 가입  분포도", fontsize=20, pad=20)
sns.barplot(data=join_2014_month, x=join_2014_month.index, y="JOIN_MONTH")
plt.show()

# 2015년도 월별 가입 분포 
join_2015_month = pd.DataFrame(join_2015['JOIN_MONTH'].value_counts().sort_index())

plt.figure(figsize=(13, 8))
plt.title("2015년 월별 가입 분포도", fontsize=20, pad=20)
sns.barplot(data=join_2015_month, x=join_2015_month.index, y="JOIN_MONTH")
plt.show()

# 2016년도 월별 가입 분포 
join_2016_month = pd.DataFrame(join_2016['JOIN_MONTH'].value_counts().sort_index())

plt.figure(figsize=(13, 8))
plt.title("2016년 월별 가입 분포도", fontsize=20, pad=20)
sns.barplot(data=join_2016_month, x=join_2016_month.index, y="JOIN_MONTH")
plt.show()

# 2017년도 월별 가입 분포 
join_2017_month = pd.DataFrame(join_2017['JOIN_MONTH'].value_counts().sort_index())

plt.figure(figsize=(13, 8))
plt.title("2017년 월별 가입 분포도", fontsize=20, pad=20)
sns.barplot(data=join_2017_month, x=join_2017_month.index, y="JOIN_MONTH")
plt.show()

# 2018년도 월별 가입 분포 
join_2018_month = pd.DataFrame(join_2018['JOIN_MONTH'].value_counts().sort_index())

plt.figure(figsize=(13, 8))
plt.title("2018년 월별 가입 분포도", fontsize=20, pad=20)
sns.barplot(data=join_2018_month, x=join_2018_month.index, y="JOIN_MONTH")
plt.show()

# 2019년도 월별 가입 분포 
join_2019_month = pd.DataFrame(join_2019['JOIN_MONTH'].value_counts().sort_index())

plt.figure(figsize=(13, 8))
plt.title("2019년 월별 가입 분포도", fontsize=20, pad=20)
sns.barplot(data=join_2019_month, x=join_2019_month.index, y="JOIN_MONTH")
plt.show()

# 2020년도 월별 가입 분포 
join_2020_month = pd.DataFrame(join_2020['JOIN_MONTH'].value_counts().sort_index())

plt.figure(figsize=(13, 8))
plt.title("2020년 월별 가입 분포도", fontsize=20, pad=20)
sns.barplot(data=join_2020_month, x=join_2020_month.index, y="JOIN_MONTH")
plt.show()

# 전체 그래프
plt.figure(figsize=(20,10))
plt.title("전체 월별 가입 분포도", fontsize=20, pad=20)
sns.countplot(data=df_db, x="JOIN_MONTH", order=[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12],
              hue="JOIN_YEAR", hue_order=[2013, 2014, 2015, 2016, 2017, 2018, 2019, 2020])
plt.show()

user_id = pd.DataFrame(df_db['USER_ID'].value_counts())
user_id.head(20)

print("고유 User ID는", len(user_id),"건 입니다.")

# User ID Top 10개 그리기
labels = list(user_id['USER_ID'][:10].keys())## 라벨
frequency = list(user_id['USER_ID'][:10].values) ## 빈도
    
plt.figure(figsize=(13,9)) # 차트 사이즈 
explode = (0.05, 0.05, 0, 0, 0, 0, 0, 0, 0, 0)  # 튀어나오는 정도 결정 
colors = ['orangered','midnightblue','sandybrown', 'gold', 'gray', 'orangered','midnightblue',
          'sandybrown', 'gold', 'gray']  
plt.title("User ID 분포도", fontsize=20)  # 차트 타이틀
patches, texts, autotexts = plt.pie(frequency, # 차트에 적용될 값
        explode=explode, # 특정 값 튀어나오게 강조
        labels=labels,    # 라벨 출력
        colors=colors,    # 색상 설정 
        autopct=lambda p : '{:.2f}%'.format(p) ,  # 퍼센테이지 출력
        shadow=True,     # 차트 그림자 부
        startangle=90,    # 시작점을 90도로 지정
        wedgeprops=dict(width=0.6) # 중간의 반지름 0.5 만큼 구멍을 냄
       )

## label만 변경해주기 
for t in texts:
    t.set_color("dimgrey")
    t.set_fontsize(20)
## pie 위의 텍스트를 다른 색으로 변경해주기 
for t in autotexts:
    t.set_color("white")
    t.set_fontsize(15)
plt.tight_layout()
plt.show()

# 매일 사용내역이 여러건 조회됨
df_db[df_db['USER_ID'] == 999665]

# D_TYPE별 count 개수 
count_by_types = pd.DataFrame(df_db['D_TYPE'].value_counts())

count_by_types.plot(kind = 'bar', figsize= (13, 8), rot = 0)
plt.title("D_TYPE별 Count 갯수",  fontsize = 20, pad=20)
order2 = df_db['D_TYPE'].value_counts()

for i in range(order2.shape[0]):
    count = order2[i]
    strt = count
    plt.text(i, count+700, strt, ha = "center", fontsize=15)

d_type = pd.DataFrame(df_db['D_TYPE'].value_counts())

labels = list(d_type['D_TYPE'][:].keys())## 라벨
frequency = list(d_type['D_TYPE'][:].values) ## 빈도
    
plt.figure(figsize=(13,9)) # 차트 사이즈 
explode = (0.05, 0, 0)  # 튀어나오는 정도 결정 
colors = ['orangered','midnightblue','sandybrown']  
plt.title("D_TYPE 분포도", fontsize=20)  # 차트 타이틀
patches, texts, autotexts = plt.pie(frequency, # 차트에 적용될 값
        explode=explode, # 특정 값 튀어나오게 강조
        labels=labels,    # 라벨 출력
        colors=colors,    # 색상 설정 
        autopct=lambda p : '{:.2f}%'.format(p) ,  # 퍼센테이지 출력
        shadow=True,     # 차트 그림자 부
        startangle=90,    # 시작점을 90도로 지정
        wedgeprops=dict(width=0.6) # 중간의 반지름 0.5 만큼 구멍을 냄
       )

## label만 변경해주기 
for t in texts:
    t.set_color("dimgrey")
    t.set_fontsize(20)
## pie 위의 텍스트를 다른 색으로 변경해주기 
for t in autotexts:
    t.set_color("white")
    t.set_fontsize(15)
plt.tight_layout()
plt.show()

store_id = pd.DataFrame(df_db['STORE_ID'].value_counts())
store_id.head(20)

print("고유 Store ID는", len(store_id),"건 입니다.")

# Store ID Top 10개 그리기
labels = list(store_id['STORE_ID'][:10].keys())## 라벨
frequency = list(store_id['STORE_ID'][:10].values) ## 빈도
    
plt.figure(figsize=(13,9)) # 차트 사이즈 
explode = (0.05, 0.05, 0, 0, 0, 0, 0, 0, 0, 0)  # 튀어나오는 정도 결정 
colors = ['orangered','midnightblue','sandybrown', 'gold', 'gray', 'orangered','midnightblue',
          'sandybrown', 'gold', 'gray']  
plt.title("Store ID 분포도", fontsize=20)  # 차트 타이틀
patches, texts, autotexts = plt.pie(frequency, # 차트에 적용될 값
        explode=explode, # 특정 값 튀어나오게 강조
        labels=labels,    # 라벨 출력
        colors=colors,    # 색상 설정 
        autopct=lambda p : '{:.2f}%'.format(p) ,  # 퍼센테이지 출력
        shadow=True,     # 차트 그림자 부
        startangle=90,    # 시작점을 90도로 지정
        wedgeprops=dict(width=0.6) # 중간의 반지름 0.5 만큼 구멍을 냄
       )

## label만 변경해주기 
for t in texts:
    t.set_color("dimgrey")
    t.set_fontsize(20)
## pie 위의 텍스트를 다른 색으로 변경해주기 
for t in autotexts:
    t.set_color("white")
    t.set_fontsize(15)
plt.tight_layout()
plt.show()

good_type = pd.DataFrame(df_db['GOODS_TYPE'].value_counts())

labels = list(good_type['GOODS_TYPE'][:].keys())## 라벨
frequency = list(good_type['GOODS_TYPE'][:].values) ## 빈도
    
plt.figure(figsize=(13,9)) # 차트 사이즈 
explode = (0.05, 0, 0, 0)  # 튀어나오는 정도 결정 
colors = ['orangered','midnightblue','sandybrown', 'gray']  
plt.title("상품 타입 분포도", fontsize=20)  # 차트 타이틀
patches, texts, autotexts = plt.pie(frequency, # 차트에 적용될 값
        explode=explode, # 특정 값 튀어나오게 강조
        labels=labels,    # 라벨 출력
        colors=colors,    # 색상 설정 
        autopct=lambda p : '{:.2f}%'.format(p) ,  # 퍼센테이지 출력
        shadow=True,     # 차트 그림자 부
        startangle=90,    # 시작점을 90도로 지정
        wedgeprops=dict(width=0.6) # 중간의 반지름 0.5 만큼 구멍을 냄
       )

## label만 변경해주기 
for t in texts:
    t.set_color("dimgrey")
    t.set_fontsize(20)
## pie 위의 텍스트를 다른 색으로 변경해주기 
for t in autotexts:
    t.set_color("white")
    t.set_fontsize(15)
plt.tight_layout()
plt.show()

pay_month = pd.DataFrame(df_db['PAY_MONTH'].value_counts().sort_index())

plt.figure(figsize=(13, 8))
plt.title("2020년도 결제한 달 분포도", fontsize=20, pad=20)
sns.barplot(data=pay_month, x=pay_month.index, y="PAY_MONTH")
plt.show()

# 요일별 data 건수 
week = pd.DataFrame(df_db['WEEKDAY'].value_counts())
plt.figure(figsize=(13, 8))
plt.title("요일별 건수 분포도", fontsize=20, pad=20)
sns.barplot(x = week.index, y = week['WEEKDAY'], order=["Mon", "Tue", "Wed", "Thu", "Fri", "Sat", "Sun"])
plt.show()

count = pd.DataFrame(df_db['COUNT'].value_counts().sort_index())
count.head()

# 결제건수 분포도 
plt.figure(figsize=(13, 8))
plt.title("결제건수 분포도", fontsize=20, pad=20)
plt.xticks(rotation = 90)
sns.barplot(x = count.index, y = count['COUNT']);

ad = pd.DataFrame(df_db['AD1'].value_counts())
ad.index.unique

# 전체 지역 분포도 
plt.figure(figsize=(13, 8))
plt.title("지역 분포도", fontsize=20, pad=20)
plt.xticks(rotation = 90)
sns.barplot(x = ad.index, y = ad['AD1']);

# 주소 분포가 가장 많은 10곳 
labels = list(ad['AD1'][:10].keys())## 라벨
frequency = list(ad['AD1'][:10].values) ## 빈도
    
plt.figure(figsize=(13,9)) # 차트 사이즈 
explode = (0.05, 0, 0, 0, 0, 0, 0, 0, 0, 0)  # 튀어나오는 정도 결정 
colors = ['orangered','midnightblue','sandybrown', 'gold', 'gray', 'orangered','midnightblue',
          'sandybrown', 'gold', 'gray']  
plt.title("주소 분포가 가장 많은 10곳", fontsize=20)  # 차트 타이틀
patches, texts, autotexts = plt.pie(frequency, # 차트에 적용될 값
        explode=explode, # 특정 값 튀어나오게 강조
        labels=labels,    # 라벨 출력
        colors=colors,    # 색상 설정 
        autopct=lambda p : '{:.2f}%'.format(p) ,  # 퍼센테이지 출력
        shadow=True,     # 차트 그림자 부
        startangle=90,    # 시작점을 90도로 지정
        wedgeprops=dict(width=0.6) # 중간의 반지름 0.5 만큼 구멍을 냄
       )

## label만 변경해주기 
for t in texts:
    t.set_color("dimgrey")
    t.set_fontsize(20)
## pie 위의 텍스트를 다른 색으로 변경해주기 
for t in autotexts:
    t.set_color("white")
    t.set_fontsize(15)
plt.tight_layout()
plt.show()