🤍

사용 데이터셋 

https://www.data.go.kr/dataset/3035522/fileData.do

현재 이 데이터셋은 폐기 되었다고 나온다. 

위 공공데이터를 사용하여 인프런강의 (공공데이터로 파이썬 데이터 분석) (https://bit.ly/3sISk6Z) 의 방법으로 전처리한 데이터로 시각화 정리 진행한다. 

cf1) figure, axes 생성

fig=plt.figure(figsize=(10,3), dpi=100)
ax1=fig.subplots()

cf2) 모든 x tick 표현하기 

_=plt.xticks(ticks=np.arange(len(df)), labels=df.index)

cf3) x축 소수점 제거

from matplotlib.ticker import MaxNLocator
ax1.xaxis.set_major_locator(MaxNLocator(integer=True))

(cf4) 그래프의 밖에 Legend 표시하도록 설정

plt.legend(bbox_to_anchor=(1.05, 1), loc=2, borderaxespad=0.)

 lineplot 

1. pandas plot

(1) pandas plot의 기본 plot - lineplot 

- df의 index 또는 column 값을 기준으로 그려짐 

df.plot(figsize=(10,3))

cf) 모든 x tick 표현하기 

_=plt.xticks(ticks=np.arange(len(g)), labels=g.index)

- df 의 column이 여러 개 존재할 때  (df의 column이 seaborn의 hue역할)

2. seaborn plot 

sns.lineplot(data=df, x="연도", y="평당분양가격", hue="지역명", ci=None, ax=ax1)
ax1.legend(bbox_to_anchor=(1.02, 1), loc=2)

 pointplot 

sns.pointplot(data=df, x="연도", y="평당분양가격", hue="지역명", ci=None, ax=ax2)
ax2.legend(bbox_to_anchor=(1.02, 1), loc=2)

 barplot 

1. pandas plot 

(1) df.plot(kind='bar')

- df의 index 또는 columm 값을 기준으로 그려짐

df.plot.bar(rot=0, figsize=(10, 3))
# or
df.plot(kind='bar',rot=0, ax=ax1)

(2) df.plot.bar()

df.plot.bar(color='g',rot=0, figsize=(10,3)) # cmap='Pastel1' 또한 가능

- column 여러개일 때 ( df의 column이 seaborn의 hue와 같은 역할)

ax=df2.plot.bar(figsize=(10,3), rot=0)
ax.set_ylabel('평당분양가격')

2. seaborn plot 

sns.barplot(data=df, x="지역명", y="평당분양가격")
# estimator default: mean
# color changable
# palette (https://seaborn.pydata.org/tutorial/color_palettes.html)
# ci: bootstrap resampling (with replacement), sorted means

palette 색 모음 링크

- hue 지정 

sns.barplot(data=df, x="지역명", y="평당분양가격", hue='연도', ci=None)

 histplot 

1. pandas plot

(1) df.plot(kind='hist') or df.plot.hist()

df.plot(kind='hist', figsize=(10, 3), title='평당분양가격')
# or
ax=df.plot(kind='hist', figsize=(10, 3))
ax.set_title('평당분양가격')

df["평당분양가격"].plot.hist(bins=50)

(2) df.hist(bins=)

df["평당분양가격"].hist(bins=50)

axs=df.hist(bins=50, figsize=(10,10))
ax1,ax2,ax3,ax4=axs.flatten()
ax2.set_title('ax별 제목 지정 가능')

2. seaborn plot 

sns.histplot(df["평당분양가격"], kde=True)

 kdeplot 

1. seaborn plot 

sns.kdeplot(data=df['평당분양가격'])

sns.kdeplot(data=df[['평당분양가격','분양가격']])

 boxplot 

1. pandas plot

(1) df.plot(kind='box')

df.plot(kind='box', figsize=(5, 5))

(2) df.plot.box()

- df 의 column이 x축 

df.plot.box(fontsize=15)

- 이중 column일 경우 

df.plot.box(figsize=(15, 3), rot=30)

(3) df.boxplot(column='', by='')

- by: x축 

df.boxplot(column='평당분양가격',by='연도', figsize=(5,3), rot=30)

- by가 리스트일 때 

df.boxplot(column='평당분양가격',by=['연도','전용면적'], figsize=(20,3), rot=30)

2. seaborn plot 

sns.boxplot(data=df, x="연도", y="평당분양가격")

- hue 지정

plt.figure(figsize=(12, 3))
sns.boxplot(data=df_last, x="연도", y="평당분양가격", hue="전용면적")

 violinplot 

1. seaborn plot 

sns.violinplot(data=df, x="연도", y="평당분양가격")

- hue 지정

plt.figure(figsize=(12, 3))
sns.violinplot(data=df, x="연도", y="평당분양가격", hue="전용면적")

 heatmap 

1. seaborn plot 

plt.figure(figsize=(15, 7), dpi=100)
ax=sns.heatmap(df, cmap="Blues", annot=True, fmt=".0f")

2. matplotlib pcolor  

fig=plt.figure(figsize=(15,5), dpi=100)
ax=fig.subplots()

t2=t.iloc[::-1]
t2
hm1=ax.pcolor(t2, cmap="Blues")
_=fig.colorbar(hm1, ax=ax)

col_len=len(t2.columns)
row_len=len(t2.index)
for r in range(row_len):
    for c in range(col_len):
        _=ax.text(c+0.5, r+0.5, int(t2.iloc[r, c]),ha="center", va="center", color="k", fontsize=11)

_=ax.set_xticks(np.arange(col_len)+0.5)
_=ax.set_xticklabels(t2.columns)

_=ax.set_yticks(np.arange(row_len)+0.5)
_=ax.set_yticklabels(t2.index)

러닝스푼즈 수업 정리 

< 이전 글 > 

https://silvercoding.tistory.com/60?category=965020 

이번 포스팅에서는 이전 글에서 생성한 파일과 folium 라이브러리를 이용하여 서울시 따릉이 지도를 생성한다. 

<folium 라이브러리 관련 포스팅> 

https://silvercoding.tistory.com/53?category=965020 

데이터셋 불러오기 

import pandas as pd

data = pd.read_excel('./data/bicycle.xlsx')

data.head()

서울시 따릉이 지도 시각화 

import folium

- 지도 생성 

m = folium.Map(location = ['37.5536067','126.9674308'], zoom_start = 13)   # 서울역 중심
m

서울역의 위도, 경도를 이용하여 지도를 생성한다. zoom_start 인자를 이용하여 확대 정도를 설정할 수 있다. 

- 지도에 표시할 데이터 확인 

for i in range(len(data)):
    name = data.loc[i, 'stationName']
    available = data.loc[i, 'parkingBikeTotCnt']
    total = data.loc[i, 'rackTotCnt']
    lat = data.loc[i, 'stationLatitude']
    long = data.loc[i, 'stationLongitude']
    print(name, available, total, lat, long)

지도생성에 필요한 컬럼의 데이터만 추출하여 출력한 것이다.  이를 이용하여 다음과 같이 마커를 추가하여 지도를 생성한다. 

# 지도 생성하기
m = folium.Map(location = ['37.5536067','126.9674308'], zoom_start = 13)

# 마커 추가하기
for i in range(len(data)):
    lat = data.loc[i, 'stationLatitude']
    long = data.loc[i, 'stationLongitude']
    name = data.loc[i, 'stationName']
    available = int(data.loc[i, 'parkingBikeTotCnt'])
    total = int(data.loc[i, 'rackTotCnt'])
    
    # 자전거 수량에 대해 색상으로 표시
    ##  자전거 보유율이 50% 초과일 경우 --> 파란색
    ##  현재 자전거가 2대 보다 적을 경우 --> 빨간색
    ##  그 외의 경우(자전거 2대 이상 이면서, 자전거 보유율 50% 미만) --> 초록색
    if available/total > 0.5:
        color = 'blue'
    elif available < 2 :
        color = 'red'
    else:
        color = 'green'
    icon=folium.Icon(color=color, icon='info-sign')
    folium.Marker(location = [lat, long],
                 tooltip = f"{name} : {available}", 
                  icon = icon
             ).add_to(m)
m

현재 자전거 이용 현황을 더 직관적으로 보기 위해 색깔 설정을 해준다. 파란색은 대여 가능 자전거 50% 이상, 빨간색은 2개 미만일 때, 초록색은 그 이외의 중간 상태를 나타낸다. 또한, tooltip을 사용하여 마우스를 갖다대면 자전거 대여소 이름과 이용가능한 자전거 수를 보여준다. 

문제점 : 데이터가 너무 많아 지도를 보는 데 어려움이 있다. 

해결방안 : 클러스터를 사용하여 근접한 마커들끼리 서로 묶어준다. 

클러스터 & 미니맵 추가하여 지도 시각화 

from folium.plugins import MiniMap, MarkerCluster

# 지도 생성하기
m_ver2 = folium.Map(location = ['37.5536067','126.9674308'], zoom_start = 13)

# 미니맵 추가하기
minimap = MiniMap() 
m_ver2.add_child(minimap)

# 마커 클러스터 만들기
marker_cluster_ver2 = MarkerCluster().add_to(m_ver2)  # 클러스터 추가하기

# 마커 추가하기
for i in range(len(data)):
    lat = data.loc[i, 'stationLatitude']
    long = data.loc[i, 'stationLongitude']
    name = data.loc[i, 'stationName']
    available = int(data.loc[i, 'parkingBikeTotCnt'])
    total = int(data.loc[i, 'rackTotCnt'])
    
    # 자전거 수량에 대해 색상으로 표시
    ##  자전거 보유율이 50% 초과일 경우 --> 파란색
    ##  현재 자전거가 2대 보다 적을 경우 --> 빨간색
    ##  그 외의 경우(자전거 2대 이상 이면서, 자전거 보유율 50% 미만) --> 초록색
    if available/total > 0.5:
        color = 'blue'
    elif available < 2 :
        color = 'red'
    else:
        color = 'green'
    icon=folium.Icon(color=color, icon='info-sign')
#     print(name, available, total, lat, long)
    folium.Marker(location = [lat, long],
                 tooltip = f"{name} : {available}", 
                  icon = icon
             ).add_to(marker_cluster_ver2)
m_ver2

클러스터와 미니맵을 추가한 지도이다. 숫자를 클릭하면 해당 지역으로 확대되어 더 편리하고 직관적인 지도를 볼 수 있다. 

m_ver2.save('./map/bicycle_clustermap.html')

지도는 html로 저장하여 언제든 꺼내볼 수 있다. 

러닝스푼즈 수업 정리 

< 이전 글 > 

https://silvercoding.tistory.com/59

 API 신청하기 

1. 회원가입, 로그인 하기 

http://data.seoul.go.kr

2. 원하는 데이터의 인증키 신청 클릭 

본 포스팅에서는 서울 열린데이터 광장의 공공자전거 실시간 대여정보 API 를 사용한다.

다음의 링크에서 API를 신청할 수 있다. 

http://data.seoul.go.kr/dataList/OA-15493/A/1/datasetView.do

인증키 신청을 클릭한다. 

3. 가입 신청서 작성 

활용할 목적에 맞게 신청서를 작성해 준다. 현재 데이터분석 학습에 사용할 것이기 때문에 사용 url이 없다. 이 처럼 사용url이 없을 경우에는 localhost를 작성해준다. 

4. 상단 [나의화면 - 인증키 관리] 

나의화면 - 인증키 관리에 들어간다. 

5. 인증키 복사 

인증키 복사를 한다. 이제 API신청이 완료되었고, 데이터를 불러와보자. 

 데이터셋 불러오기 

1. 라이브러리 import

import requests  # API를 이용해 자료를 받아오기 위해
import pandas as pd   # 자료 저장, 다루기 위해

2. 서울특별시 공공자전거 실시간 대여정보 데이터 살펴보기 

- 호출

한번에 최대 1000건을 호출할 수 없으므로 2번에 걸쳐 호출한 후, 데이터를 합치는 작업을 해야한다. 

- 예시

위의 샘플 URL을 사용하여 API를 호출할 수 있다. (인증키) 부터 값의 의미는 다음과 같다. 

인증키, 요청파일 타입, 서비스명, 요청시작위치, 요청종료위치를 의미한다. 요청시작위치와 요청종료위치를 조절하여 데이터를 호출하면 된다. 

- 출력값 

데이터프레임의 컬럼이 될 변수들이다. 거치대개수, 대여소이름, 자전거주차총건수, 거치율, 위도, 경도, 대여소ID 로 총 7개로 구성되어 있다. 

3. 데이터 불러오기 

- 인증키 입력 

apikey = ' '  # 받은 key 값 입력

본인의 api 값을 넣어준다. 

- API 요청하기 

startnum = 1
endnum = 1000
url1 = f'http://openapi.seoul.go.kr:8088/{apikey}/json/bikeList/{startnum}/{endnum}/'

requests.get(url1)
# requests.get(url1).text
# requests.get(url1).content

requests.get() 을 사용하면 응답이 온다. 이 외에도 text, content로 안의 내용을 실행해볼 수도 있다. 

- 자료 요청 

json1 = requests.get(url1).json()

json1

이렇게 json 형태로 된 데이터가 1000개 나오게 된다. 

- 필요한 정보(키) 선택 

json1['rentBikeStatus'].keys()

현재 데이터 분석을 위해 필요한 정보는 rentBikeStatus 안에 있는 row 키의 데이터이지만,  모든 키를 꺼내본다.

json1['rentBikeStatus']['list_total_count']  # 데이터의 개수

json1['rentBikeStatus']['RESULT']  # 오류 여부

json1['rentBikeStatus']['row']  # 자전거 정류장별 자전거 현황

- 데이터프레임으로 변경

raw1 = pd.DataFrame(json1['rentBikeStatus']['row'])
raw1.head()

- 1000 ~ 2000 & 2000 ~ 3000 데이터 가져오고 합병하기 

startnum = 1001
endnum = 2000
url2 = f'http://openapi.seoul.go.kr:8088/{apikey}/json/bikeList/{startnum}/{endnum}/'
json2 = requests.get(url2).json()

raw2 = pd.DataFrame(json2['rentBikeStatus']['row'])
raw2.tail()

data_mid = raw1.append(raw2)
data_mid

데이터가 2000개를 더 넘어가는 것 같으니 2000 ~ 3000 데이터도 호출한 후 추가해준다. 

startnum = 2001
endnum = 3000
url3 = f'http://openapi.seoul.go.kr:8088/{apikey}/json/bikeList/{startnum}/{endnum}/'
json3 = requests.get(url3).json()

raw3 = pd.DataFrame(json3['rentBikeStatus']['row'])
raw3.tail()

data = data_mid.append(raw3)
data

모든 데이터를 추가하였다. 총 2540개의 데이터를 가지고 있다. 그런데 인덱스가 조금 이상해서 인덱스를 초기화 해준 후, 데이터를 엑셀 파일로 저장해준다. 

- 최종 데이터 

data.reset_index(drop=True)

data.info()

총 2450개의 row가 존재하고, null 값이 없는 것을 볼 수 있다. 

- 엑셀파일로 저장 

data.to_excel('./data/bicycle.xlsx', index = False)

엑셀파일로 저장해준다. 다음시간에는 이러한 과정으로 불러온 자전거 데이터셋을 folium 라이브러리를 이용하여 서울시 따릉이 현황 지도를 생성해 볼 것이다. 

러닝스푼즈 수업 정리 

< 이전 글 > 

https://silvercoding.tistory.com/58

 데이터 불러오기 & 살펴보기 

import pandas as pd

raw = pd.read_excel('./data/subway_raw.xlsx')

2-1 포스팅에서 합병해 놓은 2019년 1월 - 6월 지하철 데이터를 불러온다. 

raw.info()

총 99342 개의 row가 존재하고 , null 값이 없는 것을 확인하였다. 

 어느 역에서 , 언제 지하철을 가장 많이 탈까 ? 

1. 승객이 가장 많이 타는 역

data_station = raw.pivot_table(index = '역명', values = '승차총승객수', aggfunc='sum')
data_station = data_station.sort_values(by = '승차총승객수', ascending = False)
data_station.head(10)  # 승차승객수가 가장 많은 역 상위 10개

역별로 승차총승객수를 내림차순 정렬한 피벗테이블이다. 상위 10개 역을 출력하였고 , 2019년 상반기 가장 많은 승객수가 있었던 역은 잠실역임을 알 수 있다. 

2. 시각화 : 노선 별 (1-9호선) 역별/요일별 승객수 비교해 보기

* 히트맵 

• sns.heatmap(data, annot = True, fmt = '.0f', cmap = "RdBu_r")
  • annot : True 일경우 값을 그래프에 표시
  • fmt : 값 표시 형태.
    • ex) 'f' : 실수로 표현(default 로 값이 있는 소수 자리까지 표시됨)
    • ex) '.0f' : 실수로 표현해달라 (소수 0번째 자리까지만 == 정수자리만 )
    • ex) '.1f' : 실수로 표현해달라 (소수 1번째 자리까지만)
    • ex) .1% 는 퍼센트(소수 첫번째 자리까지 표시)
  • cmap : 색상 차트. _r 으로 끝나는 차트는 색상 방향 반대로 되어있는 버전임(아래 컬러 리스트 참고)

* cmap 종류

Accent, Accent_r, Blues, Blues_r, BrBG, BrBG_r, BuGn, BuGn_r, BuPu, BuPu_r, CMRmap, CMRmap_r, Dark2, Dark2_r, GnBu, GnBu_r, Greens, Greens_r, Greys, Greys_r, OrRd, OrRd_r, Oranges, Oranges_r, PRGn, PRGn_r, Paired, Paired_r, Pastel1, Pastel1_r, Pastel2, Pastel2_r, PiYG, PiYG_r, PuBu, PuBuGn, PuBuGn_r, PuBu_r, PuOr, PuOr_r, PuRd, PuRd_r, Purples, Purples_r, RdBu, RdBu_r, RdGy, RdGy_r, RdPu, RdPu_r, RdYlBu, RdYlBu_r, RdYlGn, RdYlGn_r, Reds, Reds_r, Set1, Set1_r, Set2, Set2_r, Set3, Set3_r, Spectral, Spectral_r, Wistia, Wistia_r, YlGn, YlGnBu, YlGnBu_r, YlGn_r, YlOrBr, YlOrBr_r, YlOrRd, YlOrRd_r, afmhot, afmhot_r, autumn, autumn_r, binary, binary_r, bone, bone_r, brg, brg_r, bwr, bwr_r, cividis, cividis_r, cool, cool_r, coolwarm, coolwarm_r, copper, copper_r, cubehelix, cubehelix_r, flag, flag_r, gist_earth, gist_earth_r, gist_gray, gist_gray_r, gist_heat, gist_heat_r, gist_ncar, gist_ncar_r, gist_rainbow, gist_rainbow_r, gist_stern, gist_stern_r, gist_yarg, gist_yarg_r, gnuplot, gnuplot2, gnuplot2_r, gnuplot_r, gray, gray_r, hot, hot_r, hsv, hsv_r, icefire, icefire_r, inferno, inferno_r, jet, jet_r, magma, magma_r, mako, mako_r, nipy_spectral, nipy_spectral_r, ocean, ocean_r, pink, pink_r, plasma, plasma_r, prism, prism_r, rainbow, rainbow_r, rocket, rocket_r, seismic, seismic_r, spring, spring_r, summer, summer_r, tab10, tab10_r, tab20, tab20_r, tab20b, tab20b_r, tab20c, tab20c_r, terrain, terrain_r, twilight, twilight_r, twilight_shifted, twilight_shifted_r, viridis, viridis_r, vlag, vlag_r, winter, winter_r

- 1호선만 시각화 해보기 

line = '1호선'
data_line = raw[raw['노선명'] == line]

# 피벗테이블: 노선의 역 순서에 맞춰 정리하기 위해 역ID도 인덱스에 포함
df_pivot = data_line.pivot_table(index = ['역ID', '역명'], columns = '요일', values = '승차총승객수',aggfunc = 'sum') 
df_pivot = df_pivot[['월','화','수','목','금','토','일']]   # 컬럼 순서를 요일에 맞게 정리
df_pivot = df_pivot / 10000  # 만명단위로 표현하기 위해 데이터프레임 전체를 1만으로 나누기
df_pivot

역별 요일별 승차총객수를 집계한 피벗테이블이다. 요일이 뒤죽박죽 나오기 때문에 다시 선택하여 순서대로 정리해 준다. 

import matplotlib.pyplot as plt
import seaborn as sns 
from matplotlib import font_manager, rc
import platform 

# 한글 폰트 사용
if platform.system() == 'Windows': 
    path = 'c:/Windows/Fonts/malgun.ttf'
    font_name = font_manager.FontProperties(fname=path).get_name()
    rc('font', family=font_name)
elif platform.system() == 'Darwin':
    rc('font', family='AppleGothic')

fig, ax = plt.subplots( figsize=(6,5) )   # 그래프 사이즈 지정
plt.title(f"{line} 역별/요일별 승객수", fontsize = 20) # for title
sns.heatmap(df_pivot, cmap = "Reds", 
           annot = True, fmt = '.0f')

1호선의 역별 요일별 승객수 히트맵니다. 서울역과 종각역의 승객수가 가장 많아보이고, 그중에서도 서울역의 금요일에 승객수가 가장 많은 것을 볼 수 있다. 

동일한 방법으로 모든 노선을 시각화하여 비교 해 보자. 

- 1호선~9호선 시각화 하여 비교 해보기 

raw['노선명'].unique()

이렇게 많은 노선이 있는데 , 본 포스팅에서는 1호선 ~ 9호선 만을 시각화 한다. 

line_seoul_list = [ ]
for line in raw['노선명'].unique():
    if line[1:] == '호선':    # x호선 인 경우를 선택. 
        line_seoul_list.append(line)
line_seoul_list

for line in sorted(line_seoul_list):
    
    # 데이터 정리하기
    data_line = raw[raw['노선명'] == line]
    df_pivot = data_line.pivot_table(index = ['역ID', '역명'], columns = '요일', values = '승차총승객수',aggfunc = 'sum')
    df_pivot = df_pivot[['월','화','수','목','금','토','일']]
    df_pivot = df_pivot / 10000  # 만명단위로 수정
    
    
    # 그래프 그리기
    fig, ax = plt.subplots( figsize=(6,len(df_pivot)/3 ) )   # 그래프 사이즈를 조정하여, 역 수가 많은 경우는 세로를 길게 표현
    plt.title(f"{line} 역별/요일별 승객수", fontsize = 20) # for title
    sns.heatmap(df_pivot, cmap = "Reds", 
               annot = True, fmt = '.0f')

진한 빨간색일 수록 승객수가 많은 것을 의미한다. 승객수가 많은 역은 모든 요일이 대체적으로 색이 진한 것을 확인할 수 있다. 이전 포스팅에서 전체적으로 금요일에 승객수가 가장 많고 , 주말이 되면 승객수가 떨어지는 경향이 있었는데 , 역 별로 보니 주말이 더 많은 역도 발견할 수 있었다. (  ex, 이태원, 고속터미널, 홍대입구 )  

러닝스푼즈 수업 정리 

< 이전 글 > 

https://silvercoding.tistory.com/57

 데이터 불러오기 & 살펴보기 

import pandas as pd

raw = pd.read_excel('./data/subway_raw.xlsx')
raw.head()

이전 글에서 병합했던 파일을 불러와 준다. 

raw.info()

총 99342개의 row가 존재하고 ,  null값이 없는 것을 알 수 있다. 

 승객이 많아지는 날은 언제인가 ? 

- 일자 , 요일 별 승차총승객수 확인 해 보기 

data_date = pd.pivot_table(raw, index = ['사용일자', '요일'], values= '승차총승객수', aggfunc= 'sum')
data_date.head()

- 일자 , 요일 별 승차총승객 수 내림차순 정렬 

data_date_sort = data_date.sort_values(by = '승차총승객수', ascending= False)
data_date_sort

일자, 요일 별 승차승객수를 내림차순으로 정렬 해 보았다. 이 결과에 대한 데이터프레임을 확인해 보면 두가지 가정을 세울 수 있다. 

1. 5월에 지하철 승객수가 가장 많다. 

2. 금요일에 지하철 승객수가 가장 많다. 

(1) 5월에 지하철 승객수가 가장 많다 

- '연월' 컬럼 , '월일' 컬럼 추가 

yearmonth_list = []
monthday_list = []
for date in raw['사용일자']:
    yearmonth = str(date)[:6]   # 왼쪽부터 6자리 문자 선택
    yearmonth_list.append(yearmonth)
    monthday = str(date)[4:]    # 왼쪽에서 5번째 문자부터 끝까지 선택
    monthday_list.append(monthday)
    
# 연월/ 월일 컬럼 추가하기
raw['연월'] = yearmonth_list
raw['월일'] = monthday_list
raw.head()

월 별 승객수를 보기 위해 사용일자를 연월, 월일로 나누어 새로운 컬럼을 추가하였다. 

data_month = pd.pivot_table(raw, index = '연월', values = '승차총승객수', aggfunc='sum')
data_month = data_month.sort_values(by = '승차총승객수', ascending= False)
data_month

월별 승차총객수 피벗데이블을 생성하고 , 승차종승객수를 기준으로 내림차순 정렬을 해보니 , 5월에 가장 승객수가 많은 것을 확인할 수 있다. 

결론 -> 5월에 지하철 승객수가 가장 많다 : True

(2) 금요일에 지하철 승객수가 가장 많다 

data_week = pd.pivot_table(raw, index = '요일', values = '승차총승객수', aggfunc='sum')
data_week = data_week.sort_values(by = '승차총승객수', ascending= False)
data_week

요일별 승차총객수 피벗테이블을 생성하고 , 승차총승객수를 기준으로 내림차순 정렬을 해보니 금요일에 승객수가 가장 많은 것을 확인할 수 있다. 

결론 -> 금요일에 지하철 승객수가 가장 많다 : True

* 월별 / 일자별 승객수 그래프 시각화 

- 2019년 1월 데이터로 테스트 해보기 

df_selected = raw[ raw['연월'] == '201901']
df_selected.head()

df_pivot = pd.pivot_table(df_selected, index = ['월일','요일'], values = '승차총승객수', aggfunc= 'sum')
df_pivot = df_pivot.reset_index()
df_pivot

2019년 1월 날짜별 승차총승객수를 집계하는 피벗테이블을 생성한다. 이를 pointplot을 사용하여 시각화 해보자. 

import matplotlib.pyplot as plt
import seaborn as sns 
from matplotlib import font_manager, rc
import platform 

# 한글 폰트 사용
if platform.system() == 'Windows': 
    path = 'c:/Windows/Fonts/malgun.ttf'
    font_name = font_manager.FontProperties(fname=path).get_name()
    rc('font', family=font_name)
elif platform.system() == 'Darwin':
    rc('font', family='AppleGothic')

fig, ax = plt.subplots( figsize=(20,6) )
# 그래프 그리기
sns.pointplot(data = df_pivot, x = '월일', y = '승차총승객수')

fig, ax = plt.subplots( figsize=(20,6) )
# 그래프 그리기
sns.pointplot(data = df_pivot, x = '요일', y = '승차총승객수')

1월 그래프만 그려보았더니 , 금요일에 가장 많은 승객수를 찍고, 그 이후로 줄어들어 일요일에는 승객수가 대폭 줄어드는 경향을 보인다. 매 달마다 편차가 있는지 확인하기 위해 1-6월의 날짜별 승객수 시각화를 해본다. 

- 상반기 날짜별 승객수 시각화 

raw['연월'].unique()

for yearmonth in raw['연월'].unique():
    df_selected = raw[ raw['연월'] == yearmonth]  # 해당 연월 데이터 선택하기
    df_pivot = pd.pivot_table(df_selected, index = ['월일','요일'], values = '승차총승객수', aggfunc= 'sum')# 일자별 승객수 계
    df_pivot = df_pivot.reset_index()
    
    fig, ax = plt.subplots( figsize=(20,6) )
    
    ax.set_title(f'일자별 지하철승객수({yearmonth})')  # 그래프 제목 추가하기
    sns.pointplot(data = df_pivot, x = '월일', y = '승차총승객수')

해석 :  전체적으로 형태가 비슷한 것을 볼 수 있다. 금요일 이후 주말에는 승객수가 떨어지고 , 일요일에 대폭 하락하는 경향을 보인다. 2월달을 보면 설연휴로 인해서 2월 초 주중에도 승객수의 수가 낮으며 , 6월 6일 현충일에도 승객수가 떨어지는 현상 또한 확인할 수 있다. 이를 통해 지하철 승객수는 공휴일의 영향을 받는다고 해석할 수 있다. 

러닝스푼즈 수업 정리 

< 이전 글 > 

https://silvercoding.tistory.com/56

import pandas as pd

* pandas로 파일 읽어오기 

< 관련 참고 문서 > 

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_excel.html

 pandas 를 사용하여 엑셀 파일 병합하기 

(1) 엑셀파일 한개 불러와서 살펴보기 

* 파일 : 일자 / 노선 / 지하철역 별 승하차 고객 수 ( 2019년 상반기 - 1월 ~ 6월, 러닝스푼즈 제공 ) 

file = './rawfiles/CARD_SUBWAY_MONTH_201901.csv'
raw = pd.read_csv(file)

raw.head()

raw.info()

총 18334 개의 데이터가 있고, 결측값은 없는 것을 볼 수 있다. 

(2) 두개 엑셀파일 합쳐보기  

raw = pd.DataFrame()  # 빈 데이터 프레임 생성 
raw.head()

# 첫 번째 파일
file = './rawfiles/CARD_SUBWAY_MONTH_201901.csv'
temp = pd.read_csv(file)
# temp.head()
raw = raw.append(temp)  # 데이터 프레임 추가 
# raw.head()

# 두 번째 파일
file = './rawfiles/CARD_SUBWAY_MONTH_201902.csv'
temp = pd.read_csv(file)
raw = raw.append(temp)  # 데이터 프레임 추가 

raw.info()

우선 , 빈 데이터 프레임을 생성한 후, 파일을 읽어 와서 append를 사용하여 빈 데이터 프레임에 데이터를 추가해 준다. 여러개의 파일을 합치기 위해서는 이러한 반복되는 작업을 for문으로 작성해주면 된다. 

(3) 폴더에 있는 모든 엑셀파일 병합하기

- 폴더 안의 파일 이름 가져오기 

# 폴더 , 파일을 관리하는 os 라이브러리 
import os

os.listdir()

os.listdir() 을 사용하여 현재 폴더에 있는 폴더와 파일들의 이름을 그대로 가져올 수 있다. 

dirpath = './rawfiles/'
files = os.listdir(dirpath)
files

같은 방법으로 본 포스팅에서 사용할 현재 폴더 안의 rawfiles안의 파일들을 불러 온다. 

이를 이용하여 일일이 파일 이름을 복붙하지 않아도 파일을 불러올 수 있다. 

- 병합하기 

# 빈 데이터프레임 준비
raw = pd.DataFrame() 

# 병합
for file in os.listdir('./rawfiles'):
#     print(file)
    fpath = './rawfiles/'+file
    print(fpath)
    temp = pd.read_csv(fpath)
    raw = raw.append(temp, ignore_index = True)   #ignore_index = True  --> 기존 인덱스는 무시하라.

위와 같이 빈 데이터프레임에 파일을 하나씩 추가한다. ignore_index=True를 사용하여 기존 인덱스를 무시하지 않으면 원래 자신의 인덱스를 사용하여 인덱스가 뒤죽박죽으로 설정되어 있게된다. 순서대로 해주기 위함이다. 

 병합한 데이터 살펴보기 

raw.head()

raw.tail()

raw.info()

총 99342 개의 row로 , raw.tail()을 했을 때 index의 결과와 같으므로 정상적으로 병합된 것을 볼 수 있다. 

 '요일' 컬럼 추가 해보기 - datetime 사용 

from datetime import datetime

- datetime.strptime()

date_str = str(20190601)     # 숫자가 아닌 문자로 입력되어야 함
date = datetime.strptime(date_str, "%Y%m%d")
date

datetime.datetime(2019, 6, 1, 0, 0)

# 월요일 : 0 ~ 일요일 : 6
weekday = date.weekday()
weekday

5

직접 달력을 찾아보지 않고도 , datetime 라이브러리를 사용하면 이렇게 요일을 반환해 준다. 

- '요일' 컬럼 추가 

weekday_dict = [ '월','화','수','목','금','토','일']
weekday_list = []

for date_str in raw['사용일자']:
    date = datetime.strptime(str(date_str), "%Y%m%d")
    weekday_index  = date.weekday()
    weekday = weekday_dict[weekday_index]
    weekday_list.append(weekday)

weekday_list에 각 row의 요일을 추가해 준다. 

raw['요일'] = weekday_list
raw.sample(5)

'요일' 컬럼을 추가해 주고 , sample을 이용하여 랜덤으로 row를 불러와서 확인해 본다. 

raw.columns

new_columns = ['사용일자',  '요일', '노선명', '역ID', '역명', '승차총승객수', '하차총승객수', '등록일자']
raw = raw[ new_columns ]
raw.head()

요일을 앞에 두기 위해 컬럼의 위치를 바꾸어 선택해준다. 

 데이터 저장 

raw.to_excel('./data/subway_raw.xlsx', index = False)

to_excel() 을 이용하여 엑셀 파일로 저장해 준다. 

러닝스푼즈 수업 정리 

< 이전 글 > 

https://silvercoding.tistory.com/55

 특정 팀에 강한 선수가 있을까? 

* idea : '상대' 컬럼으로 겨루었던 상대 팀을 추출하여 각각의 상대 팀과의 경기에서의 출루율을 계산한다.  

- 데이터 불러오기 

import pandas as pd

file  = './data/KBO_2019_player_gamestats.csv'
raw = pd.read_csv(file, encoding = 'cp949')
raw.head()

- 상대 팀별 기록 정리 

raw['상대'].unique()

우선 unique() 를 이용하여 '상대' 컬럼에 있는 값들을 확인해 준다. 앞에 @가 붙은 경우는 원정경기, 그렇지 않으면 홈 경기를 의미한다. 이를 '홈어웨이' 라는 컬럼을 추가하여 구분하도록 하고 , '상대팀' 컬럼에는 팀명만을 넣어준다.  

opp_list = [ ]
home_away_list = [ ]

for opp in raw['상대']:
    if "@" in opp:
        home_away = '원정'
        opp = opp.replace('@', '')
    else:
        home_away = '홈'
    home_away_list.append(home_away)
    opp_list.append(opp)

raw['홈어웨이'] = home_away_list
raw['상대팀'] = opp_list
raw.head()

for문을 이용하여 홈어웨이와 상대팀을 구분하고 ,  두개의 컬럼을 추가해 주었다. 

factors = ['타수','안타','홈런', '루타', '타점','볼넷', '사구', '희비']
data = raw.pivot_table(index = ['팀','이름','생일', '상대팀'],
                      values = factors,
                       aggfunc = 'sum')
data.head()

선수들의 상태팀 별 실적을 집계하기 위해 피벗 테이블을 생성한다. 

cond = data['타수'] > 0 
data = data[ cond ]
data.head()

타수가 없는 선수들은 데이터프레임에서 제외시킨다. 

data = data.reset_index()
data.head()

reset_index를 사용하여 index를 모두 컬럼으로 변경해 준다. 

- 타자 vs 상대팀 별 실적 계산 

def cal_hit(df):
    '''
    - 타율 : 공을 쳐서 나가는 비율 --> 안타 / 타수
    - 출루율: 진루해서 나가는 비율 -->  (안타+볼넷+몸에맞는볼)/(타수+볼넷+몸에맞는볼+희생플라이)
    - 장타율 : 타율에 진루한 베이스 가중치 추가 -->   루타 / 타수
    '''
    
    df['타율'] = df['안타'] / df['타수']
    df['출루율'] = (df['안타'] + df['볼넷'] + df['사구']) / (df['타수'] + df['사구'] + df['희비'])
    df['장타율'] = df['루타'] / df['타수']
    df['OPS'] = df['출루율'] + df['장타율']
    return df

이전 글에서 사용했던 함수 , 실적 계산을 하고 컬럼을 추가해 준다. 

player_stats_opp = cal_hit(data)
player_stats_opp

- 결과 보기 : DataFrame 

(1) 두산에 강한 선수 ? - 상위 10명

team = '두산'
cond = (player_stats_opp['상대팀'] == team) & (player_stats_opp['타수'] > 10)
player_stats_opp[cond].sort_values(by = '출루율', ascending = False).head(10)

상대팀이 두산이면서 , 타수가 20보다 큰 선수들을 뽑아 내고, 출루율을 기준으로 정렬하여 10명의 선수를 출력해 본다. 

따라서 상대팀이 '두산' 일 때 출루율 상위 10명의 이름을 뽑아보면 다음과 같다

player_stats_opp[cond].sort_values(by = '출루율', ascending = False)['이름'].head(10)

(2) 롯데에 강한 선수 ? - 상위 10명

team = '롯데'
cond = (player_stats_opp['상대팀'] == team) & (player_stats_opp['타수'] > 20)
player_stats_opp[cond].sort_values(by = '출루율', ascending = False).head(10)

동일하게 시행 해 준다. 

상대팀이 '두산' 일 때 출루율 상위 10명의 이름을 뽑아보면 다음과 같다

player_stats_opp[cond].sort_values(by = '출루율', ascending = False)['이름'].head(10)

(3) KBO 전체 팀을 상대로 팀 별 출루율 상위 5인 타자들 확인해 보기 

hitter_df = pd.DataFrame()

for team in player_stats_opp['상대팀'].unique():
    print(team)
    cond = (player_stats_opp['상대팀'] == team) & (player_stats_opp['타수'] > 20)
    df = player_stats_opp[cond].sort_values(by = '출루율', ascending = False).head(5)
    hitter_df = hitter_df.append(df)

hitter_df

특정 팀 상대 출루율 Top5 안에 들어 있는 타자 리스트 (중복 제거) 

hitter_df['이름'].unique()

- 결과보기 : Heatmap (시각화) 

cond = player_stats_opp['이름'].isin(hitter_df['이름'].unique())
top_df = player_stats_opp[cond]
top_pivot = top_df.pivot_table(index = ['팀','이름'], values = '출루율', columns = '상대팀', aggfunc = 'sum')
top_pivot

위에서 만들어 놓았던 특정 팀을 상대로 출루율 top5 안에 들었던 이름들만 player_stats_opp에서 뽑아온 후 , 해당 선수들의 상대팀 별 출루율 pivot_table을 생성한다.  

import matplotlib
from matplotlib import font_manager, rc
import platform
import matplotlib.pyplot as plt
import seaborn as sns

# 이미지 한글 표시 설정
if platform.system() == 'Windows':  # 윈도우인 경우 맑은고딕
    font_name = font_manager.FontProperties(fname="c:/Windows/Fonts/malgun.ttf").get_name()
    rc('font', family=font_name)
else:    # Mac 인 경우 애플고딕
    rc('font', family='AppleGothic')

#그래프에서 마이너스 기호가 표시되도록 하는 설정입니다.
matplotlib.rcParams['axes.unicode_minus'] = False

fig, ax = plt.subplots( figsize=(15,15) )

sns.heatmap(data = top_pivot, 
            annot = True, fmt = '.3f', 
            cmap = 'Reds',
            center= 0.4   # 컬러맵 중간값 지정
           )

색이 진할수록 출루율이 높음을 의미한다. 예를 들어 , NC의 양의지 선수는 해당 시즌에서 KIA를 상대로 한 경기에서 출루율이 높았으며 , 한화의 정근우 선수는 LG와의 경기에서 강했다는 것을 알 수 있다.  

sns.heatmap(data = top_pivot, 
            annot = True, fmt = '.3f', 
            cmap = 'Reds',
            center= 0.6   # 컬러맵 중간값 지정
           )

상대적인 크기를 살펴보고자 할 때는 center를 변경해 가며 확인해볼 수 있다. 

러닝스푼즈 수업 정리 

< 이전 글 > 

https://silvercoding.tistory.com/54

 데이터 불러오기 

import pandas as pd

file  = './data/KBO_2019_player_gamestats.csv'
raw = pd.read_csv(file, encoding = 'cp949')
raw.head()

이전 포스팅에서 사용했던 데이터를 그대로 불러온다. 

 야구선수가 강해지는 계절이 있을까 ? 

idea : '일자' 컬럼에서 월 정보만 추출해 내어 월 별 출루율을 시각화 해본다. 

1. 월 별 기록 정리하기 

- '일자' 컬럼에서 월 추출하기 

month_list = []
for monthdate in raw['일자']:
    month, date = monthdate.split('-')
    month_list.append(month)
raw['월'] = month_list

raw.head()

- 분석에 필요한 컬럼 선택 

columns_select = ['팀', '이름', '생일','일자', '상대','타수','안타','홈런', '루타', '타점','볼넷', '사구', '희비', '월']

data = raw[columns_select]
data.head()

- 월별 실적 집계 

data_player_month = data.pivot_table(index = ['팀','이름','생일', '월'], 
                               values = ['타수','안타','홈런','루타','타점','볼넷','사구','희비'], 
                              aggfunc = 'sum', fill_value = 0
                                )
data_player_month

팀, 이름, 생일로 선수를 구분하고, 월별 실적을 집계하는 pivot table을 생성한다. 비어있는 곳은 0으로 값을 채워 준다. 

data_player_month = data_player_month.reset_index()
data_player_month

reset_index로 멀티인덱스를 컬럼으로 변경해 준다. 

- 타율, 출루율, 장타율, OPS ( 주요 실적 계산 ) 컬럼 추가 

def cal_hit(df):
    '''
    - 타율 : 공을 쳐서 나가는 비율 --> 안타 / 타수
    - 출루율: 진루해서 나가는 비율 -->  (안타+볼넷+몸에맞는볼)/(타수+볼넷+몸에맞는볼+희생플라이)
    - 장타율 : 타율에 진루한 베이스 가중치 추가 -->   루타 / 타수
    '''
    
    df['타율'] = df['안타'] / df['타수']
    df['출루율'] = (df['안타'] + df['볼넷'] + df['사구']) / (df['타수'] + df['볼넷'] + df['사구'] + df['희비'])
    df['장타율'] = df['루타'] / df['타수']
    df['OPS'] = df['출루율'] + df['장타율']
    return df

player_month_stat = cal_hit(data_player_month)
player_month_stat.head()

player_month_stat.info()

결측값이 있는 것을 확인할 수 있다. 

player_month_stat = player_month_stat.dropna()
player_month_stat.head()

dropna()를 이용하여 결측값이 있는 row를 제거해 준다. 

player_month_stat.info()

결측값이 모두 채워졌다! 

- 월별 출루율 

month_pivot = player_month_stat.pivot_table(index = ['팀','이름','생일'],
                             columns = '월',
                             values = '출루율')
month_pivot = month_pivot.reset_index()
month_pivot

위와 같이 선수들의 월 별 출루율 피벗테이블을 생성하였다. 

2. 결과 : KBO 출루율 최고타자들의 월 별 출루율 확인해 보기 

- KBO 출루율 최고타자 데이터 불러오기 

file = './data/player_stat.csv'
player_stat = pd.read_csv(file, encoding = 'cp949')
player_stat.head(20)

저번 글의 주제였던 출루율을 기준으로 정렬해 놓은 데이터이다. 이 데이터와 위에서 만들어 놓은 월 별 출루율 데이터를 합병하여 출루율 상위 50명의 선수들의 월 별 출루율 기록을 확인해 보자. 

- 데이터 합병 

df = pd.merge(player_stat, month_pivot, how = 'left', on = ['팀','이름','생일'])
# left_on = ['팀','이름','생일'], right_on = ['팀','이름','생일']
df.head(10)

df_sort = df.sort_values(by = '출루율', ascending = False).head(50)
df_sort

다시한번 출루율을 기준으로 정렬 하고 , 50개의 데이터를 df_sort 에 넣어 준다. 

df_selected = df_sort[['팀', '이름', '출루율', '03', '04', '05', '06', '07', '08', '09', '10']]
df_selected

그리고 df_sort에서 출루율과 관련된 컬럼만 뽑아서 df_selectied 변수를 선언한다. 

숫자로 나와있으니 50명의 선수들의 월 별 기록이 어떤지 가늠이 안 간다. 따라서 시각화를 통하여 확인하도록 한다. 

- 시각화로 한눈에 보기 

df_selected = df_selected.set_index(['팀','이름'])
df_selected

히트맵을 사용하여 시각화를 할 것이다. 이 때 데이터프레임의 values 부분은 모두 숫자형 데이터로만 되어 있어야 한다. 따라서 팀, 이름 컬럼은 index로 변경해 준다. 

import matplotlib
from matplotlib import font_manager, rc
import platform
import matplotlib.pyplot as plt
import seaborn as sns

# 이미지 한글 표시 설정
if platform.system() == 'Windows':  # 윈도우인 경우 맑은고딕
    font_name = font_manager.FontProperties(fname="c:/Windows/Fonts/malgun.ttf").get_name()
    rc('font', family=font_name)
else:    # Mac 인 경우 애플고딕
    rc('font', family='AppleGothic')

#그래프에서 마이너스 기호가 표시되도록 하는 설정입니다.
matplotlib.rcParams['axes.unicode_minus'] = False

sns.heatmap(df_selected)

조금 더 설정을 주어 보기 쉽게 만들어 보자. 

fig, ax = plt.subplots( figsize=(15,15) )
sns.heatmap(data = df_selected, 
            annot = True, fmt = '.3f', 
            cmap = 'Reds'
           )

진한 빨간색일 수록 보다 높은 출루율을 가진다. 아직은 월 별로 더 잘한 건지 못한 건지 한 눈에 보기는 어렵다. 따라서 시즌 전체 출루율과의 차이를 구하여  확인해 보자. 

for col in df_selected.columns[1:]:
    df_selected[col] = df_selected[col] - df_selected['출루율'] 
df_selected['출루율'] = 0.0

시즌 출루율과 월별 출루율의 차이를 모두 구한 후, 시즌 출루율의 영향을 받지 않게 하기 위해 모두 0으로 바꾸어 준다. 

fig, ax = plt.subplots( figsize=(10,10) )

sns.heatmap(data = df_selected.head(50), 
            annot = True, fmt = '.3f', 
            cmap = 'RdBu_r'
           )

빨간색이 짙으면 시즌 출루율 보다 높은 출루율을 갖고 있으며, 파란색이 짙다면 , 시즌 출루율 보다 더 낮은 출루율을 갖고 있음을 의미 한다. 예를 들어 한화 최재훈 선수는 3월 출루율이 우세했고, KIA 유민상 선수는 6월에 비해 7월에 엄청난 출루율 상승을 보인다. 계절에 따른 영향이 있는지 궁금했는데 , (더운 여름철에는 기록이 줄어드는 등 ) 선수 마다 모두 다르고, 확실히 특정 달에 출루율이 높아지는 선수들이 있는 것을 볼 수 있었다.