🤍

러닝스푼즈 수업 정리 

< 이전 글 > 

https://silvercoding.tistory.com/56

import pandas as pd

* pandas로 파일 읽어오기 

< 관련 참고 문서 > 

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_excel.html

 pandas 를 사용하여 엑셀 파일 병합하기 

(1) 엑셀파일 한개 불러와서 살펴보기 

* 파일 : 일자 / 노선 / 지하철역 별 승하차 고객 수 ( 2019년 상반기 - 1월 ~ 6월, 러닝스푼즈 제공 ) 

file = './rawfiles/CARD_SUBWAY_MONTH_201901.csv'
raw = pd.read_csv(file)

raw.head()

raw.info()

총 18334 개의 데이터가 있고, 결측값은 없는 것을 볼 수 있다. 

(2) 두개 엑셀파일 합쳐보기  

raw = pd.DataFrame()  # 빈 데이터 프레임 생성 
raw.head()

# 첫 번째 파일
file = './rawfiles/CARD_SUBWAY_MONTH_201901.csv'
temp = pd.read_csv(file)
# temp.head()
raw = raw.append(temp)  # 데이터 프레임 추가 
# raw.head()

# 두 번째 파일
file = './rawfiles/CARD_SUBWAY_MONTH_201902.csv'
temp = pd.read_csv(file)
raw = raw.append(temp)  # 데이터 프레임 추가 

raw.info()

우선 , 빈 데이터 프레임을 생성한 후, 파일을 읽어 와서 append를 사용하여 빈 데이터 프레임에 데이터를 추가해 준다. 여러개의 파일을 합치기 위해서는 이러한 반복되는 작업을 for문으로 작성해주면 된다. 

(3) 폴더에 있는 모든 엑셀파일 병합하기

- 폴더 안의 파일 이름 가져오기 

# 폴더 , 파일을 관리하는 os 라이브러리 
import os

os.listdir()

os.listdir() 을 사용하여 현재 폴더에 있는 폴더와 파일들의 이름을 그대로 가져올 수 있다. 

dirpath = './rawfiles/'
files = os.listdir(dirpath)
files

같은 방법으로 본 포스팅에서 사용할 현재 폴더 안의 rawfiles안의 파일들을 불러 온다. 

이를 이용하여 일일이 파일 이름을 복붙하지 않아도 파일을 불러올 수 있다. 

- 병합하기 

# 빈 데이터프레임 준비
raw = pd.DataFrame() 

# 병합
for file in os.listdir('./rawfiles'):
#     print(file)
    fpath = './rawfiles/'+file
    print(fpath)
    temp = pd.read_csv(fpath)
    raw = raw.append(temp, ignore_index = True)   #ignore_index = True  --> 기존 인덱스는 무시하라.

위와 같이 빈 데이터프레임에 파일을 하나씩 추가한다. ignore_index=True를 사용하여 기존 인덱스를 무시하지 않으면 원래 자신의 인덱스를 사용하여 인덱스가 뒤죽박죽으로 설정되어 있게된다. 순서대로 해주기 위함이다. 

 병합한 데이터 살펴보기 

raw.head()

raw.tail()

raw.info()

총 99342 개의 row로 , raw.tail()을 했을 때 index의 결과와 같으므로 정상적으로 병합된 것을 볼 수 있다. 

 '요일' 컬럼 추가 해보기 - datetime 사용 

from datetime import datetime

- datetime.strptime()

date_str = str(20190601)     # 숫자가 아닌 문자로 입력되어야 함
date = datetime.strptime(date_str, "%Y%m%d")
date

datetime.datetime(2019, 6, 1, 0, 0)

# 월요일 : 0 ~ 일요일 : 6
weekday = date.weekday()
weekday

5

직접 달력을 찾아보지 않고도 , datetime 라이브러리를 사용하면 이렇게 요일을 반환해 준다. 

- '요일' 컬럼 추가 

weekday_dict = [ '월','화','수','목','금','토','일']
weekday_list = []

for date_str in raw['사용일자']:
    date = datetime.strptime(str(date_str), "%Y%m%d")
    weekday_index  = date.weekday()
    weekday = weekday_dict[weekday_index]
    weekday_list.append(weekday)

weekday_list에 각 row의 요일을 추가해 준다. 

raw['요일'] = weekday_list
raw.sample(5)

'요일' 컬럼을 추가해 주고 , sample을 이용하여 랜덤으로 row를 불러와서 확인해 본다. 

raw.columns

new_columns = ['사용일자',  '요일', '노선명', '역ID', '역명', '승차총승객수', '하차총승객수', '등록일자']
raw = raw[ new_columns ]
raw.head()

요일을 앞에 두기 위해 컬럼의 위치를 바꾸어 선택해준다. 

 데이터 저장 

raw.to_excel('./data/subway_raw.xlsx', index = False)

to_excel() 을 이용하여 엑셀 파일로 저장해 준다. 

러닝스푼즈 수업 정리 

< 이전 글 > 

https://silvercoding.tistory.com/55

 특정 팀에 강한 선수가 있을까? 

* idea : '상대' 컬럼으로 겨루었던 상대 팀을 추출하여 각각의 상대 팀과의 경기에서의 출루율을 계산한다.  

- 데이터 불러오기 

import pandas as pd

file  = './data/KBO_2019_player_gamestats.csv'
raw = pd.read_csv(file, encoding = 'cp949')
raw.head()

- 상대 팀별 기록 정리 

raw['상대'].unique()

우선 unique() 를 이용하여 '상대' 컬럼에 있는 값들을 확인해 준다. 앞에 @가 붙은 경우는 원정경기, 그렇지 않으면 홈 경기를 의미한다. 이를 '홈어웨이' 라는 컬럼을 추가하여 구분하도록 하고 , '상대팀' 컬럼에는 팀명만을 넣어준다.  

opp_list = [ ]
home_away_list = [ ]

for opp in raw['상대']:
    if "@" in opp:
        home_away = '원정'
        opp = opp.replace('@', '')
    else:
        home_away = '홈'
    home_away_list.append(home_away)
    opp_list.append(opp)

raw['홈어웨이'] = home_away_list
raw['상대팀'] = opp_list
raw.head()

for문을 이용하여 홈어웨이와 상대팀을 구분하고 ,  두개의 컬럼을 추가해 주었다. 

factors = ['타수','안타','홈런', '루타', '타점','볼넷', '사구', '희비']
data = raw.pivot_table(index = ['팀','이름','생일', '상대팀'],
                      values = factors,
                       aggfunc = 'sum')
data.head()

선수들의 상태팀 별 실적을 집계하기 위해 피벗 테이블을 생성한다. 

cond = data['타수'] > 0 
data = data[ cond ]
data.head()

타수가 없는 선수들은 데이터프레임에서 제외시킨다. 

data = data.reset_index()
data.head()

reset_index를 사용하여 index를 모두 컬럼으로 변경해 준다. 

- 타자 vs 상대팀 별 실적 계산 

def cal_hit(df):
    '''
    - 타율 : 공을 쳐서 나가는 비율 --> 안타 / 타수
    - 출루율: 진루해서 나가는 비율 -->  (안타+볼넷+몸에맞는볼)/(타수+볼넷+몸에맞는볼+희생플라이)
    - 장타율 : 타율에 진루한 베이스 가중치 추가 -->   루타 / 타수
    '''
    
    df['타율'] = df['안타'] / df['타수']
    df['출루율'] = (df['안타'] + df['볼넷'] + df['사구']) / (df['타수'] + df['사구'] + df['희비'])
    df['장타율'] = df['루타'] / df['타수']
    df['OPS'] = df['출루율'] + df['장타율']
    return df

이전 글에서 사용했던 함수 , 실적 계산을 하고 컬럼을 추가해 준다. 

player_stats_opp = cal_hit(data)
player_stats_opp

- 결과 보기 : DataFrame 

(1) 두산에 강한 선수 ? - 상위 10명

team = '두산'
cond = (player_stats_opp['상대팀'] == team) & (player_stats_opp['타수'] > 10)
player_stats_opp[cond].sort_values(by = '출루율', ascending = False).head(10)

상대팀이 두산이면서 , 타수가 20보다 큰 선수들을 뽑아 내고, 출루율을 기준으로 정렬하여 10명의 선수를 출력해 본다. 

따라서 상대팀이 '두산' 일 때 출루율 상위 10명의 이름을 뽑아보면 다음과 같다

player_stats_opp[cond].sort_values(by = '출루율', ascending = False)['이름'].head(10)

(2) 롯데에 강한 선수 ? - 상위 10명

team = '롯데'
cond = (player_stats_opp['상대팀'] == team) & (player_stats_opp['타수'] > 20)
player_stats_opp[cond].sort_values(by = '출루율', ascending = False).head(10)

동일하게 시행 해 준다. 

상대팀이 '두산' 일 때 출루율 상위 10명의 이름을 뽑아보면 다음과 같다

player_stats_opp[cond].sort_values(by = '출루율', ascending = False)['이름'].head(10)

(3) KBO 전체 팀을 상대로 팀 별 출루율 상위 5인 타자들 확인해 보기 

hitter_df = pd.DataFrame()

for team in player_stats_opp['상대팀'].unique():
    print(team)
    cond = (player_stats_opp['상대팀'] == team) & (player_stats_opp['타수'] > 20)
    df = player_stats_opp[cond].sort_values(by = '출루율', ascending = False).head(5)
    hitter_df = hitter_df.append(df)

hitter_df

특정 팀 상대 출루율 Top5 안에 들어 있는 타자 리스트 (중복 제거) 

hitter_df['이름'].unique()

- 결과보기 : Heatmap (시각화) 

cond = player_stats_opp['이름'].isin(hitter_df['이름'].unique())
top_df = player_stats_opp[cond]
top_pivot = top_df.pivot_table(index = ['팀','이름'], values = '출루율', columns = '상대팀', aggfunc = 'sum')
top_pivot

위에서 만들어 놓았던 특정 팀을 상대로 출루율 top5 안에 들었던 이름들만 player_stats_opp에서 뽑아온 후 , 해당 선수들의 상대팀 별 출루율 pivot_table을 생성한다.  

import matplotlib
from matplotlib import font_manager, rc
import platform
import matplotlib.pyplot as plt
import seaborn as sns

# 이미지 한글 표시 설정
if platform.system() == 'Windows':  # 윈도우인 경우 맑은고딕
    font_name = font_manager.FontProperties(fname="c:/Windows/Fonts/malgun.ttf").get_name()
    rc('font', family=font_name)
else:    # Mac 인 경우 애플고딕
    rc('font', family='AppleGothic')

#그래프에서 마이너스 기호가 표시되도록 하는 설정입니다.
matplotlib.rcParams['axes.unicode_minus'] = False

fig, ax = plt.subplots( figsize=(15,15) )

sns.heatmap(data = top_pivot, 
            annot = True, fmt = '.3f', 
            cmap = 'Reds',
            center= 0.4   # 컬러맵 중간값 지정
           )

색이 진할수록 출루율이 높음을 의미한다. 예를 들어 , NC의 양의지 선수는 해당 시즌에서 KIA를 상대로 한 경기에서 출루율이 높았으며 , 한화의 정근우 선수는 LG와의 경기에서 강했다는 것을 알 수 있다.  

sns.heatmap(data = top_pivot, 
            annot = True, fmt = '.3f', 
            cmap = 'Reds',
            center= 0.6   # 컬러맵 중간값 지정
           )

상대적인 크기를 살펴보고자 할 때는 center를 변경해 가며 확인해볼 수 있다. 

러닝스푼즈 수업 정리 

< 이전 글 > 

https://silvercoding.tistory.com/54

 데이터 불러오기 

import pandas as pd

file  = './data/KBO_2019_player_gamestats.csv'
raw = pd.read_csv(file, encoding = 'cp949')
raw.head()

이전 포스팅에서 사용했던 데이터를 그대로 불러온다. 

 야구선수가 강해지는 계절이 있을까 ? 

idea : '일자' 컬럼에서 월 정보만 추출해 내어 월 별 출루율을 시각화 해본다. 

1. 월 별 기록 정리하기 

- '일자' 컬럼에서 월 추출하기 

month_list = []
for monthdate in raw['일자']:
    month, date = monthdate.split('-')
    month_list.append(month)
raw['월'] = month_list

raw.head()

- 분석에 필요한 컬럼 선택 

columns_select = ['팀', '이름', '생일','일자', '상대','타수','안타','홈런', '루타', '타점','볼넷', '사구', '희비', '월']

data = raw[columns_select]
data.head()

- 월별 실적 집계 

data_player_month = data.pivot_table(index = ['팀','이름','생일', '월'], 
                               values = ['타수','안타','홈런','루타','타점','볼넷','사구','희비'], 
                              aggfunc = 'sum', fill_value = 0
                                )
data_player_month

팀, 이름, 생일로 선수를 구분하고, 월별 실적을 집계하는 pivot table을 생성한다. 비어있는 곳은 0으로 값을 채워 준다. 

data_player_month = data_player_month.reset_index()
data_player_month

reset_index로 멀티인덱스를 컬럼으로 변경해 준다. 

- 타율, 출루율, 장타율, OPS ( 주요 실적 계산 ) 컬럼 추가 

def cal_hit(df):
    '''
    - 타율 : 공을 쳐서 나가는 비율 --> 안타 / 타수
    - 출루율: 진루해서 나가는 비율 -->  (안타+볼넷+몸에맞는볼)/(타수+볼넷+몸에맞는볼+희생플라이)
    - 장타율 : 타율에 진루한 베이스 가중치 추가 -->   루타 / 타수
    '''
    
    df['타율'] = df['안타'] / df['타수']
    df['출루율'] = (df['안타'] + df['볼넷'] + df['사구']) / (df['타수'] + df['볼넷'] + df['사구'] + df['희비'])
    df['장타율'] = df['루타'] / df['타수']
    df['OPS'] = df['출루율'] + df['장타율']
    return df

player_month_stat = cal_hit(data_player_month)
player_month_stat.head()

player_month_stat.info()

결측값이 있는 것을 확인할 수 있다. 

player_month_stat = player_month_stat.dropna()
player_month_stat.head()

dropna()를 이용하여 결측값이 있는 row를 제거해 준다. 

player_month_stat.info()

결측값이 모두 채워졌다! 

- 월별 출루율 

month_pivot = player_month_stat.pivot_table(index = ['팀','이름','생일'],
                             columns = '월',
                             values = '출루율')
month_pivot = month_pivot.reset_index()
month_pivot

위와 같이 선수들의 월 별 출루율 피벗테이블을 생성하였다. 

2. 결과 : KBO 출루율 최고타자들의 월 별 출루율 확인해 보기 

- KBO 출루율 최고타자 데이터 불러오기 

file = './data/player_stat.csv'
player_stat = pd.read_csv(file, encoding = 'cp949')
player_stat.head(20)

저번 글의 주제였던 출루율을 기준으로 정렬해 놓은 데이터이다. 이 데이터와 위에서 만들어 놓은 월 별 출루율 데이터를 합병하여 출루율 상위 50명의 선수들의 월 별 출루율 기록을 확인해 보자. 

- 데이터 합병 

df = pd.merge(player_stat, month_pivot, how = 'left', on = ['팀','이름','생일'])
# left_on = ['팀','이름','생일'], right_on = ['팀','이름','생일']
df.head(10)

df_sort = df.sort_values(by = '출루율', ascending = False).head(50)
df_sort

다시한번 출루율을 기준으로 정렬 하고 , 50개의 데이터를 df_sort 에 넣어 준다. 

df_selected = df_sort[['팀', '이름', '출루율', '03', '04', '05', '06', '07', '08', '09', '10']]
df_selected

그리고 df_sort에서 출루율과 관련된 컬럼만 뽑아서 df_selectied 변수를 선언한다. 

숫자로 나와있으니 50명의 선수들의 월 별 기록이 어떤지 가늠이 안 간다. 따라서 시각화를 통하여 확인하도록 한다. 

- 시각화로 한눈에 보기 

df_selected = df_selected.set_index(['팀','이름'])
df_selected

히트맵을 사용하여 시각화를 할 것이다. 이 때 데이터프레임의 values 부분은 모두 숫자형 데이터로만 되어 있어야 한다. 따라서 팀, 이름 컬럼은 index로 변경해 준다. 

import matplotlib
from matplotlib import font_manager, rc
import platform
import matplotlib.pyplot as plt
import seaborn as sns

# 이미지 한글 표시 설정
if platform.system() == 'Windows':  # 윈도우인 경우 맑은고딕
    font_name = font_manager.FontProperties(fname="c:/Windows/Fonts/malgun.ttf").get_name()
    rc('font', family=font_name)
else:    # Mac 인 경우 애플고딕
    rc('font', family='AppleGothic')

#그래프에서 마이너스 기호가 표시되도록 하는 설정입니다.
matplotlib.rcParams['axes.unicode_minus'] = False

sns.heatmap(df_selected)

조금 더 설정을 주어 보기 쉽게 만들어 보자. 

fig, ax = plt.subplots( figsize=(15,15) )
sns.heatmap(data = df_selected, 
            annot = True, fmt = '.3f', 
            cmap = 'Reds'
           )

진한 빨간색일 수록 보다 높은 출루율을 가진다. 아직은 월 별로 더 잘한 건지 못한 건지 한 눈에 보기는 어렵다. 따라서 시즌 전체 출루율과의 차이를 구하여  확인해 보자. 

for col in df_selected.columns[1:]:
    df_selected[col] = df_selected[col] - df_selected['출루율'] 
df_selected['출루율'] = 0.0

시즌 출루율과 월별 출루율의 차이를 모두 구한 후, 시즌 출루율의 영향을 받지 않게 하기 위해 모두 0으로 바꾸어 준다. 

fig, ax = plt.subplots( figsize=(10,10) )

sns.heatmap(data = df_selected.head(50), 
            annot = True, fmt = '.3f', 
            cmap = 'RdBu_r'
           )

빨간색이 짙으면 시즌 출루율 보다 높은 출루율을 갖고 있으며, 파란색이 짙다면 , 시즌 출루율 보다 더 낮은 출루율을 갖고 있음을 의미 한다. 예를 들어 한화 최재훈 선수는 3월 출루율이 우세했고, KIA 유민상 선수는 6월에 비해 7월에 엄청난 출루율 상승을 보인다. 계절에 따른 영향이 있는지 궁금했는데 , (더운 여름철에는 기록이 줄어드는 등 ) 선수 마다 모두 다르고, 확실히 특정 달에 출루율이 높아지는 선수들이 있는 것을 볼 수 있었다. 

러닝스푼즈 수업 정리 

< 이전 글 > 

https://silvercoding.tistory.com/53

 사전 지식 

• 타율 : 타격에 성공해 살아나가는 정도 

= 타격 성공 횟수 / 타격 기회 수 

= 안타 수 / 타수 

• 출루율 : 살아서 나가는 정도 

= 진루 성공 횟수 / 진루 기회 수 

= (안타+볼넷+몸에 맞는 볼) / (타수+볼넷+몸에 맞는 볼+희생 플라이) 

• 장타율 : 타격에 성공해 멀리 살아나가는 정도 

= 진루한 베이스 수 / 타격 기회 수 

= 루타 수 / 타수 

(타율에 거리 개념 추가 : 2루타 = 1루타 x 2) 

• OPS  : 살아서 멀리 나가는 정도   

= 출루율 + 장타율 

*** 본 기초 시각화 프로젝트에서는 출루율 - 장타율 - ops - 타율 을 기준으로 best player 를 분석한다. ***

 데이터 불러오기 & 살펴보기 

import pandas as pd

file  = './data/KBO_2019_player_gamestats.csv'
raw = pd.read_csv(file, encoding = 'cp949')

데이터 : KBO 2019 시즌 타자 기록지 데이터 (러닝스푼즈 제공) 

raw.head()

타자 & 게임 별로 기록되어 있다. 

raw.info()

raw.columns

사용할 컬럼을 뽑기 위해 전체 컬럼을 살펴 본다. 

columns_select = ['팀', '이름', '생일','일자', '상대','타수','안타','홈런', '루타', '타점','볼넷', '사구', '희비']
data = raw[columns_select]
data.head()

원하는 컬럼만 뽑아서 DataFrame을 생성하고, data에 넣어주었다. 

 KBO best player 분석하기 

- 선수별 기록 집계 

data_player = data.pivot_table(index = ['팀','이름','생일'], 
                               values = ['타수','안타','홈런','루타','타점','볼넷','사구','희비'], 
                              aggfunc = 'sum')

data_player

pivot_table 을 사용하여 팀, 이름 , 생일을 기준으로 타수, 안타, 홈런, 루타, 타점, 볼넷, 사구, 희비의 총 합계를 집계한다. 

data_player['타수'].hist()

판다스에서 기본으로 내장되어 있는 시리즈.hist()를 사용하여 타수의 분포 살펴보기 . ( 타수가 적은 선수를 제외하기 위해 어느 정도가 적은지 판단하는 데 사용 ) 분포를 살펴보니, 타수가 50 이하인 선수를 제외하면 적절할 것 같다. 

cond = data_player['타수'] > 50
data_player = data_player[cond].reset_index()    # 다중 인덱스 --> 컬럼으로 변경하기
data_player

타수가 50 초과인 선수들만 추리고, 수월한 컨트롤을 위해 reset_index()를 사용하여 다중 인덱스를 컬럼으로 변경해준다. 

def cal_hit(df):
    '''
    - 타율 : 타격에 성공해서 진루하는 비율 --> 안타 / 타수
    - 출루율: 살아서 진루하는 비율 -->  (안타+볼넷+몸에맞는볼)/(타수+볼넷+몸에맞는볼+희생플라이)
    - 장타율 : 타율에 진루한 베이스 가중치 추가 -->   루타 / 타수
    - OPS : 출루율 + 장타율 
    '''
    
    df['타율'] = df['안타'] / df['타수']
    df['출루율'] = (df['안타'] + df['볼넷'] + df['사구']) / (df['타수'] + df['볼넷'] + df['사구'] + df['희비'])
    df['장타율'] = df['루타'] / df['타수']
    df['OPS'] = df['출루율'] + df['장타율']
    return df

데이터프레임을 넣어 주면 best player 를 선정하는 기준인 타율, 출루율, 장타율, OPS 컬럼을 계산하여 생성하는 함수이다. 

player_stat = cal_hit(data_player)
player_stat

- 출루율 -> 장타율 -> OPS -> 타율 순서대로 정렬하여 best 10 player 뽑아보기 

player_stat = player_stat.sort_values(by = ['출루율','장타율','OPS', '타율'], ascending = False)
player_stat = player_stat.reset_index(drop = True)
player_stat.head(10)

인덱스가 뒤죽박죽으로 정렬되므로, reset_index()를 이용하여 인덱스를 정렬해 준다. 

결론적으로 출루율을 기준으로 한 KBO 2019 시즌 best player는 다음과 같다.

player_stat['이름'][:10]

 팀별 선수들의 출루율 분포 살펴보기 

import matplotlib
from matplotlib import font_manager, rc
import platform
import matplotlib.pyplot as plt
import seaborn as sns

# 이미지 한글 표시 설정
if platform.system() == 'Windows':  # 윈도우인 경우 맑은고딕
    font_name = font_manager.FontProperties(fname="c:/Windows/Fonts/malgun.ttf").get_name()
    rc('font', family=font_name)
else:    # Mac 인 경우 애플고딕
    rc('font', family='AppleGothic')

#그래프에서 마이너스 기호가 표시되도록 하는 설정입니다.
matplotlib.rcParams['axes.unicode_minus'] = False

우선 그래프를 그렸을 때 한글이 깨지는 것을 방지하기 위해 폰트설정을 하고 , 마이너스 기호 표시 여부를 설정한다. 

- 팀 별 출루율 분포 ( boxplot & swarmplot ) 

sns.boxplot(data = player_stat, x = '팀', y = '출루율')

개수도 직관적으로 보기 위해 swarmplot을 추가 한다. 

sns.swarmplot(data = player_stat, x = '팀', y = '출루율')
sns.boxplot(data = player_stat, x = '팀', y = '출루율')

색깔이 겹치기 때문에 boxplot에 여러 옵션을 주어 보기 편하게 만들어 준다. 

sns.swarmplot(data = player_stat, x = '팀', y = '출루율')
sns.boxplot(data = player_stat, x = '팀', y = '출루율',
            showcaps=False,             # 박스 상단 가로라인 보이지 않기
            whiskerprops={'linewidth':0}, # 박스 상단 세로 라인 보이지 않기 
            showfliers=False,           # 박스 범위 벗어난 아웃라이어 표시하지 않기
            boxprops={'facecolor':'None'}, # 박스 색상 지우기
           )

이렇게 팀별 선수들의 출루율 분포를 확인해볼 수 있다. NC 팀이 가장 높은 출루율을 가진 선수를 보유하고 있고, 출루율이 가장 많이 몰려 있는 팀은 LG팀인 것으로 보여지며, 출루율의 중위수가 가장 높은 팀은 두산인 것 등을 한 눈에 알 수 있다.    

 마무리 : csv 파일로 저장하기 

file = './data/player_stat.csv'
player_stat.to_csv(file, encoding = 'cp949', index = False)

본 포스팅에서 분석에 사용한 player_stat을 csv 파일로 저장하는 방법이다. 

러닝스푼즈 수업 정리 

< 이전 글 > 

https://silvercoding.tistory.com/52

1. folium 라이브러리 사용해보기 

 folium 라이브러리 

!pip install folium

folium 라이브러리 설치하기 

import folium

folium 라이브러리를 import 해준다. 

 folium 지도 시각화 사용 법 

지도 시각화

• 지도생성하기
  • m = folium.Map(location = [위도, 경도], zoom_start = 확대정도)
• 정보 추가하기
  • 마커 추가하기
    • folium.Marker([위도, 경도]).add_to(m)
  • 원 추가하기
    • folium.CircleMarker([위도, 경도], radius= 원크기).add_to(m)
  • 추가옵션:
    • tooltip="마우스 올리면 보여질 정보"
    • popup="클릭하면 보여질 정보"
  • 기타) ClickForMarker('체크').add_to(m) 지도에서 클릭할 경우 마커 추가하기

 서울역 지도 시각화

m = folium.Map(location=[37.5536067,126.9674308],  
               zoom_start=12)
m

- 마커 추가 

folium.Marker([37.5536067,126.9674308],    # 서울역위치
              tooltip="서울역(마우스올리면보여짐)",
              popup="서울역(클릭하면 보여짐)",
              ).add_to(m)
m

tooltip과 popup을 사용하여 마우스를 올리거나 , 클릭하면 메시지를 띄울 수 있다. 

- 서클마커 추가 

folium.CircleMarker([37.5536067,126.9674308],
                    radius=20,
                    tooltip = '마우스올릴경우'
               ).add_to(m)
m

- 미니맵 추가 MiniMap 

from folium.plugins import MiniMap

# 지도 생성하기
m = folium.Map(location=[37.5536067,126.9674308],   # 기준좌표: 서울역
               zoom_start=12)

# 미니맵 추가하기
minimap = MiniMap() 
minimap.add_to(m)


# 마커 추가하기
folium.Marker([37.5536067,126.9674308],    # 서울역위치
              tooltip="서울역(마우스올리면보여짐)",
              popup="서울역(클릭하면 보여짐)",
              ).add_to(m)
m

미니맵을 생성하고, add_to로 추가해 준다. 

 - 클릭해서 마크 추가하기 

# 지도 생성하기
m = folium.Map(location=[37.5536067,126.9674308],   # 기준좌표: 서울역
               zoom_start=12)

# 써클마커 추가하기
folium.CircleMarker([37.5536067,126.9674308],
                    radius=20,
                    tooltip = '마우스올릴경우'
               ).add_to(m)
folium.ClickForMarker('체크추가').add_to(m)    
m

마우스로 클릭해서 직접 마커를 추가해줄 수도 있다. (ClickForMarker 사용) 

2. 응용 : 서울 대피소 현황 지도 만들기 

< 데이터 출처 > 

http://data.seoul.go.kr/dataList/OA-2189/S/1/datasetView.do

import pandas as pd

DataFrame을 사용할 것이기 때문에 pandas를 import 해준다. 

file = './data/서울시 대피소 방재시설 현황 (좌표계_ WGS1984).csv'
raw = pd.read_csv(file, encoding = 'cp949')   # encoding = 'cp949' : MS 프로그램 사용시, 그외의 경우 encoding = 'utf-8'  (기본값)

raw.head()

raw.info()

수업에서는 위도, 경도를 설정하여 마커를 추가하고 , 마우스를 마커 위에 올리면 대피소 명칭을 보여주는 것 까지 배웠고 , 거기에 더해서 클릭하면 최대 수용인원이 나오도록 하는 지도를 만들어 본다. 

i = 7

lat = raw.loc[i, '위도']
long = raw.loc[i, '경도']
name = raw.loc[i,'대피소명칭']
num = raw.loc[i, '최대수용인원']

print(lat, long, name, num)

37.5365343 126.9650202 남정초등학교 300

우선 인덱스가 7일 때의 필요한 정보를 얻어보기 

for i in range(len(raw)):
    lat = raw.loc[i, '위도']
    long = raw.loc[i, '경도']
    name = raw.loc[i,'대피소명칭']
    num = raw.loc[i, '최대수용인원']


    print(name, lat, long, num)

총 694개의 데이터가 나왔을 것이다. 

# 지도 생성하기
m = folium.Map(location=[37.5536067,126.9674308],
               zoom_start=12)
m
# 대피소 마커 추가하기

for i in range(len(raw)):
    lat = raw.loc[i, '위도']
    long = raw.loc[i, '경도']
    name = raw.loc[i,'대피소명칭']
    num = raw.loc[i, '최대수용인원']


    folium.Marker([lat, long],tooltip= name, popup='%d명'%num).add_to(m)    
m

for문을 이용하여 대피소 모든 곳에 마커를 찍어 준다. 

* 문제점 : 마커가 너무 많아서 지도를 살펴보기에 어려움이 생긴다 

* 해결 : MarkerCluster 를 이용하여 근처에 있는 마커들 끼리 그룹으로 표현한다. 

 MarkerCluster 사용하여 그룹 생성하기 

# 지도 생성하기
m = folium.Map(location=[37.5536067,126.9674308],
               zoom_start=12)
marker_cluster = MarkerCluster().add_to(m)  # 클러스터 추가하기

# 대피소 마커 추가하기

for i in range(len(raw)):
    lat = raw.loc[i, '위도']
    long = raw.loc[i, '경도']
    name = raw.loc[i,'대피소명칭']
    num = raw.loc[i, '최대수용인원']


    folium.Marker([lat, long],tooltip= name, popup='%d명'%num).add_to(marker_cluster)    
m

그룹을 클릭하여 자세히 확대가 되면, 마커를 볼 수 있다. 보다 지도를 효율적으로 확인할 수 있게 되었다. 

- 미니맵 추가 

from folium.plugins import MiniMap

# 지도 생성하기
m = folium.Map(location=[37.5536067,126.9674308],
               zoom_start=12)
marker_cluster = MarkerCluster().add_to(m)  # 클러스터 추가하기


# 미니맵 추가 
minimap = MiniMap()
m.add_child(minimap) 


# 대피소 마커 추가하기
for i in range(len(raw)):
    lat = raw.loc[i, '위도']
    long = raw.loc[i, '경도']
    name = raw.loc[i,'대피소명칭']
    num = raw.loc[i, '최대수용인원']


    folium.Marker([lat, long],tooltip= name, popup='%d명'%num).add_to(marker_cluster)    
m

 마무리 : 지도 저장 (html) 

m.save('./data/Sheltermap.html')

html로 저장하여 큰 화면으로 언제든 지도를 꺼내볼 수 있다. 

러닝스푼 수업 정리 

수치형 x 수치형 : scatterplot, lmplot, jointplot 

수치형 x 카테고리형 : boxplot, violinplot, barplot, heatmap 

수치형 x 위치형 : folium 라이브러리 활용 

본 포스팅에서는 seaborn 라이브러리의 distplot, relplot, jointplot, pairplot, boxplot, swarmplot, heatmap 을 사용한다. 

 데이터 불러오기 & 살펴보기 

import seaborn as sns

seaborn 을 import 해주고, 약어는 sns를 쓴다. 

raw = sns.load_dataset('tips')

seaborn 라이브러리에 저장된 데이터셋을 불러올 수 있다. 데이터는 데이터프레임 형식으로, pandas를 사용하여 분석할 수 있다. 

raw.head()

total_bill ( 총 금액 ) , tip ( 팁 ) , sex ( 성별 ) , smoker ( 흡연 여부 ) , day ( 요일 ) , time ( 식사 시간 ) , size ( 인원 수 ) 

raw.info()

info()를 이용하여 row, column의 개수, data type, 결측값 확인을 해 준다. 

 데이터 분포 살펴보기 (수치형) 

• sns.distplot( df[ '컬럼명' ] )

raw['total_bill']

수치형 자료인 total_bill 컬럼의 분포를 살펴본다. 

sns.distplot(raw['total_bill'])

 데이터 분포 살펴보기 ( 수치형 vs 수치형 ) 

• relplot( data=df, x=, y=, hue=, kind='scatter' ) 

: 두 개의 수치형 변수 분포 확인 

- kind = 'scatter' (default) 

- kind = 'line' 

sns.relplot(x = 'tip', y = 'total_bill', data = raw)  # kind 옵션 값 미지정시 "scatter"

sns.relplot(x = 'tip', y = 'total_bill', data = raw, kind = 'line')

sns.relplot(x = 'tip', y = 'total_bill', data = raw, hue = 'sex')

hue를 성별로 지정하여 성별을 기준으로 나누어 확인해볼 수 있다. 

 관계 살펴보기 (수치형 vs 수치형 ) 

• jointplot ( data=df, x=, y=, kind='scatter' ) 

- kind = 'scatter' : (default / point) 

- kind = 'reg' : (point + regression)

- kind = 'kde' : 누적분포차트 like 지도

sns.jointplot(data = raw, x = 'tip', y = 'total_bill')  # kind 값 미 지정시 기본 값은 kind = 'scatter'

sns.jointplot(data = raw, x = 'tip', y = 'total_bill', kind = 'kde')

sns.jointplot(data = raw, x = 'tip', y = 'total_bill', kind = 'reg')

sns.jointplot(data = raw, x = 'tip', y = 'total_bill', kind = 'hex')

kind='hex'는 kde와 비슷한데, 겹치지 않는 정육각형으로 표시된다. 

• pairplot( data=df ) 

: df 의 모든 수치형데이터 컬럼에서 두 컬럼씩 관계를 시각화 함 

sns.pairplot(data = raw)

서로 같은 컬럼이면 히스토그램을 그리고, 다른 컬럼은 두 수치형 데이터의 관계를 산점도로 표시해 준다. 

sns.pairplot(data = raw, hue = 'sex')

hue를 성별로 지정하여 성별 간 분포를 확인할 수 있다. 

 데이터 분포 살펴보기 (수치형 vs 카페고리형) 

• boxplot( data = df, x = , y = , hue = )

sns.boxplot(data = raw, x = 'day', y = 'tip')

요일 별 팁의 분포를 확인한다. 

sns.boxplot(data = raw, x = 'day', y = 'tip', hue = 'smoker')

hue를 smoker로 지정하여 흡연자 여부를 기준으로 분포를 확인할 수 있다. 

• swarmplot( data=, x=, y=, hue=, dodge= )

: boxplot과 비슷하다. boxplot은 하나의 기준에 대한 데이터 분포 범위를 파악하는 데 용이하지만 , 데이터의 개수를 표현하지는 않기 때문에 , 데이터 개수가 다른 값을 비교하기에는 문제가 있을 수 있다. 이 때 swarmplot을 이용한다. 

sns.swarmplot(data = raw, x = 'day', y = 'tip', hue = 'smoker', dodge=True)

dodge=False로 하면 두 색이 겹쳐 나온다. 

sns.boxplot(data = raw, x = 'day', y = 'tip', hue = 'smoker')
sns.swarmplot(data = raw, x = 'day', y = 'tip', hue = 'smoker', dodge=True)

boxplot과 swarplot을 겹쳐셔 그려볼 수도 있다. 

sns.boxplot(data = raw, x = 'size', y = 'tip', hue = 'sex')

• barplot( data=df, x=, y=, hue= ) 

sns.barplot(data = raw, x = 'size', y = 'tip', hue = 'sex')

 데이터 살펴보기 (수치형 vs 카테고리형 vs 카테고리형)

• heatmap( data = df )

df = raw.pivot_table(index = 'day', columns = 'size', values = 'tip', aggfunc='mean')
df

우선 인덱스를 day, column을 size, value를 tip으로 설정하여 요일 별 인원수에 따른 tip 테이블을 생성한다. 

sns.heatmap(data = df)

카테고리형 - 카테고리형의 관계를 수치형을 이용하여 표현하는 heatmap이다. 

다음과 같은 여러 설정을 할 수 있다. 

sns.heatmap(data = df, 
           annot = True, fmt = '.2f')

sns.heatmap(data = df, 
           annot = True, fmt = '0.2f',
           cmap = 'Pastel1')

* annot : 숫자 표시, fmt : 숫자 포매팅 , cmap : 색깔 

* cmap 추천 색 : Reds , Blues, Vlag, Pastel1, RdBu_r

러닝스푼즈 수업 정리 

< 이전 글 > 

https://silvercoding.tistory.com/50

 데이터 불러오기 & 살펴보기 

import pandas as pd

file = './data/babyNamesUS.csv'
raw = pd.read_csv(file)

raw.head()

raw.info()

 남녀 구분없이 '많이' 사용되는 공통 이름 ? 

idea : 남녀 이름 개수의 비율 차이가 작을수록 성별 구분이 없는 이름일 것이다 !  

# 성별에 따른 이름 개수 집계
name_df = raw.pivot_table(index = 'Name', columns = 'Sex', values = 'Number', aggfunc='sum')

# 결측값 채우기 (0) 
name_df = name_df.fillna(0)

# float -> int 
name_df = name_df.astype(int)
name_df.head()

여기까지 저번 포스팅에서 했던 내용이다. 

name_df['Sum'] = name_df['M'] + name_df['F']
name_df.head()

남녀 이름 개수를 모두 더해서 sum 이라는 컬럼을 생성한다. 

# 남, 녀 비율 계산 
name_df['F_ratio'] = name_df['F'] / name_df['Sum']
name_df['M_ratio'] = name_df['M'] / name_df['Sum']

# 남, 녀 비율 간 차이
name_df['M_F_Gap'] = abs(name_df['F_ratio'] - name_df['M_ratio'])
name_df.head()

-1 ~ 1 의 범위를 abs() (절댓값) 를 사용하여 0 ~ 1 범위로 바꾸어 준다. 

# 이름 총 개수를 기준으로 내림차순 정렬 
name_df = name_df.sort_values(by = 'Sum', ascending=False)
name_df.head(20)

많이 사용된 이름을 뽑는 것이기 때문에 우선 총 합계 컬럼을 기준으로 정렬해준다. 

cond = name_df['M_F_Gap'] < 0.1
name_df[cond].head(10)

이 때 비율차이가 적은 것을 0.1 미만으로 기준 잡고,  M_F_Gap 컬럼이 0.1 보다 작은 행들을 출력시킨다.  

# 성별 구분없이 많이 사용되는 이름 Top 10 
name_df[cond].head(10).index

 가장 대표적인 미국의 이름 ? ( 최근 트렌드 ) 

idea : 세대를 기준으로 최근 세대(2020, 1990) 이름 개수의 비율이 큰 이름이 최근 트렌드에 맞는 대표적인 미국 이름일 것이다 ! 

raw.head()

# unique() 를 통해, 기간에 들어가는 값들을 살펴봅니다. 
raw['YearOfBirth'].unique()

array([1910, 1911, 1912, 1913, 1914, 1915, 1916, 1917, 1918, 1919, 1920, 1921, 1922, 1923, 1924, 1925, 1926, 1927, 1928, 1929, 1930, 1931, 1932, 1933, 1934, 1935, 1936, 1937, 1938, 1939, 1940, 1941, 1942, 1943, 1944, 1945, 1946, 1947, 1948, 1949, 1950, 1951, 1952, 1953, 1954, 1955, 1956, 1957, 1958, 1959, 1960, 1961, 1962, 1963, 1964, 1965, 1966, 1967, 1968, 1969, 1970, 1971, 1972, 1973, 1974, 1975, 1976, 1977, 1978, 1979, 1980, 1981, 1982, 1983, 1984, 1985, 1986, 1987, 1988, 1989, 1990, 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009, 2010, 2011, 2012, 2013, 2014, 2015], dtype=int64)

* 세대 나누기 

한 세대 나누는 기준 30년 : 2020년 기준 30년씩 구분

• 1930년대 이전
• 1960년대 이전
• 1990년대 이전
• 2020년 이전

year_class_list = [ ]

for year in raw['YearOfBirth']:
    if year <= 1930: 
        year_class = '1930년이전'
    elif year<= 1960: 
        year_class = '1960년이전'
    elif year <= 1990:
        year_class = '1990년이전'
    else:
        year_class = '2020년이전'
    year_class_list.append(year_class)

위와같이 반복문과 if문을 사용하여 출생년도를 4개의 세대 그룹으로 나누어 준다. 

raw['year_class'] = year_class_list
raw.head()

세대 그룹을 저장한 리스트를 이용하여 year_class 컬럼을 생성한다. 

name_period = raw.pivot_table(index = ['Name', 'Sex'], columns = 'year_class', values = 'Number', aggfunc='sum')
name_period = name_period.fillna(0)
name_period = name_period.astype(int)
name_period.head()

이름과 성별을 인덱스로 설정하고, year_class에 따른 number의 합계를 출력한다. 

name_period['sum'] = name_period.sum(axis = 1)
name_period.head()

이름 총 개수를 구하기 위해 sum(axis=1) 을 사용한다.  axis=1이면 가로방향으로 계산을 하게 된다. 

# 세대 별 비율 계산 
for col in name_period.columns:
    col_new = col+"비율"
    name_period[col_new] = name_period[col] / name_period['sum']
    
name_period.head()

세대 별 비율을 계산하여 각 컬럼을 만들어 준다. 

# 이름 사용수 합계, 2020년 이전 비율, 1990년이전 비율 기준 내림차순 정렬 
name_period = name_period.sort_values(by = ['sum', '2020년이전비율','1990년이전비율'], ascending=False)
name_period

1순위 이름 개수 총 합 , 2순위 2020년 이전 비율 , 3순위 1990년 이전 비율 로 정렬을 하여 최신 트렌드에 맞는 미국 대표이름을 알아본다. 

# 인덱스가 여러 레벨로 되어있을 경우, 인덱스를 활용해 컨트롤 하는 것은 복잡
# reset_index()를 활용하여 인덱스로 설정된 이름과 성별을 컬럼으로 변경
name_period = name_period.reset_index()
name_period.head()

인덱스를 활용하여 컨트롤이 어려우므로 필요한 집계, 연산이 끝난 뒤에는 reset_index를 사용하여 column으로 변경해 준다. 

# 남자 이름만 선택
cond = name_period['Sex'] =='M'
name_period[cond].head(10)

성별이 남성인 이름들 중에서 상위 10개를 뽑아보면 위와 같다. 

# 이번에는 여자이름
cond = name_period['Sex'] =='F'
name_period[cond].head(10)

이번엔 성별이 여성인 이름의 상위 10개를 뽑은 것이다. 

그런데 아직은 이상하다. 특히 성별이 여자인 이름의 표에서 첫번째 row는 1960년 이전 세대에서 약 50%의 비율을 차지하고 있다. 따라서 다음과 같은 조건을 건다. 

cond_age = name_period['2020년이전비율'] > 0.3
cond_sex = name_period['Sex'] == 'M'
cond = cond_age & cond_sex
name_period[cond].head(5)

2020년 이전비율이 0.3 이상이면서 성별이 남성인 조건인 row를 선택한다. 

결과 : < 남성 Top 5 이름 Christopher, Daniel, Matthew, Anthony, Andrew >

cond_age = name_period['2020년이전비율'] > 0.3
cond_sex = name_period['Sex'] == 'F'
cond = cond_age & cond_sex
name_period[cond].head(5)

여성의 경우도 동일한 조건으로 진행한다. 

결과 : < 여성 Top 5 이름 Jessica, Sarah, Ashley, Stephanie, Emily >

러닝스푼즈 수업 정리 

< 이전 글 > 

https://silvercoding.tistory.com/49

 1. 데이터 불러오기 & 살펴보기 

import pandas as pd

pandas import 해주기 

file = './data/babyNamesUS.csv'
raw = pd.read_csv(file)

오늘 학습할 csv 파일을 pandas로 불러와 준다. 

raw.head()

raw.info()

1048575 개의 row와 5개의 column 이 존재하며, 결측값을 없다. 

[ 컬럼 정보 : 주, 성별, 출생년도, 이름, 이름 개수 ]

 2. 집계하기 ( pivot_table ) 

pd.pivot_table(index = '컬럼명', columns = '컬럼명', values = '컬럼명', aggfunc = 'sum')

raw.pivot_table(index = 'Name', values = 'Number', aggfunc='sum')

이름 별 빈도수 집계해서 볼 수 있다. columns를 따로 설정하지 않으면 values가 column이 된다. 

name_df = raw.pivot_table(index = 'Name', values = 'Number', columns = 'Sex', aggfunc='sum')
name_df.head()

이렇게 성별을 기준으로 이름의 빈도수를 집계할 수 있다. 

name_df.info()

위의 피벗테이블 데이터프레임의 info를 보면 F, M 모두 결측값이 꽤 있는 것을 알 수 있다. 

 3. 결측값 채우기 

• 공통된 값을 입력(ex 0)
• 임의의 수를 입력(ex 평균, 최대값, 최소값, 비어있는 자리 주변의 값 등)
• 비어있는 데이터는 분석에서 제외

- fillna()

name_df = name_df.fillna(0)
name_df.head()

이 데이터의 경우 개수가 채워져 있지 않은 것은 사용하지 않는다고 가정할 수 있으므로 0으로 모든 결측값을 채운다. 

name_df.info()

결측값이 모두 채워진 것을 볼 수 있다 

 4. 정렬하기 : sort_values(by='컬럼명', ascending=True)

- 남자, 여자 각각 가장 많이 사용되는 이름 알아보기 

name_df.sort_values(by = 'M')

남성을 기준으로 정렬하였다. 그런데 기본이 ascending=True 이므로 오름차순으로 되어있다. 상위 5개를 알아볼 것이기 때문에 내림차순으로 바꾸어 준다. 

name_df.sort_values(by = 'M', ascending = False)

name_df.sort_values(by = 'M', ascending = False).head().index

Index(['Michael', 'James', 'Robert', 'John', 'David'], dtype='object', name='Name')

index만 추출해서 상위 5개의 이름만 뽑은 것이다. 

name_df.sort_values(by = 'F', ascending = False).head().index

Index(['Mary', 'Jennifer', 'Elizabeth', 'Patricia', 'Linda'], dtype='object', name='Name')

여성의 상위 5개 이름도 마찬가지로 뽑아준다. 

 5. 컬럼별 데이터 종류 확인하기 

- unique : 종류 알아보기 

raw['StateCode'].unique()

- value_counts() : 종류 + 개수

raw['StateCode'].value_counts()

raw['YearOfBirth'].value_counts()

2007년에 기록된 이름이 가장 많다!