[python pandas] 3. pandas 기초 사용 (3) - 집계, 결측값, 정렬

러닝스푼즈 수업 정리 

 

 

< 이전 글 > 

https://silvercoding.tistory.com/49

[python pandas] 2. pandas 기초 사용 (2) - 추가, 병합, 저장

 

 

 

---

 1. 데이터 불러오기 & 살펴보기 

import pandas as pd

pandas import 해주기 

file = './data/babyNamesUS.csv'
raw = pd.read_csv(file)

오늘 학습할 csv 파일을 pandas로 불러와 준다. 

raw.head()

raw.info()

1048575 개의 row와 5개의 column 이 존재하며, 결측값을 없다. 

[ 컬럼 정보 : 주, 성별, 출생년도, 이름, 이름 개수 ]

 

---

 

 2. 집계하기 ( pivot_table ) 

pd.pivot_table(index = '컬럼명', columns = '컬럼명', values = '컬럼명', aggfunc = 'sum')

raw.pivot_table(index = 'Name', values = 'Number', aggfunc='sum')

이름 별 빈도수 집계해서 볼 수 있다. columns를 따로 설정하지 않으면 values가 column이 된다. 

name_df = raw.pivot_table(index = 'Name', values = 'Number', columns = 'Sex', aggfunc='sum')
name_df.head()

이렇게 성별을 기준으로 이름의 빈도수를 집계할 수 있다. 

name_df.info()

위의 피벗테이블 데이터프레임의 info를 보면 F, M 모두 결측값이 꽤 있는 것을 알 수 있다. 

 

 

 

 

 3. 결측값 채우기 

• 공통된 값을 입력(ex 0)
• 임의의 수를 입력(ex 평균, 최대값, 최소값, 비어있는 자리 주변의 값 등)
• 비어있는 데이터는 분석에서 제외

- fillna()

name_df = name_df.fillna(0)
name_df.head()

이 데이터의 경우 개수가 채워져 있지 않은 것은 사용하지 않는다고 가정할 수 있으므로 0으로 모든 결측값을 채운다. 

name_df.info()

결측값이 모두 채워진 것을 볼 수 있다 

 

 

 

 

 4. 정렬하기 : sort_values(by='컬럼명', ascending=True)

- 남자, 여자 각각 가장 많이 사용되는 이름 알아보기 

name_df.sort_values(by = 'M')

남성을 기준으로 정렬하였다. 그런데 기본이 ascending=True 이므로 오름차순으로 되어있다. 상위 5개를 알아볼 것이기 때문에 내림차순으로 바꾸어 준다. 

name_df.sort_values(by = 'M', ascending = False)

name_df.sort_values(by = 'M', ascending = False).head().index

Index(['Michael', 'James', 'Robert', 'John', 'David'], dtype='object', name='Name')

index만 추출해서 상위 5개의 이름만 뽑은 것이다. 

name_df.sort_values(by = 'F', ascending = False).head().index

Index(['Mary', 'Jennifer', 'Elizabeth', 'Patricia', 'Linda'], dtype='object', name='Name')

여성의 상위 5개 이름도 마찬가지로 뽑아준다. 

 

 

 

 

 5. 컬럼별 데이터 종류 확인하기 

- unique : 종류 알아보기 

raw['StateCode'].unique()

- value_counts() : 종류 + 개수

raw['StateCode'].value_counts()

raw['YearOfBirth'].value_counts()

2007년에 기록된 이름이 가장 많다! 

---