🤍

러닝스푼 수업 정리 

수치형 x 수치형 : scatterplot, lmplot, jointplot 

수치형 x 카테고리형 : boxplot, violinplot, barplot, heatmap 

수치형 x 위치형 : folium 라이브러리 활용 

본 포스팅에서는 seaborn 라이브러리의 distplot, relplot, jointplot, pairplot, boxplot, swarmplot, heatmap 을 사용한다. 

 데이터 불러오기 & 살펴보기 

import seaborn as sns

seaborn 을 import 해주고, 약어는 sns를 쓴다. 

raw = sns.load_dataset('tips')

seaborn 라이브러리에 저장된 데이터셋을 불러올 수 있다. 데이터는 데이터프레임 형식으로, pandas를 사용하여 분석할 수 있다. 

raw.head()

total_bill ( 총 금액 ) , tip ( 팁 ) , sex ( 성별 ) , smoker ( 흡연 여부 ) , day ( 요일 ) , time ( 식사 시간 ) , size ( 인원 수 ) 

raw.info()

info()를 이용하여 row, column의 개수, data type, 결측값 확인을 해 준다. 

 데이터 분포 살펴보기 (수치형) 

• sns.distplot( df[ '컬럼명' ] )

raw['total_bill']

수치형 자료인 total_bill 컬럼의 분포를 살펴본다. 

sns.distplot(raw['total_bill'])

 데이터 분포 살펴보기 ( 수치형 vs 수치형 ) 

• relplot( data=df, x=, y=, hue=, kind='scatter' ) 

: 두 개의 수치형 변수 분포 확인 

- kind = 'scatter' (default) 

- kind = 'line' 

sns.relplot(x = 'tip', y = 'total_bill', data = raw)  # kind 옵션 값 미지정시 "scatter"

sns.relplot(x = 'tip', y = 'total_bill', data = raw, kind = 'line')

sns.relplot(x = 'tip', y = 'total_bill', data = raw, hue = 'sex')

hue를 성별로 지정하여 성별을 기준으로 나누어 확인해볼 수 있다. 

 관계 살펴보기 (수치형 vs 수치형 ) 

• jointplot ( data=df, x=, y=, kind='scatter' ) 

- kind = 'scatter' : (default / point) 

- kind = 'reg' : (point + regression)

- kind = 'kde' : 누적분포차트 like 지도

sns.jointplot(data = raw, x = 'tip', y = 'total_bill')  # kind 값 미 지정시 기본 값은 kind = 'scatter'

sns.jointplot(data = raw, x = 'tip', y = 'total_bill', kind = 'kde')

sns.jointplot(data = raw, x = 'tip', y = 'total_bill', kind = 'reg')

sns.jointplot(data = raw, x = 'tip', y = 'total_bill', kind = 'hex')

kind='hex'는 kde와 비슷한데, 겹치지 않는 정육각형으로 표시된다. 

• pairplot( data=df ) 

: df 의 모든 수치형데이터 컬럼에서 두 컬럼씩 관계를 시각화 함 

sns.pairplot(data = raw)

서로 같은 컬럼이면 히스토그램을 그리고, 다른 컬럼은 두 수치형 데이터의 관계를 산점도로 표시해 준다. 

sns.pairplot(data = raw, hue = 'sex')

hue를 성별로 지정하여 성별 간 분포를 확인할 수 있다. 

 데이터 분포 살펴보기 (수치형 vs 카페고리형) 

• boxplot( data = df, x = , y = , hue = )

sns.boxplot(data = raw, x = 'day', y = 'tip')

요일 별 팁의 분포를 확인한다. 

sns.boxplot(data = raw, x = 'day', y = 'tip', hue = 'smoker')

hue를 smoker로 지정하여 흡연자 여부를 기준으로 분포를 확인할 수 있다. 

• swarmplot( data=, x=, y=, hue=, dodge= )

: boxplot과 비슷하다. boxplot은 하나의 기준에 대한 데이터 분포 범위를 파악하는 데 용이하지만 , 데이터의 개수를 표현하지는 않기 때문에 , 데이터 개수가 다른 값을 비교하기에는 문제가 있을 수 있다. 이 때 swarmplot을 이용한다. 

sns.swarmplot(data = raw, x = 'day', y = 'tip', hue = 'smoker', dodge=True)

dodge=False로 하면 두 색이 겹쳐 나온다. 

sns.boxplot(data = raw, x = 'day', y = 'tip', hue = 'smoker')
sns.swarmplot(data = raw, x = 'day', y = 'tip', hue = 'smoker', dodge=True)

boxplot과 swarplot을 겹쳐셔 그려볼 수도 있다. 

sns.boxplot(data = raw, x = 'size', y = 'tip', hue = 'sex')

• barplot( data=df, x=, y=, hue= ) 

sns.barplot(data = raw, x = 'size', y = 'tip', hue = 'sex')

 데이터 살펴보기 (수치형 vs 카테고리형 vs 카테고리형)

• heatmap( data = df )

df = raw.pivot_table(index = 'day', columns = 'size', values = 'tip', aggfunc='mean')
df

우선 인덱스를 day, column을 size, value를 tip으로 설정하여 요일 별 인원수에 따른 tip 테이블을 생성한다. 

sns.heatmap(data = df)

카테고리형 - 카테고리형의 관계를 수치형을 이용하여 표현하는 heatmap이다. 

다음과 같은 여러 설정을 할 수 있다. 

sns.heatmap(data = df, 
           annot = True, fmt = '.2f')

sns.heatmap(data = df, 
           annot = True, fmt = '0.2f',
           cmap = 'Pastel1')

* annot : 숫자 표시, fmt : 숫자 포매팅 , cmap : 색깔 

* cmap 추천 색 : Reds , Blues, Vlag, Pastel1, RdBu_r

러닝스푼즈 수업 정리 

< 이전 글 > 

https://silvercoding.tistory.com/50

 데이터 불러오기 & 살펴보기 

import pandas as pd

file = './data/babyNamesUS.csv'
raw = pd.read_csv(file)

raw.head()

raw.info()

 남녀 구분없이 '많이' 사용되는 공통 이름 ? 

idea : 남녀 이름 개수의 비율 차이가 작을수록 성별 구분이 없는 이름일 것이다 !  

# 성별에 따른 이름 개수 집계
name_df = raw.pivot_table(index = 'Name', columns = 'Sex', values = 'Number', aggfunc='sum')

# 결측값 채우기 (0) 
name_df = name_df.fillna(0)

# float -> int 
name_df = name_df.astype(int)
name_df.head()

여기까지 저번 포스팅에서 했던 내용이다. 

name_df['Sum'] = name_df['M'] + name_df['F']
name_df.head()

남녀 이름 개수를 모두 더해서 sum 이라는 컬럼을 생성한다. 

# 남, 녀 비율 계산 
name_df['F_ratio'] = name_df['F'] / name_df['Sum']
name_df['M_ratio'] = name_df['M'] / name_df['Sum']

# 남, 녀 비율 간 차이
name_df['M_F_Gap'] = abs(name_df['F_ratio'] - name_df['M_ratio'])
name_df.head()

-1 ~ 1 의 범위를 abs() (절댓값) 를 사용하여 0 ~ 1 범위로 바꾸어 준다. 

# 이름 총 개수를 기준으로 내림차순 정렬 
name_df = name_df.sort_values(by = 'Sum', ascending=False)
name_df.head(20)

많이 사용된 이름을 뽑는 것이기 때문에 우선 총 합계 컬럼을 기준으로 정렬해준다. 

cond = name_df['M_F_Gap'] < 0.1
name_df[cond].head(10)

이 때 비율차이가 적은 것을 0.1 미만으로 기준 잡고,  M_F_Gap 컬럼이 0.1 보다 작은 행들을 출력시킨다.  

# 성별 구분없이 많이 사용되는 이름 Top 10 
name_df[cond].head(10).index

 가장 대표적인 미국의 이름 ? ( 최근 트렌드 ) 

idea : 세대를 기준으로 최근 세대(2020, 1990) 이름 개수의 비율이 큰 이름이 최근 트렌드에 맞는 대표적인 미국 이름일 것이다 ! 

raw.head()

# unique() 를 통해, 기간에 들어가는 값들을 살펴봅니다. 
raw['YearOfBirth'].unique()

array([1910, 1911, 1912, 1913, 1914, 1915, 1916, 1917, 1918, 1919, 1920, 1921, 1922, 1923, 1924, 1925, 1926, 1927, 1928, 1929, 1930, 1931, 1932, 1933, 1934, 1935, 1936, 1937, 1938, 1939, 1940, 1941, 1942, 1943, 1944, 1945, 1946, 1947, 1948, 1949, 1950, 1951, 1952, 1953, 1954, 1955, 1956, 1957, 1958, 1959, 1960, 1961, 1962, 1963, 1964, 1965, 1966, 1967, 1968, 1969, 1970, 1971, 1972, 1973, 1974, 1975, 1976, 1977, 1978, 1979, 1980, 1981, 1982, 1983, 1984, 1985, 1986, 1987, 1988, 1989, 1990, 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009, 2010, 2011, 2012, 2013, 2014, 2015], dtype=int64)

* 세대 나누기 

한 세대 나누는 기준 30년 : 2020년 기준 30년씩 구분

• 1930년대 이전
• 1960년대 이전
• 1990년대 이전
• 2020년 이전

year_class_list = [ ]

for year in raw['YearOfBirth']:
    if year <= 1930: 
        year_class = '1930년이전'
    elif year<= 1960: 
        year_class = '1960년이전'
    elif year <= 1990:
        year_class = '1990년이전'
    else:
        year_class = '2020년이전'
    year_class_list.append(year_class)

위와같이 반복문과 if문을 사용하여 출생년도를 4개의 세대 그룹으로 나누어 준다. 

raw['year_class'] = year_class_list
raw.head()

세대 그룹을 저장한 리스트를 이용하여 year_class 컬럼을 생성한다. 

name_period = raw.pivot_table(index = ['Name', 'Sex'], columns = 'year_class', values = 'Number', aggfunc='sum')
name_period = name_period.fillna(0)
name_period = name_period.astype(int)
name_period.head()

이름과 성별을 인덱스로 설정하고, year_class에 따른 number의 합계를 출력한다. 

name_period['sum'] = name_period.sum(axis = 1)
name_period.head()

이름 총 개수를 구하기 위해 sum(axis=1) 을 사용한다.  axis=1이면 가로방향으로 계산을 하게 된다. 

# 세대 별 비율 계산 
for col in name_period.columns:
    col_new = col+"비율"
    name_period[col_new] = name_period[col] / name_period['sum']
    
name_period.head()

세대 별 비율을 계산하여 각 컬럼을 만들어 준다. 

# 이름 사용수 합계, 2020년 이전 비율, 1990년이전 비율 기준 내림차순 정렬 
name_period = name_period.sort_values(by = ['sum', '2020년이전비율','1990년이전비율'], ascending=False)
name_period

1순위 이름 개수 총 합 , 2순위 2020년 이전 비율 , 3순위 1990년 이전 비율 로 정렬을 하여 최신 트렌드에 맞는 미국 대표이름을 알아본다. 

# 인덱스가 여러 레벨로 되어있을 경우, 인덱스를 활용해 컨트롤 하는 것은 복잡
# reset_index()를 활용하여 인덱스로 설정된 이름과 성별을 컬럼으로 변경
name_period = name_period.reset_index()
name_period.head()

인덱스를 활용하여 컨트롤이 어려우므로 필요한 집계, 연산이 끝난 뒤에는 reset_index를 사용하여 column으로 변경해 준다. 

# 남자 이름만 선택
cond = name_period['Sex'] =='M'
name_period[cond].head(10)

성별이 남성인 이름들 중에서 상위 10개를 뽑아보면 위와 같다. 

# 이번에는 여자이름
cond = name_period['Sex'] =='F'
name_period[cond].head(10)

이번엔 성별이 여성인 이름의 상위 10개를 뽑은 것이다. 

그런데 아직은 이상하다. 특히 성별이 여자인 이름의 표에서 첫번째 row는 1960년 이전 세대에서 약 50%의 비율을 차지하고 있다. 따라서 다음과 같은 조건을 건다. 

cond_age = name_period['2020년이전비율'] > 0.3
cond_sex = name_period['Sex'] == 'M'
cond = cond_age & cond_sex
name_period[cond].head(5)

2020년 이전비율이 0.3 이상이면서 성별이 남성인 조건인 row를 선택한다. 

결과 : < 남성 Top 5 이름 Christopher, Daniel, Matthew, Anthony, Andrew >

cond_age = name_period['2020년이전비율'] > 0.3
cond_sex = name_period['Sex'] == 'F'
cond = cond_age & cond_sex
name_period[cond].head(5)

여성의 경우도 동일한 조건으로 진행한다. 

결과 : < 여성 Top 5 이름 Jessica, Sarah, Ashley, Stephanie, Emily >

러닝스푼즈 수업 정리 

< 이전 글 > 

https://silvercoding.tistory.com/49

 1. 데이터 불러오기 & 살펴보기 

import pandas as pd

pandas import 해주기 

file = './data/babyNamesUS.csv'
raw = pd.read_csv(file)

오늘 학습할 csv 파일을 pandas로 불러와 준다. 

raw.head()

raw.info()

1048575 개의 row와 5개의 column 이 존재하며, 결측값을 없다. 

[ 컬럼 정보 : 주, 성별, 출생년도, 이름, 이름 개수 ]

 2. 집계하기 ( pivot_table ) 

pd.pivot_table(index = '컬럼명', columns = '컬럼명', values = '컬럼명', aggfunc = 'sum')

raw.pivot_table(index = 'Name', values = 'Number', aggfunc='sum')

이름 별 빈도수 집계해서 볼 수 있다. columns를 따로 설정하지 않으면 values가 column이 된다. 

name_df = raw.pivot_table(index = 'Name', values = 'Number', columns = 'Sex', aggfunc='sum')
name_df.head()

이렇게 성별을 기준으로 이름의 빈도수를 집계할 수 있다. 

name_df.info()

위의 피벗테이블 데이터프레임의 info를 보면 F, M 모두 결측값이 꽤 있는 것을 알 수 있다. 

 3. 결측값 채우기 

• 공통된 값을 입력(ex 0)
• 임의의 수를 입력(ex 평균, 최대값, 최소값, 비어있는 자리 주변의 값 등)
• 비어있는 데이터는 분석에서 제외

- fillna()

name_df = name_df.fillna(0)
name_df.head()

이 데이터의 경우 개수가 채워져 있지 않은 것은 사용하지 않는다고 가정할 수 있으므로 0으로 모든 결측값을 채운다. 

name_df.info()

결측값이 모두 채워진 것을 볼 수 있다 

 4. 정렬하기 : sort_values(by='컬럼명', ascending=True)

- 남자, 여자 각각 가장 많이 사용되는 이름 알아보기 

name_df.sort_values(by = 'M')

남성을 기준으로 정렬하였다. 그런데 기본이 ascending=True 이므로 오름차순으로 되어있다. 상위 5개를 알아볼 것이기 때문에 내림차순으로 바꾸어 준다. 

name_df.sort_values(by = 'M', ascending = False)

name_df.sort_values(by = 'M', ascending = False).head().index

Index(['Michael', 'James', 'Robert', 'John', 'David'], dtype='object', name='Name')

index만 추출해서 상위 5개의 이름만 뽑은 것이다. 

name_df.sort_values(by = 'F', ascending = False).head().index

Index(['Mary', 'Jennifer', 'Elizabeth', 'Patricia', 'Linda'], dtype='object', name='Name')

여성의 상위 5개 이름도 마찬가지로 뽑아준다. 

 5. 컬럼별 데이터 종류 확인하기 

- unique : 종류 알아보기 

raw['StateCode'].unique()

- value_counts() : 종류 + 개수

raw['StateCode'].value_counts()

raw['YearOfBirth'].value_counts()

2007년에 기록된 이름이 가장 많다! 

러닝스푼 수업 정리 

< 이전 글 > 

https://silvercoding.tistory.com/48

 1. pandas 불러오기 

import pandas as pd

 2. 데이터 불러오기 & 살펴보기 

fpath = './data/exam.xlsx' 
data = pd.read_excel(fpath, index_col = '번호')

index_col='번호' 로 지정하여 엑셀 파일 불러오기 

* head(), info(), describe() 를 사용하여 데이터 살펴보는 습관 갖기 

data.head()

data.info()

data.describe()

 3. 데이터 추가하기 

df[ '컬럼명' ] =  data ( df.컬럼명 = data 형태는 사용 불가능 )  

- 하나의 값 추가 : 전체 모두 동일한 값으로 추가됨 

- 그룹 추가 : 리스트, 판다스의 시리즈로 추가 

data['수학']

data.수학

데이터를 선택할 땐 위와 같은 두가지 방법으로 작성해주었다. 

- 한개 값 추가 

data['음악'] = 90             
data.head()

데이터를 추가할 땐 data.음악 의 형태로는 불가능 하다. 한개의 값을 추가하면 모든 row에 같은 값이 들어가게 된다. 

- 여러 값 추가 

data['체육'] =  [100, 80, 60]
data.head()

리스트로 여러 값을 추가해 줄 수도 있다. 이 때 주의할 점은 리스트 원소 개수와 row개수가 같아야 한다. 

data['국영수'] =  (data['국어'] + data['영어'] + data['수학'] ) / 3
data.head()

이렇게 컬럼 간의 연산을 통하여 새로운 컬럼을 만들어 줄 수도 있다. 

 4. 데이터 표 병합하기 

fpath = './data/exam.xlsx'
A = pd.read_excel(fpath, index_col = '번호')
A.head()

파일을 다시 불러와서 A 변수에 저장해 준다. 

fpath2 = './data/exam_extra.xlsx'
B = pd.read_excel(fpath2, index_col = '번호')
B.head()

추가 할 엑셀파일을 불러와 B 변수에 저장해 준다.

- merge()

병합 기준을 인자에 넣어 설정해줄 수 있다. 이 때, left_on 과 left_index 중 1개, right_on 과 right_index 중 1개를 써야 하고, 두가지를 한번에 사용할 수 없다. 

total = pd.merge(A, B, how = 'left', left_index = True, right_index = True)
total.head()

left일 경우 A를 기준으로 합병이 된다. 4번, 5번은 나오지 않고, B의 3번은 NaN으로 채워진다. 

pd.merge(A, B, how = 'right', left_index = True, right_index = True)

위와 같이 작성되었을 때 , B에 맞추어 합병된다. 따라서 3번은 없는 것을 볼 수 있다. 

pd.merge(A, B, how = 'inner', left_index = True, right_index = True)

inner를 사용하였을 경우 , A 와 B 모두 존재하는 인덱스의만 합병해준다. 

pd.merge(A, B, how = 'outer', left_index= True, right_index=True)

outer를 사용하였을 경우 모든 데이터를 합병해 준다. 

 5 . 저장하기 

total = pd.merge(A, B, how = 'left', left_index = True, right_index = True)
total

최종 모델은 left, A를 기준으로 합병한 데이터프레임으로 total 변수를 선언하고 , 저장을 해보자 ! 

total.to_excel('./data/exam_total.xlsx')

total.to_excel('./data/exam_total_withoutindex.xlsx', index = False)

index = False 인자를 사용하여 '번호' 컬럼을 제외하고 저장할 수 있다. 

러닝스푼 수업 정리 

* 판다스 기본 함수 

데이터 파일 읽기 : read_excel(), read_csv()

데이터 선택하기 : df.loc(), df.iloc()

인덱스/ 컬럼 변경하기 : columns/ index , reset_index() 

 pandas vs excel 

pandas : 가볍고 빨라서 대용량 파일 작업을 자유롭게 할 수 있다. 

excel : 모든 데이터가 눈에 보인다. (데이터가 많아 직접 보기 어려울 수 있다. ) 

 pandas 구조 

• DataFrame : 표 형태 

- index : DB의 key 개념 , 엑셀에서는 보통 첫 번째 열에 배치하는 데이터 (vlookup 등에 활용) 

- columns : 하나의 속성을 가진 데이터의 집합 -> index + column 하나로 나누어 살펴 볼 수 있음 

• Series : 하나의 속성을 가진 데이터 집합 ( DataFrame 에서 하나의 열 데이터 ) 
•  

 1. Pandas 불러오기 

- pandas 설치 

!pip install pandas

- pandas 불러오기 

import pandas as pd

 2. 데이터 불러오기 & 데이터 살펴보기 

* 파일의 경로 

- 절대경로 : "c:폴더1/폴더2/.../파일명.확장자" 

- 상대경로 : "./폴더3/.../파일명.확장자" , "../폴더4/.../파일명.확장자" (쥬피터 노트북 파일 위치를 기준으로 지정) 

- ./ : 현재 위치 ../ : 부모 폴더

* 데이터를 불러들인 뒤에는 head(), info(), descrive() 명령을 통해 데이터를 살펴보는 습관 갖기 

temp = pd.read_excel('./data/exam.xlsx')

temp

temp.head(2)

head 인자에 개수를 지정해 줄 수 있다. 

temp.tail()

- info () : 데이터프레임의 인덱스, 컬럼의 데이터 개수와 종류 확인 

temp.info()

- describe() : 수치형 데이터 (inf, float) 가 들어있는 컬럼의 기초통계량 (개수,평균,표준편차,사분위 등) 확인

temp.describe()

 2-1 인덱스 지정 

- set_index() : 인덱스 컬럼 지정하기 (컬럼 -> 인덱스) 

data = temp.set_index('번호')
data.head()

set_index를 이용하여 '번호' 컬럼을 인덱스로 지정해 주었다. 

- index_col : 엑셀 파일 읽어올 때 인덱스 지정 

temp2 = pd.read_excel('./data/exam.xlsx', index_col = 0) # index_col = '번호' (컬럼명 활용)
temp2.head()

 3. 데이터 선택하기 

- 셀 선택하기 (1개)

df.iloc[row, column] : 인덱스 번호

df.lic[row, column] : 이름 

data

data.iloc[1, 2]

55

data.loc['1번','수학']

75

print(data.loc['3번','영어'])
print(data.iloc[2, 1])

100

100

print(data.loc['1번', '국어'])
print(data.iloc[0, 0])

70

70

- 셀 선택하기 (복수) 

: 리스트 ( [조건1, 조건2, ... 조건n] ) 혹은 시작:종료 형태로 범위 지정 

data.loc['1번', ['국어', '영어']]

국어 70

영어 80

Name: 1번, dtype: int64

data.loc[ ['1번','2번'] , '수학']

번호

1번 75

2번 55

Name: 수학, dtype: int64

data.loc['1번', '영어': ]

영어 80

수학 75

Name: 1번, dtype: int64

- 컬럼 선택하기 (1개)

: data.컬럼명 or data.['컬럼명']

data.loc[ : , '수학']

data['수학']

data['영어']

- 컬럼 선택하기 (복수)

: 원하는 순서대로 선택 가능

data[ ['수학','영어'] ]

data[  ['수학','영어','국어']  ]

원래는 국어 영어 수학 순서였는데 위와같이 순서를 달리 하여 출력할 수 있다. 

- 특정 조건 데이터 선택하기 (한개)

pd[condition] : True인 데이터만 출력 

-> condition : True / False 로 구성된 리스트 or 시리즈 

data

cond = data['수학'] < 80
cond

이렇게 수학 컬럼에 대해 조건을 생성하면 bool타입을 반환해 준다. 

data[ cond ]

위의 조건을 데이터프레임에 적용하면 True인 row들만 나오게 된다. 

cond = [True, False, True]    # data['영어'] >  80
data[cond]

리스트에 직접 bool타입을 넣어 뽑아줄 수도 있다. 이 때 리스트의 개수와 row의 개수는 같아야 한다. 

- 특정 조건 데이터 선택하기 (여러개의 조건)

& : and , 모든 조건 만족 True

| : or , 한 개라도 만족하면 True

cond3 = (data['영어'] > 80)
cond4 = (data['수학'] > 80)

data[ cond3 | cond4]

cond3 = (data['영어'] > 80)
cond4 = (data['수학'] > 80)

cond = cond3 & cond4
data[ cond ]

cond = (data['영어'] >= 70)  & (data['수학'] >= 70)  & (data['수학'] < 90) 
data[ cond ]

cond = (data['영어'] >= 70) \
    & (data['수학'] >= 70) \
     & (data['수학'] < 90) 

data[ cond ]

줄을 바꿀 땐 \(역슬래쉬) 를 사용해 준다. 가독성이 좋아진다. 

cond_first  =  ( data['국어']  > 80)
cond_second =  ( data['영어']  > 80)

cond = cond_first   &   cond_second
data[cond]

cond_first  =  ( data['국어'] > 80 )
cond_second = ( data['영어'] > 80 )


cond = cond_first     |   cond_second

data[cond]

 index & column 

data.index

Index(['1번', '2번', '3번'], dtype='object', name='번호')

data.index = ['가반', '나반', '다반']

인덱스를 리스트로 설정해 줄 수 있다. 

data

설정한 대로 바뀐 것을 볼 수 있다. 

data.columns

Index(['국어', '영어', '수학'], dtype='object')

data.columns = ['Korean','English', 'Math']

동일하게 컬럼도 바꿔줄 수 있다. 

data

data.reset_index()

* reset_index : drop=False가 기본 값 ( 현재 인덱스를 컬럼으로 옮겨 주고 인덱스를 리셋) , 

drop = True ( 현재 인덱스에 있는 값을 컬럼으로 변경하지 않고 인덱스 초기화 ) 

코드 - 패캠 수업 코드 참고 (패캠 수업 정리)

<이전 글>

https://silvercoding.tistory.com/46

- sqlite3 import 

import sqlite3

- DB 연결 (생성) / (파일) 

conn = sqlite3.connect('./resource/database.db')

- Cursor 연결 

c = conn.cursor()

- 커밋

conn.commit()

이번엔 오토커밋 설정을 하지 않을 것이므로 코드에 가장 마지막에는 커밋을 선언해 놓아야 한다. 이 위에 코드를 작성하자. 

- 데이터 수정 

(1) 방법 1 : 튜플 

c.execute("UPDATE users SET username = ? WHERE id = ?", ('niceman', 2))

id = 2 인 username을 niceman으로 바꾸라는 뜻의 코드이다.

(2) 방법 2 : 딕셔너리 

c.execute("UPDATE users SET username = :name WHERE id = :id", {'name': 'goodgirl', 'id': 5})

딕셔너리로 key를 연결하여 수정할 수도 있다. 

(3) 방법 3 : format

c.execute("UPDATE users SET username = '%s' WHERE id ='%s'" % ('badboy', 3))

% 를 이용하여 연결해 줄 수도 있다. 

* 중간 데이터 확인 1

for user in c.execute("SELECT * FROM users"):
    print(user)

 (1, 'Kim', 'silver@naver.com', '010-0000-0000', 'kim.com', '2021-08-03 13:28:23') 
 (2, 'niceman', 'Park@daum.net', '010-1111-1111', 'Park.com', '2021-08-03 13:28:23') 
 (3, 'badboy', 'Lee@naver.com', '010-2222-2222', 'Lee.com', '2021-08-03 13:28:23') 
 (4, 'Cho', 'Cho@daum.net', '010-3333-3333', 'Cho.com', '2021-08-03 13:28:23') 
 (5, 'goodgirl', 'Yoo@google.com', '010-4444-4444', 'Yoo.net', '2021-08-03 13:28:23') 

이렇게 데이터 순회를 통해 바뀐 것을 확인 할 수 있다. 

- 데이터 삭제 

(1) Row Delete 

# 방법 1
c.execute("DELETE FROM users WHERE id = ?", (2,))

# 방법 2 
c.execute("DELETE FROM users WHERE id = :id", {'id' : 5})

# 방법 3 
c.execute("DELETE FROM users WHERE id = '%s'" % 4)

삭제도 같은 3가지의 방법으로 원하는 행을 선택하여 삭제할 수 있다. 

* 중간 데이터 확인 2 

for user in c.execute("SELECT * FROM users"):
    print(user)

 (1, 'Kim', 'silver@naver.com', '010-0000-0000', 'kim.com', '2021-08-03 13:28:23')    
 (3, 'badboy', 'Lee@naver.com', '010-2222-2222', 'Lee.com', '2021-08-03 13:28:23')   

(2) 테이블 전체 데이터 삭제 

print("users db deleted : ", conn.execute('DELETE FROM users').rowcount, " rows")

 users db deleted :  2  rows 

모두 삭제되었다!

- 커밋 & 접속 해제 

# 커밋
conn.commit()

# 접속 해제 
conn.close()

커밋은 계속 선언이 되어 있어야 하고, with문을 사용하지 않는다면 접속해제를 꼭 해주어야 한다. 

코드 - 패캠 수업 코드 참고 (패캠 수업 정리)

<이전 글>

https://silvercoding.tistory.com/45

* sqlite3 import 

import sqlite3

* DB 파일 조회 (없으면 새로 생성) 

conn = sqlite3.connect('./resource/database.db') # 본인 DB 경로

* 커서 바인딩

c = conn.cursor()

* 테이블 조회 

(1) 전체 데이터 조회 

c.execute('SELECT * FROM users')

이를 실행하면 아무일도 일어나지 않는다. 이제 이 상태에서 커서 위치를 변경해가며 데이터를 조회할 수 있다. 

(2) 커서 위치 변경 

- 1개 로우 선택 

print('One -> \n', c.fetchone())

 One -> (1, 'Kim', 'silver@naver.com', '010-0000-0000', 'kim.com', '2021-08-03 13:28:23') 

fetchone()을 사용하여 데이터 한개를 선택할 수 있다.

- 지정 로우 선택 

print('Three -> \n', c.fetchmany(size=3))

 Three -> [(2, 'Park', 'Park@daum.net', '010-1111-1111', 'Park.com', '2021-08-03 13:28:23'), 
(3, 'Lee', 'Lee@naver.com', '010-2222-2222', 'Lee.com', '2021-08-03 13:28:23'), (4, 
'Cho', 'Cho@daum.net', '010-3333-3333', 'Cho.com', '2021-08-03 13:28:23')] 

fetchmany()의 인자에 size 개수를 정해주면 커서의 현재 위치부터 size개수 만큼을 가져올 수 있다. 

- 전체 로우 선택 

print('All -> \n', c.fetchall())

 All -> [(5, 'Yoo', 'Yoo@google.com', '010-4444-4444', 'Yoo.net', '2021-08-03 13:28:23')]  

fetchall() 로 현재 커서의 위치 부터 모든 데이터를 가져올 수 있다. 

print('All -> \n', c.fetchall())

 All -> [] 

5개의 데이터를 모두 조회했으므로 남은 데이터가 없다! 

커서의 위치가 끝나면 실행이 안되므로 주석처리 해가며 실행 한다. 

(3) 순회 

- 순회 1 

rows = c.fetchall()
for row in rows: 
    print('retrieve1 > ', row)

 retrieve1 >  (1, 'Kim', 'silver@naver.com', '010-0000-0000', 'kim.com', '2021-08-03 13:28:23') 
 retrieve1 >  (2, 'Park', 'Park@daum.net', '010-1111-1111', 'Park.com', '2021-08-03 13:28:23') 
 retrieve1 >  (3, 'Lee', 'Lee@naver.com', '010-2222-2222', 'Lee.com', '2021-08-03 13:28:23') 
 retrieve1 >  (4, 'Cho', 'Cho@daum.net', '010-3333-3333', 'Cho.com', '2021-08-03 13:28:23') 
 retrieve1 >  (5, 'Yoo', 'Yoo@google.com', '010-4444-4444', 'Yoo.net', '2021-08-03 13:28:23') 

fetchall()을 이용하여 데이터를 반목문으로 순회해 줄 수 있다. 

- 순회 2 

for row in c.fetchall():
    print('retrieve2 > ', row)

 retrieve2 >  (1, 'Kim', 'silver@naver.com', '010-0000-0000', 'kim.com', '2021-08-03 13:28:23') 
 retrieve2 >  (2, 'Park', 'Park@daum.net', '010-1111-1111', 'Park.com', '2021-08-03 13:28:23') 
 retrieve2 >  (3, 'Lee', 'Lee@naver.com', '010-2222-2222', 'Lee.com', '2021-08-03 13:28:23') 
 retrieve2 >  (4, 'Cho', 'Cho@daum.net', '010-3333-3333', 'Cho.com', '2021-08-03 13:28:23') 
 retrieve2 >  (5, 'Yoo', 'Yoo@google.com', '010-4444-4444', 'Yoo.net', '2021-08-03 13:28:23') 

순회 1 과 같지만 변수를 만들어 주지 않았을 뿐이다. 

- 순회 3 : 가독성이 떨어질 수 있음 

for row in c.execute('SELECT * FROM users ORDER BY id desc'):
    print('retrieve3 > ', row)

 retrieve3 >  (5, 'Yoo', 'Yoo@google.com', '010-4444-4444', 'Yoo.net', '2021-08-03 13:28:23') 
 retrieve3 >  (4, 'Cho', 'Cho@daum.net', '010-3333-3333', 'Cho.com', '2021-08-03 13:28:23') 
 retrieve3 >  (3, 'Lee', 'Lee@naver.com', '010-2222-2222', 'Lee.com', '2021-08-03 13:28:23') 
 retrieve3 >  (2, 'Park', 'Park@daum.net', '010-1111-1111', 'Park.com', '2021-08-03 13:28:23') 
 retrieve3 >  (1, 'Kim', 'silver@naver.com', '010-0000-0000', 'kim.com', '2021-08-03 13:28:23') 

fetchall()을 사용하지 않고 execute로 바로 순회할 수도 있다. 이번엔 ORDER BY 를 사용하여 내림차순 정렬을 하여 순회했다. 

(4) WHERE Retrieve 

- 방법 1 : 튜플

param1 = (3,)
c.execute('SELECT * FROM users WHERE id=?', param1)
print('param1', c.fetchone())
print('param1', c.fetchall()) # 데이터 없음

 param1 (3, 'Lee', 'Lee@naver.com', '010-2222-2222', 'Lee.com', '2021-08-03 13:28:23') 
 param1 [] 

WHERE을 사용하여 가져올 데이터를 선정할 수 있다. execute의 인자에 튜플로 id값을 넣어주는 방법이다. 

- 방법 2 : format 

param2 = 4
c.execute('SELECT * FROM users WHERE id="%s"' % param2)  # %s, %f, %d
print('param2', c.fetchone())
print('param2', c.fetchall()) # 데이터 없음

 param2 (4, 'Cho', 'Cho@daum.net', '010-3333-3333', 'Cho.com', '2021-08-03 13:28:23')

 param2 [] 

% 를 사용하여 id값을 넣어줄 수도 있다. 

- 방법 3 : dictionary 

c.execute('SELECT * FROM users WHERE id=:Id', {"Id":5})
print('param3', c.fetchone())
print('param3', c.fetchall()) # 데이터 없음

 param3 (5, 'Yoo', 'Yoo@google.com', '010-4444-4444', 'Yoo.net', '2021-08-03 13:28:23') 
 param3 [] 

execute의 인자에 dictionary를 작성하고, key값을 일치지켜 준다. 

- 방법 4 : IN & tuple

param4 = (3, 5)
c.execute('SELECT * FROM users WHERE id IN(?,?)', param4)
print('param4', c.fetchall())

 param4 [(3, 'Lee', 'Lee@naver.com', '010-2222-2222', 'Lee.com', '2021-08- 03 13:28:23'), (5, 'Yoo', 'Yoo@google.com',  '010-4444-4444', 'Yoo.net', '2021-08-03 13:28:23')] 

IN 과 튜플을 사용하여 여러개의 데이터를 가져올 수 있다. 

- 방법 5 : IN & format

c.execute('SELECT * FROM users WHERE id IN("%d", "%d")' % (3, 4))
print('param5', c.fetchall())

 param5 [(3, 'Lee', 'Lee@naver.com', '010-2222-2222', 'Lee.com', '2021-08-03 13:28:23'), (4, 'Cho', 'Cho@daum.net', '010-3333-3333', 'Cho.com', '2021-08-03 13:28:23')]  

IN과 % 를 사용하여 여러개를 가져올 수도 있다. 

- 방법 6 : OR & dictionary

c.execute('SELECT * FROM users WHERE id=:id1 OR id=:id2', {'id1':2, 'id2':5})
print('param6', c.fetchall())

 param6 [(2, 'Park', 'Park@daum.net', '010-1111-1111', 'Park.com', '2021-08-03 13:28:23'), (5, 'Yoo', 'Yoo@google.com', '010-4444-4444', 'Yoo.net', '2021-08-03 13:28:23')] 

OR과 인자에 dictionary에 key로 연결시켜 주어 데이터를 가져온다. 

(5) Dump 출력 ( 중요! ) 

with conn:
    with open('./resource/dump.sql', 'w') as f:
        for line in conn.iterdump():
            f.write('%s\n' % line)
        print('Dump print Complete')

 Dump print Complete 

이렇게 테이블 생성, 값 삽입 연산들을 한 번에 볼 수 있는 파일이 생성 된다. 

(6) 연결 해제

* f.close(), conn.close() : with문을 사용했기 때문에 자동 호출 된다. 

코드 - 패캠 수업 코드 참고 (패캠 수업 정리)

<이전 글>

https://silvercoding.tistory.com/44

import sqlite3
import datetime

우선 사용할 것 import 해주기 

- SQliteDatabaseBrowserPortable.exe 를 설치해 준다. 

이곳에서 데이터베이스를 직관적으로 관리할 수 있다. 

- 삽입 날짜 생성 

now = datetime.datetime.now()
print('now: ', now)

nowDateTime = now.strftime('%Y-%m-%d %H:%M:%S')
print('nowDateTime: ', nowDateTime)

 now:  2021-08-03 11:43:31.850770 
 nowDateTime:  2021-08-03 11:43:31 

데이터베이스에 넣어줄 변수를 사전 생성한다.  

- sqlite3 살펴보기 

print('sqlite3.version: ', sqlite3.version)
print('sqlite3.sqlite_version: ', sqlite3.sqlite_version)

 sqlite3.version:  2.6.0 
 sqlite3.sqlite_version:  3.33.0 

* sqlite 사용 

(1) DB 생성 & Auto Commit (Rollback) 

conn = sqlite3.connect('./resource/database.db', isolation_level=None)

DB를 생성하고 연결해 준다. DB에 명령할 때 커밋(commit)을 꼭 해주어야 하는데 , isolation_level=None으로 설정하면 AutoCommit이 된다. 

그리고 아까 다운받았던 SQliteDatabaseBrowserPortable.exe 에서 [ 데이터베이스 열기 - database.db ] 를 실행 해 준다. 

(2) Cursor 

# Cursor 
c = conn.cursor()
print('Cursor Type: ', type(c))

 Cursor Type:  <class 'sqlite3.Cursor'> 

cursor 연결을 해준다. 이 커서로 데이터베이스에 명령을 할 수 있다. 

(3) 테이블 생성 CREATE TABLE 

( Data type : TEXT, NUMERIC, INTEGER, REAL BLOB )

c.execute('CREATE TABLE IF NOT EXISTS users(id INTEGER PRIMARY KEY, username text, email text, phone text, website text, regdate text)')

테이블을 생성하기 위해서 CREATE TABLE 명령어를 사용한다. 그다음 테이블이름(속성 타입) 이런 형태로 넣어준다. id 속성을 PRIMARY KEY로 설정해 주었다. 

이렇게 user 테이블이 생성되었다! 

(4) 데이터 삽입 INSERT INTO

# 방법 1 
c.execute("INSERT INTO users VALUES(1, 'Kim', 'silver@naver.com', '010-0000-0000', 'kim.com', ?)", (nowDateTime,))
# 방법 2 
c.execute('INSERT INTO users(id, username, email, phone, website, regdate) VALUES (?, ?, ?, ?, ?, ?)', (2, 'Park', 'Park@daum.net', '010-1111-1111', 'Park.com', nowDateTime))

- INSERT INTO 테이블이름 VALUES() 

- INSERT INTO 테이블이름() VALUES() 

방법 1은 바로 VALUES안에 값을 넣고, 변수를 넣을 경우 ?로 작성한 후 execute의 인자에서 튜플안에 변수를 넣어준다.  방법 2는 테이블이름() 안에 속성 이름을 명시적으로 나열하고 , VALUES() 안에 모두 ? 로 작성해 주고, execute의 인자에서 튜플 안에 값 또는 변수를 넣어준다. 

새로고침을 해주면 위와 같이 값이 생성되었다! 

(5) Many 삽입 ( 튜플, 리스트 ) 

userList = (
    (3, 'Lee', 'Lee@naver.com', '010-2222-2222', 'Lee.com', nowDateTime),
    (4, 'Cho', 'Cho@daum.net', '010-3333-3333', 'Cho.com', nowDateTime),
    (5, 'Yoo', 'Yoo@google.com', '010-4444-4444', 'Yoo.net', nowDateTime)
)

c.executemany('INSERT INTO users(id, username, email, phone, website, regdate) VALUES(?, ?, ?, ?, ?, ?)', userList)

excutemany의 두번째 인자에 튜플이나 리스트를 넣어주면 한꺼번에 데이터 삽입이 가능하다. 

(6) 테이블 데이터 삭제 

conn.execute('DELETE FROM users')

이렇게 작성해 주면 users 테이블의 모든 데이터가 삭제된다. 

- 지워진 개수 반환하고 삭제하기 

print('users db delete : ', conn.execute('DELETE FROM users').rowcount)

 users db delete :  5 

rowcount를 사용하여 개수를 반환해줄 수 있다. 

(7) 커밋 & 롤백 

: isolation_level="None" 일 경우 자동 반영 

# 커밋
# conn.commit()

# 롤백
# conn.rollback()

본 포스팅에선 오토커밋 설정을 해놨으므로 주석처리를 해 놓는다. 

(8) 접속 해제 

conn.close()

마무리 할 때는 접속해제를 꼭 해주도록 한다!