[python 심화] 15. Asyncio, async await

코드 - 패캠 수업 코드 참고 (패캠 수업 정리)

 

 

<이전 글>

https://silvercoding.tistory.com/31

[python 심화] 14. Future 동시성/ 비동기 작업 실행/ ThreadPoolExecutor, ProcessPoolExecutor

 

 

< Asyncio 참고문서 >

https://docs.python.org/ko/3/library/asyncio.html

asyncio — 비동기 I/O — Python 3.9.6 문서

 

- Asyncio 

: 비동기 I/O Coroutine 작업 ( *동기: 기다려야 하는 것 , 비동기: 기다리지 않고 바로 실행되는 것) 

: Generator : 반복적인 객체 Return (yield) , 즉, 실행하고 stop -> 다른 작업으로의 위임 -> stop 지점부터 재 실행하는 원리이다. 

: Non-Blocking 비동기 처리에 적합하다. 

 

 

* 본 포스팅에서 실습할 방법들 

1. 순차실행 

2. 쓰레드만 사용 

3. 코루틴에서 쓰레드 우회 사용 

 

 

 

- 1. BlockIO 예제  : 순차실행 

import timeit
from urllib.request import urlopen

필요한 라이브러리 import 하기 

 

urls = ['http://daum.net', 'https://google.com', 'https://apple.com', 'https://tistory.com', 'https://github.com', 'https://naver.com']

예제에서 url을 open해 보는 실습을 할 것이기 때문에 url 리스트를 만들어 준다. 총 6 개의 url을 넣어 주었다. 

 

start = timeit.default_timer()

순차 실행을 하기 전 시간을 기록해 둔다. 이번에는 timeit.default_timer()를 이용하여 시간을 측정한다. 

 

 

* 순차 실행부 

for url in urls:
    print('Start', url)
    # 실제 요청 
    text = urlopen(url)
    # 실제 내용
    # print('Contents', text.read())
    print('Done', url)

위와 같이 urlopen을 사용하여 url에 실제 요청을 한다. 

 

 

* 시간 측정 : 완료시간 - 시작시간 / 결과 출력

duration = timeit.default_timer() - start

# 총 실행시간 
print('Total Time', duration)

 Start http://daum.net 
 Done http://daum.net 
 Start https://google.com 
 Done https://google.com 
 Start https://apple.com 
 Done https://apple.com 
 Start https://tistory.com 
 Done https://tistory.com 
 Start https://github.com 
 Done https://github.com 
 Start https://naver.com 
 Done https://naver.com 
 Total Time 12.8696096 

순차적으로 url리스트에 적었던 순서대로 url요청이 된 것을 볼 수 있다. 시간은 총 13초 정도가 걸렸다. 

 

 

 

 

 

 

 

 

 

 

*** BlockIO : Thread 사용 

: 쓰레드 개수 및 GIL 문제 염두, 공유 메모리 문제 해결 (뮤텍스)

 

 

- 2. Thread만 사용 

 

* 필요한 라이브러리 import 

import timeit
from urllib.request import urlopen
from concurrent.futures import ThreadPoolExecutor
import threading

 

* url 리스트 생성 및 시간 기록 

urls = ['http://daum.net', 'https://google.com', 'https://apple.com', 'https://tistory.com', 'https://github.com', 'https://naver.com']

start = timeit.default_timer()

 

 

* fetch 함수 선언

def fetch(url):
    print('Thread Name : ', threading.current_thread().getName(), 'Start', url)  # 현재 쓰래드가 무엇인지 알려줌
    urlopen(url)
    print('Thread Name : ', threading.current_thread().getName(), 'Done', url)

현재 쓰레드의 이름과 , 시작(start) 과 완료(Done)의 과정을 출력하도록 하는 fetch 함수를 생성한다. 

 

 

* main 함수 선언 - fetch함수 사용 

def main():
    with ThreadPoolExecutor(max_workers=10) as executor: 
        for url in urls:
            executor.submit(fetch, url)

ThreadPoolExecutor를 사용하고, max_workers는 10으로 받아준다. 이제 for문을 이용하여 url을 한개씩 넣어서 submit으로 fetch함수에 적용해 준다. 

 

 

 

* 실행 

if __name__ == '__main__':
    # 함수 실행 
    main()
    
    # 완료시간 - 시작시간
    duration = timeit.default_timer() - start

    # 총 실행시간   
    print('Total Time', duration)

 Thread Name :  ThreadPoolExecutor-0_0 Start http://daum.net 
 Thread Name :  ThreadPoolExecutor-0_1 Start https://google.com 
 Thread Name :  ThreadPoolExecutor-0_2 Start https://apple.com 
 Thread Name :  ThreadPoolExecutor-0_3 Start https://tistory.com 
 Thread Name :  ThreadPoolExecutor-0_4 Start https://github.com 
 Thread Name :  ThreadPoolExecutor-0_5 Start https://naver.com 
 Thread Name :  ThreadPoolExecutor-0_4 Done https://github.com 
 Thread Name :  ThreadPoolExecutor-0_2 Done https://apple.com 
 Thread Name :  ThreadPoolExecutor-0_5 Done https://naver.com 
 Thread Name :  ThreadPoolExecutor-0_3 Done https://tistory.com 
 Thread Name :  ThreadPoolExecutor-0_0 Done http://daum.net 
 Thread Name :  ThreadPoolExecutor-0_1 Done https://google.com 
 Total Time 0.9581279 

start는 for문에 들어간 순서대로 출력이 되었는데, Done은 순서가 일정하지 않은 것을 볼 수 있다. submit 함수는 먼저 일이 끝나는 순서대로 오는 것일 뿐, 순서에 대한 신경을 쓰지 않기 때문이다.  시간은 1초도 되지 않는다! 굉장히 줄어 든 것을 볼 수 있다. 

 

 

 

 

 

 

 

 

- 3. 코루틴에서 쓰레드 우회 사용 

 

<참고>

https://docs.python.org/ko/3/library/asyncio-task.html

코루틴과 태스크 — Python 3.9.6 문서

*** 코루틴은 단일 쓰레드라는 것이 핵심이다. 함수 여러개를 생성하여 멀티 쓰레드를 사용하는 듯 보이게 해준다. 단일 쓰레드에서 최적의 성능을 이끌어내기 위해 제어를 양보하여 사용하며, 빠르게 동시성 기법을 활용하는 패턴이다. 

 

* 필요한 라이브러리 import 

# aiohttp 사용 가능 (Asyncio 지원)
from concurrent import futures
import timeit
from urllib.request import urlopen
from concurrent.futures import ThreadPoolExecutor
import threading
import asyncio

 

* url 리스트 생성 및 시간 기록 

urls = ['http://daum.net', 'https://google.com', 'https://apple.com', 'https://tistory.com', 'https://github.com', 'https://naver.com']
start = timeit.default_timer()

 

 

 

* fetch 함수 선언 

async def fetch(url, executor):
    print('Thread Name : ', threading.current_thread().getName(), 'Start', url)  # 현재 쓰래드가 무엇인지 알려줌
    res = await loop.run_in_executor(executor, urlopen, url) # (일꾼, 일꾼이 처리할 함수, 해야될 일 (사이트)) / loop 안에는 futures가 들어가 있음 . 
    print('Thread Name : ', threading.current_thread().getName(), 'Done', url)
    return res.read()[0:5]

https://silvercoding.tistory.com/30

[python 심화] 13. 코루틴 (coroutine) , yield from

위의 포스팅에서 yield from을 공부하였다. 버전 3.7? 이상 부터 await 으로 바뀌었고 , 본 포스팅에서는 await을 사용한다. 

 

<loop 참고 문서>

https://docs.python.org/ko/3/library/asyncio-eventloop.html

이벤트 루프 — Python 3.9.6 문서

 

 

* main 함수 선언 

async def main():
    # 쓰레드 풀 생성 
    executor = ThreadPoolExecutor(max_workers=10)
    # asyncio.ensure_future 
    futures = [asyncio.ensure_future(fetch(url, executor)) for url in urls]
    # await = yield from 
    rst = await asyncio.gather(*futures)  # unpacking

    print()
    print('Result : ', rst)

지능형 리스트인 futures를 선언한다. asyncio.ensure_future에 fetch함수를 적용한다. 

 

 

 

* 결과 실행 

if __name__ == '__main__':
    # 루프 생성 
    loop = asyncio.get_event_loop()
    # 루프 대기 
    loop.run_until_complete(main())
    # 함수 실행 
    main()   

    # 완료시간 - 시작시간
    duration = timeit.default_timer() - start

    # 총 실행시간   
    print('Total Time', duration)

 Thread Name :  MainThread Start http://daum.net 
 Thread Name :  MainThread Start https://google.com 
 Thread Name :  MainThread Start https://apple.com 
 Thread Name :  MainThread Start https://tistory.com 
 Thread Name :  MainThread Start https://github.com 
 Thread Name :  MainThread Start https://naver.com 
 Thread Name :  MainThread Done https://github.com 
 Thread Name :  MainThread Done https://apple.com 
 Thread Name :  MainThread Done https://naver.com 
 Thread Name :  MainThread Done https://tistory.com 
 Thread Name :  MainThread Done http://daum.net 
 Thread Name :  MainThread Done https://google.com 

 Result :  [b'<!DOC', b'<!doc', b'\n\t\n\n\n', b'\n\t<!d', b'\n\n\n\n\n', b'\n<!do'] 
 c:/Users/./Desktop/python_high/chapter06_04_03.py:57: RuntimeWarning: coroutine 'main' was never awaited 
  main() 
 RuntimeWarning: Enable tracemalloc to get the object allocation traceback       
 Total Time 1.3151724 

마찬가지로 순서에 상관 없이 일을 하며, 시간은 2번방법보다는 오래 걸리지만 그래도 1.3초로 빠르게 실행된 것을 볼 수 있다.