import 세이노라이프

concurrent.futures란?

Python 3.2 이상에서 기본 제공되는 고수준(High-level) 병렬 처리 라이브러리

concurrent.futures는 멀티스레딩(Thread) 또는 멀티프로세싱(Process)을 훨씬 간단하게 구현할 수 있게 도와주는 표준 라이브러리입니다.
Executor, submit, Future 같은 개념을 기반으로 병렬 작업을 추상화하고 자동으로 스케줄링해줍니다.

대표 클래스

• ThreadPoolExecutor: 스레드 기반 병렬 처리
• ProcessPoolExecutor: 프로세스 기반 병렬 처리 (CPU 병렬화에 적합)

주요 개념 설명

기본 사용 예제

from concurrent.futures import ThreadPoolExecutor

def task(x):
    return x * x

with ThreadPoolExecutor(max_workers=3) as executor:
    future = executor.submit(task, 5)
    print(future.result())  # 출력: 25

• submit()은 작업을 비동기로 예약
• result()는 Future 객체의 실행 결과를 반환 (필요하면 대기)

threading 모듈과의 차이점

concurrent.futures는 threading 모듈보다 더 간결하고, 안전하며, 확장성 있는 방식으로 병렬 처리를 제공합니다.

코드 비교

1. threading 모듈 사용

import threading

def worker(x):
    print(x * x)

threads = []
for i in range(5):
    t = threading.Thread(target=worker, args=(i,))
    t.start()
    threads.append(t)

for t in threads:
    t.join()

• 직접 Thread 객체를 생성하고 start(), join()을 관리해야 합니다.
• 예외 처리는 try/except를 수동으로 구현해야 함

2. concurrent.futures 사용

from concurrent.futures import ThreadPoolExecutor

def worker(x):
    return x * x

with ThreadPoolExecutor(max_workers=5) as executor:
    futures = [executor.submit(worker, i) for i in range(5)]
    results = [f.result() for f in futures]

print(results)  # 출력: [0, 1, 4, 9, 16]

• submit()만 호출하면 Executor가 자동으로 작업을 관리
• Future.result()를 통해 결과 또는 예외를 얻을 수 있음

실무에서 언제 어떤 걸 써야 할까?

마무리 요약

🔗 참고자료

• 공식 문서: concurrent.futures — 고수준 병렬 실행 API
• 멀티스레딩 vs 멀티프로세싱 차이점