[Airflow] dag vs dag_run, task vs task instance, pool 이란?

dag vs dag_run

dag는 수행해야 하는 task와 의존성, 필요한 설정 값 등을 포함하는 파이썬 파일로 작성되며 이것이 실제 수행시점에 인스턴스화된 형태가 dag_run임

task vs task instance

task는 DAG 작성 시 같이 정의되며 task가 인스턴스화되어 dag_run에서 실제로 수행될때는 task instance라고 함

• dag, dag_run의 관계와 같음

pool

자원이 한정된 하나의 시스템에 여러 task instance가 한꺼번에 요청을 보내지 않도록 임의의 task들(같은 DB에 요청을 보내는 task 등)을 하나의 pool로 정의하고 동시에 작업되는 양을 제한할 수 있음