[Airflow] Sensor

sensor는 1가지 작업을 수행하도록 설계된 특수한 operator입니다. 어떠한 작업(시간, 파일, 외부 이벤트 등)이 일어날 때까지 대기하다가 발생한다면 실행한 다음, 성공하여 downstream task가 실행될 수 있도록 합니다.

sensor는 주로 idle 상태이기 떄문에 세 가지 다른 실행 모드가 있어 사용에 효율적입니다.

• poke(기본값): 전체 런타임 동안 worker 슬롯을 차지함
• reschedule: 확인 중일 때만 worker 슬롯을 사용
• smart sensor: 모든 실행을 일괄처리 하는 중앙 단일 버전

poke와 reschedule 모드는 sensor를 인스턴스화 할 때, 직접 구성할 수 있습니다. 둘 사이의 트레이드 오프는 대기 시간입니다. poke 모드는 매 초 확인할 때나 검증 시간이 짧을 때 사용하고 reschedule 모드는 매 분 확인하거나 검증 시간이 길 때 사용합니다.