개발 일기92

Airflow Executor 종류별 선택 가이드Airflow를 어떻게 실행하느냐에 따라 Executor 설정이 매우 중요해진다.각 환경에 맞는 Executor를 선택하면 성능, 확장성, 운영 효율성이 크게 달라질 수 있다.테스트, 개발 환경 : LocalExecutor추천 대상로컬 머신에서 간단히 테스트할 때개발 단계에서 빠르게 DAG를 확인하고 디버깅할 때설명LocalExecutor는 태스크를 병렬로 실행할 수 있는 가장 간단한 실행기. 모든 작업을 Airflow Scheduler가 실행되는 프로세스에서 직접 실행. 장점설치와 설정이 매우 간단SequentialExecutor보다 빠름 (병렬 실행 가능)별도 외부 서비스(redis, celery broker 등) 필요 없음단점확장성이 부족함 (한 서버..

from airflow.models.dag import DAG import datetime import pendulum from airflow.operators.bash import BashOperator with DAG( dag_id="dags_bash_operator", # web ui에 보여지는 이름, py파일명과는 무관. schedule="0 0 * * *", #start_date=pendulum.datetime(2021, 1, 1, tz="UTC"), start_date=pendulum.datetime(2021, 1, 1, tz="Asia/Seoul"), catchup=False, # True 일 경우 start_date인 2021.1.1 ~ 현재 까지 전부 실행됨. 기본적으로 False dag..

● 스케줄러 Dag 파일 읽고 문법적 오류나 이상현상 확인(파싱) 수행 시간 및 기본 정보 DB에 저장 시작 시간 check ● 워커 워커 실행 전/후로 DB update작업 수행

특징 DAG(Directed Acyclic Graph) - 하나의 워크플로우, 1개 이상의 Task가 존재 Task간 선 후행 연결이 가능하되 순환되지 않고 방향성을 가짐 Cron기반의 스케줄링 모니터링 및 실패작업에 대한 모니터링 확장성 높음 Dag 모니터링 예시