Myo-Kyeong Tech Blog

Apache Airflow란? 데이터 엔지니어링 분야에 널리 사용되는 오픈 소스 워크플로우 관리 플랫폼 반복되는 작업들을 일정한 순서를 가지고 원하는 시간에 지속적으로 수행할 수 있음 데이터 워크플로우를 자동화하고 관리하는 데 매우 유용 배치 지향 데이터 파이프라인 구현하는 데 적합 Python 기반으로 한 유연한 프레임워크 제공 데이터 파이프라인 원하는 결과를 얻기 위해 실행되는 여러 태스크 또는 동작으로 구성됨 각 태스크는 정해진 순서대로 진행되어야 함 예를 들어, 데이터 수집, 변환, 저장과 같이 각각 다른 작업(Task)이 구성되어 있다면 각 작업은 특정 순서에 따라 실행되어야 하며 데이터를 가져오기 전에 데이터를 저장하거나 변환해서는 안됩니다. 데이터를 가져온 후 데이터를 변환하고 변환한 데이터..