MLOps/Airflow1 [Airflow] Airflow란? Airflow 소개 Airflow은 워크 플로를 개발하고 모니터링하기 위한 오픈 소스 솔루션이다. Airflow의 주요 기능은 유연한 파이썬 프레임워크를 사용해 쉽게 데이터 파이프라인을 구축할 수 있게 해주며, 최신 기술 환경에서 접하게 되는 서로 다른 기술들을 연결할 수 있는 다양한 빌딩 블록을 제공한다 Airflow는 거미줄의 거미와 같이 데이터 프로세스 과정에서 중요한 역할을 하며 다양한 (분산) 시스템에서 발생하는 작업을 조율한다. 여기서 Airflow는 직접적으로 데이터 처리 작업을 수행하지는 않지만 데이터 처리를 위한 구성 요소를 조정한다 DAG (Directed A cyclic Graph : 방향성 비순환 그래프) 태스크 간의 의존성을 명확하게 확인하는 방법 중 하나는, 데이터 파이프라인을 .. 2023. 1. 12. 이전 1 다음
