Apache Airflow — это платформа с открытым исходным кода для планирование, выполнения и мониторинга задач обработки данных. В отличие от cron или простых очередей, Airflow позволяет описывать процессы в виде dag (Directed Acyclic Graph — направленный ациклический граф), где каждая вершина — оператор (шаг), а рёбра — зависимости между шагами. Планировщик (scheduler) автоматически запускает задачи по расписанию, параллелит независимые ветки и повторно выполняет упавшие шаги.

Основные компоненты:

• Веб-сервер — интерфейс для просмотра DAG, логов, истории запусков, ручного триггера задач.
• Scheduler — движок, который определяет порядок выполнения, отправляет задачи в очередь.
• Executor — исполнитель (LocalExecutor, CeleryExecutor, KubernetesExecutor). Определяет, как и где выполнять операторы (локально, в кластере, в облаке).
• Metadata database — постгрескл (или MySQL), хранит состояние DAG, историю запусков, переменные и подключения.

Airflow используется для etl-процессов, загрузки данных в хранилище, обучения моделей машинного обучения, генерации отчетов, синхронизации систем. Количество задач в одном проекте может достигать тысяч, граф остаётся читаемым благодаря группировке и встроенным шаблонам.