Курс «Инженер данных»
с Apache Airflow

Пройдя авторский курс от эксперта Big Data Вы научитесь разрабатывать архитектуру данных и сможете получить работу "Инженера данных" - одну из самых востребованных IT профессий

Получите практические навыки уже со 2-го занятия
На основе популярного решения по оркестрации данных Apache Airflow был разработан авторский курс для обучения инженеров данных.

Основное преимущество курса - быстрое практическое освоение Airflow.

Практические занятия и самостоятельный финальный проект дадут возможность уже со второго занятия погрузиться в реальный процесс приобретения практических навыков освоения Airflow, а преподаватели с большим опытом внедрения проектов на базе Airflow передадут реальные проектные знания и бесценную экспертизу - Best-practice использования Airflow в data-проектах.
Обучение Apache Airflow
Для кого?
Данный курс предназначен для:

  • инженеров данных
  • python-разработчиков
  • системных администраторов
которые переходят на использование Airflow с других технологий или изучающих Airflow с нуля.

Курс не предназначен для опытных Airflow-разработчиков, так как ориентирован на передачу основных базовых знаний и Best-Practice.
Получите персональное кп +
скидку 15% на услуги
Необходимые компетенции
Слушатели курса должны обладать базовыми знаниями:

  • linux
  • разработки на python
  • основ docker и docker-compose

Перед курсом рекомендуется прочитать официальную документацию для ознакомления с материалом.
По итогам курса
В результате курса участники получат:

  • теоретические знания по использованию Apache Airflow
  • кейсы применения Apache Airflow в реальных промышленных проектах разного уровня
  • практические навыки разворачивания Airflow в различных конфигурациях, навыки написания DAGs, подключения и взаимодействия с данными в БД, использования различных типов операторов, применения различных видов переменных, использования дополнительных библиотек и различных экзекьюторов и многое другое.

По итогам курса вы сможете самостоятельно разворачивать Airflow в оптимальной конфигурации, оптимизировать производительность исходя из требований бизнеса, а также разрабатывать базовые пайплайны с данными.
  • Продолжительность курса
    Данный курс рассчитан на 18 аудиторных часов и 36 часов самостоятельной внеаудиторной работы. Запланировано 9 лекций по 2 ак. часа, что даст возможность слушателям лучше усваивать пройденный материал, подкрепляя каждую лекцию авторскими практическими заданиями
  • Формат проведения
    Дистанционный
  • Время занятий
    Все лекции проводятся по вечерам 3 раза в неделю по 2 ак. часа в 19.00, что дает возможность не отвлекаться слушателям от основных рабочих задач
  • Дата начала курса
    Курс начинается по мере наличия группы. Для возможности записаться в ближайшую группу необходимо писать на электронную почту ductechnologies@yandex.ru или оставить заявку по форме внизу страницы

Структура курса

1
а) Вводная Лекция 1. Введение в Apache Airflow. Основные компоненты, назначение, версии и архитектура. Требования к инфраструктуре (2ч, ауд.)

б) Изучение официальной документации по Apache Airflow, архитектуры, основных компонентов (4ч, сам.)

2
а) Лекция 2. Особенности и варианты установки Apache Airflow. Пререквизиты. Установка Airflow из docker-compose. Обзор интерфейса. Ответы на вопросы по л. 1. Домашнее задание

б) Самостоятельная работа. Самостоятельная работа. Установка Airflow на локальные машины из docker-compose, проверка корректности и запуск демо-скриптов hello world и др. (4ч, сам.)
3
а) Лекция 3. Основные конфигурационные параметры Airflow. Понятие DAG. Особенности DAGs и основной синтаксис. Ответы на вопросы по л. 2.

б) Самостоятельная работа. Самостоятельная работа. Написание простого ДАГа в Airflow. Bash и Python операторы.
4
а) Лекция 4. Логирование и мониторинг DAGs. Особенности работы с разными с БД. Понятие PostgresHook, PostgresOperator и PythonOperator (2ч). Ответы на вопросы по л. 3


б) Практическое занятие. Практическое занятие. Работа с БД из Airflow


5
а) Лекция 5. Разные виды Executors и архитектурные особенности исполнения задач. Использование XCOM, Jinja-темплейтов и переменных. (2ч, ауд.). Ответы на вопросы по л. 4


б) Практическое занятие. Практическое занятие. Создание ДАГа с использованием XCOM, jinja и переменных


6
а) Лекция 6. Best Practice использования Airflow. Сереализация DAGs. Docker Operator, trigger rule и trigger Operator. Ответы на вопросы по л. 5

б) Практическое занятие. Практическое занятие. Создание ДАГа с docker-оператор, trigger rule и trigger operator

7
а) Лекция 7. Безопасность и Ролевая модель Airflow. Airflow API. Установка дополнительных пакетов. Управление уведомлениями. Постановка на мини-проект

б) Самостоятельная работа. Самостоятельная работа по реализации мини-проекта
8
Демонстрация результатов проекта и ответы на вопросы. Обмен мнениями со слушателями курса (2ч, ауд.).

Общая нагрузка по курсу: 16 ауд. часов и 32 сам. часов.

Остались вопросы по обучению Apache Airflow?
Оставьте заявку на обучение прямо сейчас и наши специалисты Вас оперативно проконсультируют и ответят на все вопросы!