Курс «Инженер данных»
Пройдя авторский курс от эксперта Big Data Александра Сулейкина вы научитесь разрабатывать архитектуру данных и сможете получить работу "Инженера данных" - одну из самых востребованных IT профессий.
Получите практические навыки уже со 2-го занятия
На основе популярного решения по оркестрации данных Apache Airflow был разработан авторский курс для обучения инженеров данных.

Основное преимущество курса - быстрое практическое освоение Airflow.

Практические занятия и самостоятельный финальный проект дадут возможность уже со второго занятия погрузиться в реальный процесс приобретения практических навыков освоения Airflow, а преподаватели с большим опытом внедрения проектов на базе Airflow передадут реальные проектные знания и бесценную экспертизу - Best-practice использования Airflow в data-проектах.
Для кого?
Данный курс предназначен для:

  • инженеров данных
  • python-разработчиков
  • системных администраторов
которые переходят на использование Airflow с других технологий или изучающих Airflow с нуля.

Курс не предназначен для опытных Airflow-разработчиков, так как ориентирован на передачу основных базовых знаний и Best-Practice.
Необходимые компетенции
Слушатели курса должны обладать базовыми знаниями:

  • linux
  • разработки на python
  • основ docker и docker-compose

Перед курсом рекомендуется прочитать официальную документацию для ознакомления с материалом.
Что будет по итогам курса?
В результате кура участники получат:

  • теоретические знания по использованию Apache Airflow
  • кейсы применения Apache Airflow в реальных промышленных проектах разного уровня
  • практические навыки разворачивания Airflow в различных конфигурациях написания самостоятельных DAGs, подключения и взаимодействия с данными в БД, использования различных типов операторов, применения различных видов переменных, использования дополнительных библиотек и различных экзекьюторов и многое другое.

По итогам курса вы сможете самостоятельно разворачивать Airflow в нужной оптимальной конфигурации, оптимизировать производительность исходя из требований бизнеса, а также разрабатывать базовые пайплайны с данными.
  • Продолжительность курса
    Данный курс рассчитан на 18 аудиторных часов и 36 часов самостоятельной внеаудиторной работы. Запланировано 9 лекций по 2 ак. часа, что даст возможность слушателям лучше усваивать пройденный материал, подкрепляя каждую лекцию авторскими практическими заданиями
  • Формат проведения
    Дистанционный
  • Время занятий
    Все лекции проводятся по вечерам 3 раза в неделю по 2 ак. часа в 19.00, что дает возможность не отвлекаться слушателям от основных рабочих задач
  • Дата начала курса
    Курс начинается по мере наличия группы. Для возможности записаться в ближайшую группу необходимо писать на электронную почту duc-technologies@yandex.ru или оставить заявку по форме внизу страницы
Структура длительность курса:
1
а) Лекция. Введение в Apache Airflow. Основные компоненты, назначение, версии и архитектура. Требования к инфраструктуре (2ч, ауд.)

б) Изучение документации по Apache Airflow, архитектуры, основных компонентов (4ч, сам.)

2
а) Лекция. Особенности установки и установка Apache Airflow из docker-compose. Пререквизиты установки Airflow. (2ч, ауд.). Ответы на вопросы по л. 1

б) Самостоятельная работа. Самостоятельная работа. Установка Airflow на локальные машины из docker-compose, проверка корректности и запуск демо-скриптов hello world и др. (4ч, сам.)
3
а) Лекция. Основные конфигурационные параметры Airflow. Понятие DAG. Особенности DAGs и основной синтаксис (2ч, ауд.). Ответы на вопросы по л. 2

б) Самостоятельная работа. Изменение параметров установки Airflow и использование различных переменных в YAML. (4ч, сам.)
4
а) Лекция. Логирование и мониторинг DAGs. Особенности работы с разными с БД. Понятие PostgresHook, PostgresOperator и PythonOperator (2ч). Ответы на вопросы по л. 3

б) Практическое занятие. Практическое занятие PostgresHook, PostgresOperator и PythonOperator (4ч, сам.)

5
а) Лекция. Разные виды Executors и архитектурные особенности исполнения задач. Использование XCOM, Jinja-темплейтов и переменных (2ч, ауд.). Ответы на вопросы по л. 4

б) Практическое занятие. Работа с переменными Airflow (4ч, сам.)

6
а) Лекция. Best Practice использования Airflow. Сереализация DAGs. Docker Operator, trigger rule и trigger Operator. (2ч, ауд.). Ответы на вопросы по л. 5

б) Практическое занятие. Trigger rule, Trigger Operator (4ч, сам.)
7
а) Лекция. Безопасность и Ролевая модель Airflow. Airflow API. Установка дополнительных пакетов. Управление уведомлениями. Постановка на мини-проект.

б) Самостоятельная работа. Самостоятельная работа по реализации мини-проекта tbd (4ч, сам.)
8
Демонстрация результатов проекта и ответы на вопросы. Обмен мнениями со слушателями курса (2ч, ауд.).

Общая нагрузка по курсу: 16 ауд. часов и 32 сам. часов.

Оставьте заявку и получите скидку
Полная стоимость курса 40 000 р.

Оставьте заявку на курс и получите индивидуальную скидку!