Пройдя авторский курс от эксперта Big Data Александра Сулейкина вы научитесь разрабатывать архитектуру данных и сможете получить работу "Инженера данных" - одну из самых востребованных IT профессий.
Начать учиться
Получите практические навыки уже со 2-го занятия
На основе популярного решения по оркестрации данных Apache Airflow был разработан авторский курс для обучения инженеров данных.
Основное преимущество курса - быстрое практическое освоение Airflow.
Практические занятия и самостоятельный финальный проект дадут возможность уже со второго занятия погрузиться в реальный процесс приобретения практических навыков освоения Airflow, а преподаватели с большим опытом внедрения проектов на базе Airflow передадут реальные проектные знания и бесценную экспертизу - Best-practice использования Airflow в data-проектах.
Для кого?
Данный курс предназначен для:
инженеров данных
python-разработчиков
системных администраторов
которые переходят на использование Airflow с других технологий или изучающих Airflow с нуля.
Курс не предназначен для опытных Airflow-разработчиков, так как ориентирован на передачу основных базовых знаний и Best-Practice.
Необходимые компетенции
Слушатели курса должны обладать базовыми знаниями:
linux
разработки на python
основ docker и docker-compose
Перед курсом рекомендуется прочитать официальную документацию для ознакомления с материалом.
Что будет по итогам курса?
В результате кура участники получат:
теоретические знания по использованию Apache Airflow
кейсы применения Apache Airflow в реальных промышленных проектах разного уровня
практические навыки разворачивания Airflow в различных конфигурациях написания самостоятельных DAGs, подключения и взаимодействия с данными в БД, использования различных типов операторов, применения различных видов переменных, использования дополнительных библиотек и различных экзекьюторов и многое другое.
По итогам курса вы сможете самостоятельно разворачивать Airflow в нужной оптимальной конфигурации, оптимизировать производительность исходя из требований бизнеса, а также разрабатывать базовые пайплайны с данными.
Продолжительность курса
Данный курс рассчитан на 18 аудиторных часов и 36 часов самостоятельной внеаудиторной работы. Запланировано 9 лекций по 2 ак. часа, что даст возможность слушателям лучше усваивать пройденный материал, подкрепляя каждую лекцию авторскими практическими заданиями
Формат проведения
Дистанционный
Время занятий
Все лекции проводятся по вечерам 3 раза в неделю по 2 ак. часа в 19.00, что дает возможность не отвлекаться слушателям от основных рабочих задач
Дата начала курса
Курс начинается по мере наличия группы. Для возможности записаться в ближайшую группу необходимо писать на электронную почту duc-technologies@yandex.ru или оставить заявку по форме внизу страницы
Структура длительность курса:
1
а)Лекция. Введение в Apache Airflow. Основные компоненты, назначение, версии и архитектура. Требования к инфраструктуре (2ч, ауд.)
б) Изучение документации по Apache Airflow, архитектуры, основных компонентов (4ч, сам.)
2
а) Лекция. Особенности установки и установка Apache Airflow из docker-compose. Пререквизиты установки Airflow. (2ч, ауд.). Ответы на вопросы по л. 1
б) Самостоятельная работа. Самостоятельная работа. Установка Airflow на локальные машины из docker-compose, проверка корректности и запуск демо-скриптов hello world и др. (4ч, сам.)
3
а) Лекция. Основные конфигурационные параметры Airflow. Понятие DAG. Особенности DAGs и основной синтаксис (2ч, ауд.). Ответы на вопросы по л. 2
б) Самостоятельная работа. Изменение параметров установки Airflow и использование различных переменных в YAML. (4ч, сам.)
4
а) Лекция. Логирование и мониторинг DAGs. Особенности работы с разными с БД. Понятие PostgresHook, PostgresOperator и PythonOperator (2ч). Ответы на вопросы по л. 3
а) Лекция. Разные виды Executors и архитектурные особенности исполнения задач. Использование XCOM, Jinja-темплейтов и переменных (2ч, ауд.). Ответы на вопросы по л. 4
б) Практическое занятие. Работа с переменными Airflow (4ч, сам.)
6
а) Лекция. Best Practice использования Airflow. Сереализация DAGs. Docker Operator, trigger rule и trigger Operator. (2ч, ауд.). Ответы на вопросы по л. 5