Курс Инженер данных
Наша компания полностью заинтересована в передаче своих знаний в области Open-Source решений. Мы готовы проводить необходимое обучение, чтобы компании могли самостоятельно использовать многие решения с открытым исходным кодом и наращивать свою внутреннюю экспертизу
  • Описание курса
    На основе наиболее популярного решения по оркестрации данных Apache Airflow нами был разработан авторский курс для обучения инженеров данных. Основное достоинство курса, что он ориентирован на быстрое практическое использование Airflow слушателями. Практические занятия и самостоятельный финальный проект дадут возможность слушателям со второго занятия погрузиться в реальный процесс приобретения практических навыков освоения Airflow, а преподаватели с большим опытом внедрения проектов на базе Airflow смогут передать реальные проектные знания и бесценную экспертизу, Best-practice в части использования Airflow в data-проектах
  • Для кого
    Данный курс предназначен для инженеров данных, python-разработчиков и системных администраторов, переходящим на использование Airflow с других технологий или изучающих Airflow с нуля. Курс не предназначен для опытных Airflow-разработчиков, так как ориентирован на передачу основных базовых знаний и Best-Practice
  • Необходимые компетенции слушателей
    Слушатели курса должны обладать базовыми знаниями linux, разработки на python, основ docker и docker-compose. Перед курсом рекомендуется прочитать официальную документацию для ознакомления с материалом
  • В результате курса
    В результате кура слушатели получат как теоретические знания по использованию Apache Airflow, кейсы применения его в реальных промышленных проектах разного уровня, так и получат практические навыки разворачивания Airflow в разных конфигурациях, написания самостоятельных DAGs, подключения и взаимодействия с данными в БД, использования различных типов операторов, применения различных видов переменных, использования дополнительных библиотек и различных экзекьюторов и многое другое. В результате курса слушатели смогут самостоятельно разворачивать Airflow в нужной оптимальной конфигурации, оптимизировать производительность исходя из требований бизнеса, а также самостоятельно разрабатывать базовые пайплайны с данными
  • Продолжительность курса
    Данный курс рассчитан на 18 аудиторных часов и 36 часов самостоятельной внеаудиторной работы. Запланировано 9 лекций по 2 ак. часа, что даст возможность слушателям лучше усваивать пройденный материал, подкрепляя каждую лекцию авторскими практическими заданиями
  • Формат проведения
    Дистанционный
  • Время занятий
    Все лекции проводятся по вечерам 3 раза в неделю по 2 ак. часа в 19.00, что дает возможность не отвлекаться слушателям от основных рабочих задач
  • Дата начала курса
    Курс начинается по мере наличия группы. Для возможности записаться в ближайшую группу необходимо писать на электронную почту duc-technologies@yandex.ru или оставить заявку по форме внизу страницы
Курс обучения по Apache Airflow рассчитан на data-инженеров и python-разработчиков с базовыми знаниями Apache Airflow, основ программирования в python, переменных, docker, docker-compose и linux
Структура курса и длительность следующая:
1
а) Лекция. Введение в Apache Airflow. Основные компоненты, назначение, версии и архитектура. Требования к инфраструктуре (2ч, ауд.)

б) Изучение документации по Apache Airflow, архитектуры, основных компонентов (4ч, сам.)

2
а) Лекция. Особенности установки и установка Apache Airflow. Основные конфигурационные параметры настройки и обзор интерфейса. Управление Connections (2ч, ауд.). Ответы на вопросы по л. 1

б) Самостоятельная работа. Установка Airflow на локальные машины, настройка коннекта к БД через UI, проверка корректности и запуск демо-скриптов hello world и др. (4ч, сам.)
3
а) Лекция. Масштабирование и отказоустойчивость. Понятие DAG. Особенности DAGs и их архитектура. Синхронизация DAGs. Возможные проблемы и пути их решения (2ч, ауд.). Ответы на вопросы по л. 2

б) Самостоятельная работа. Написание простого ДАГа в Airflow. Bash и Python операторы. (4ч, сам.)
4
а) Лекция. Основные Use Cases работы с Airflow в промышленности. Особенности работы с разными с БД. Понятие PostgresHook, PostgresOperator и PythonOperator (2ч). Ответы на вопросы по л. 3

б) Практическое занятие. tbd (4ч, сам.)

5
а) Лекция. Разные виды Executors. Использование XCOM, Jinja-темплейтов и переменных. Использование конфигов в DAGs. Best-Practise (2ч, ауд.). Ответы на вопросы по л. 4

б) Практическое занятие. tbd (4ч, сам.)

6
а) Лекция. Установка дополнительных пакетов в Airflow. Особенности использования dockeroperator, trigger_rule и triggerOperator. Использование Airflow API. (2ч, ауд.). Ответы на вопросы по л. 5

б) Практическое занятие. tbd (4ч, сам.)
7
а) Лекция. Ролевая модель Airflow. Управление расписанием. Логирование и мониторинг DAGs (2ч, ауд.). Ответы на вопросы по л. 6

б) Самостоятельная работа. tbd (4ч, сам.)
8
а) Best Practise использования Airflow в промышленности. Постановка задачи на самостоятельный проект. (2ч, ауд.). Ответы на вопросы по л. 7

б) Самостоятельная реализация проекта (8ч, сам.)
9
9) Демонстрация результатов проекта и ответы на вопросы. Обмен мнениями со слушателями курса (2ч, ауд.).
Стоимость курса