Разработка аналитической системы учета и проверки рейсов по вывозу мусора на соответствие критериям

разработка корпоративных хранилищ и озер данных

строительство

1.5

30%

повысилась точность расчета критериев

в

на

увеличилась скорость обработки критериев и формирования витрины с рейсами

раза

решение

Техническое решение

1. Сделали процессы загрузок данных из гетерогенных источников до слоя ODS (оперативных сырых данных) на базе фреймворка для транспорта данных Apache NiFi для 4 источников и 18 сущностей

2. Реализовали формирование детального слоя DDS из ODS для 18 сущностей на базе вызова функций MPP-СУБД для построения корпоративных хранилищ данных Greenplum и DAGs Airflow

3. Разработали ежедневный штатный DAG (ацикличный граф для построения пайплайнов обработки данных), считающий корректность рейсов ежедневно с вызовом 51 функции за 25 минут, проверяющий 22 критерия успешности рейсов

4. Сделали внештатный DAG с запуском расчетов рейсов за произвольные даты

Результат

Бизнес-ценности

Импортонезависимость ПО

система учета корректности рейсов на базе масштабированных независимых импортозамещающих технологиях

Гибкость

гибкое решение позволяет без изменений в коде делать пересчет корректности рейса за любую произвольную дату

Скорость

Точность

повысили прозрачность учета корректных рейсов

сделали интеграцию 4 источников данных, которые готовы для переиспользования в других проектах и развития подходов к управлению данными и Data-офис в рамках всей организации

в 1.5 раза повысилась точность расчета критериев за счет использования собственных алгоритмов и плагинов