Сайт использует файлы cookie
Настроить cookies
Файлы cookie, необходимые для корректной работы сайта, всегда включены.
Другие можно настраивать.
Другие можно настраивать.
Разработка аналитической системы учета и проверки рейсов по вывозу мусора на соответствие критериям
разработка корпоративных хранилищ и озер данных
строительство
1.5
30%
повысилась точность расчета критериев
в
на
увеличилась скорость обработки критериев и формирования витрины с рейсами
раза
Заказчик
Крупная строительная организация, Московский регион
ВЫЗОВЫ/ОСОБЕННОСТИ
проверка рейса на соответствие 22 критериям: наличие геокоординат у ТС за каждые 15 секунд рейса, нахождение ТС не далее 100 м от полигона во время окончания рейса и др.
реализация на Open-Source стеке на базе Apache NIFI, Airflow, Greenplum и Apache Superset
возможность горизонтального масштабирования решения
обработка в системе данных за 3 года с объемом хранения от 5 ТБ
Повысить качество, прозрачность учета и оценку успешности рейсов по вывозу мусора на свалки Московского региона
Задача
решение
Техническое решение
1. Сделали процессы загрузок данных из гетерогенных источников до слоя ODS (оперативных сырых данных) на базе фреймворка для транспорта данных Apache NiFi для 4 источников и 18 сущностей
2. Реализовали формирование детального слоя DDS из ODS для 18 сущностей на базе вызова функций MPP-СУБД для построения корпоративных хранилищ данных Greenplum и DAGs Airflow
3. Разработали ежедневный штатный DAG (ацикличный граф для построения пайплайнов обработки данных), считающий корректность рейсов ежедневно с вызовом 51 функции за 25 минут, проверяющий 22 критерия успешности рейсов
4. Сделали внештатный DAG с запуском расчетов рейсов за произвольные даты
Результат
Бизнес-ценности
Импортонезависимость ПО
система учета корректности рейсов на базе масштабированных независимых импортозамещающих технологиях
Гибкость
гибкое решение позволяет без изменений в коде делать пересчет корректности рейса за любую произвольную дату
Скорость
Повысилась скорость обработки критериев и формирования витрины с рейсами на 30%
Точность
повысили прозрачность учета корректных рейсов
сделали интеграцию 4 источников данных, которые готовы для переиспользования в других проектах и развития подходов к управлению данными и Data-офис в рамках всей организации
в 1.5 раза повысилась точность расчета критериев за счет использования собственных алгоритмов и плагинов
Нажимая кнопку «Отправить», вы даете однозначное согласие на обработку своих персональных данных в объеме и с целями, определенными Политикой в отношении обработки персональных данных.
Можно прикрепить три файла размером до 3 Мб каждый. Форматы: doc, docx, pdf, ppt, pptx
Разработка программного обеспечения и решений Big Data
Отправьте запрос, и генеральный директор свяжется с вами в течение 1 часа
Выберите удобный способ связи
Сообщение об успешной отправке!