Мы используем файлы cookie для быстрой и удобной работы сайта. Выберите, какие файлы cookie вы разрешаете нам использовать. Подробнее в Политике в отношении обработки персональных данных.
We use cookies to ensure our website works quickly and easily. Choose which cookies you allow us to use. Learn more in our Privacy Policy.
Обсудить проект
Отправьте запрос, и наши специалисты свяжутся с вами в течение 1 часа
Нажимая кнопку «Отправить», Вы даете однозначное согласие на обработку своих персональных данных в объеме и с целями, определенными Политикой в отношении обработки персональных данных.
Discuss the project
Send a request and our specialists will contact you within 1 hour.
By clicking the "Send" button, you give your unambiguous consent to the processing of your personal data to the extent and for the purposes defined in the Personal Data Processing Policy.
Разработка аналитической системы учета и проверки рейсов по вывозу мусора на соответствие критериям
1.5
30%
повысилась точность расчета критериев
в
на
увеличилась скорость обработки критериев и формирования витрины с рейсами
раза
Заказчик
Крупная строительная организация, Московский регион
ВЫЗОВЫ/ОСОБЕННОСТИ
проверка рейса на соответствие 22 критериям: наличие геокоординат у ТС за каждые 15 секунд рейса, нахождение ТС не далее 100 м от полигона во время окончания рейса и др.
реализация на Open-Source стеке на базе Apache NIFI, Airflow, Greenplum и Apache Superset
возможность горизонтального масштабирования решения
обработка в системе данных за 3 года с объемом хранения от 5 ТБ
Повысить качество, прозрачность учета и оценку успешности рейсов по вывозу мусора на свалки Московского региона
Задача
Техническое решение
1. Сделали процессы загрузок данных из гетерогенных источников до слоя ODS (оперативных сырых данных) на базе фреймворка для транспорта данных Apache NiFi для 4 источников и 18 сущностей
2. Реализовали формирование детального слоя DDS из ODS для 18 сущностей на базе вызова функций MPP-СУБД для построения корпоративных хранилищ данных Greenplum и DAGs Airflow
3. Разработали ежедневный штатный DAG (ацикличный граф для построения пайплайнов обработки данных), считающий корректность рейсов ежедневно с вызовом 51 функции за 25 минут, проверяющий 22 критерия успешности рейсов
4. Сделали внештатный DAG с запуском расчетов рейсов за произвольные даты
Бизнес-ценности
Импортонезависимость ПО
система учета корректности рейсов на базе масштабированных независимых импортозамещающих технологиях
Гибкость
гибкое решение позволяет без изменений в коде делать пересчет корректности рейса за любую произвольную дату
Скорость
Повысилась скорость обработки критериев и формирования витрины с рейсами на 30%
Точность
повысили прозрачность учета корректных рейсов
сделали интеграцию 4 источников данных, которые готовы для переиспользования в других проектах и развития подходов к управлению данными и Data-офис в рамках всей организации
в 1.5 раза повысилась точность расчета критериев за счет использования собственных алгоритмов и плагинов
Нажимая кнопку «Отправить», вы даете однозначное согласие на обработку своих персональных данных в объеме и с целями, определенными Политикой в отношении обработки персональных данных.
Можно прикрепить три файла размером до 3 Мб каждый. Форматы: doc, docx, pdf, ppt, pptx
Разработка программного обеспечения и решений Big Data
Отправьте запрос, и генеральный директор свяжется с вами в течение 1 часа
Выберите удобный способ связи
Сообщение об успешной отправке!