Мы используем файлы cookie для быстрой и удобной работы сайта. Выберите, какие файлы cookie вы разрешаете нам использовать. Подробнее в Политике конфиденциальности.
Send a request and our specialists will contact you within 1 hour.
By clicking the "Send" button, you give your unambiguous consent to the processing of your personal data to the extent and for the purposes defined in the Personal Data Processing Policy.
Get development
Submit a request and gain access to a training manual from a leading company expert!
By clicking the "Send" button, you give your unambiguous consent to the processing of your personal data to the extent and for the purposes defined in the Personal Data Processing Policy.
Внедрение фреймворка по качеству данных
5
30%
снизилось количество ошибок в Data-продуктах
в
на
повысилось качество данных в Озере
раз
управление качеством данных и Data-каталог
туризм
Заказчик
Крупнейшая туристическая организация в РФ – более 3 млн клиентов/пользователей
ВЫЗОВЫ/ОСОБЕННОСТИ
большое количество дублей в разрозненных гетерогенных данных во всех источниках
Обеспечить контроль качества данных на всех этапах жизненного цикла движения данных – от систем источников до передачи данных во внешние системы
Задача
решение
Техническое решение
Провели анализ бизнес-процессов и потребностей заказчика
2. Разработали подсистему по управлению качеством данных, которая включает:
инструменты визуализации метрик качества регламентных процессов, ошибок данных и проч. на базе Grafana
компоненту хранения метрик качества на базе PostgreSQL
компоненту формирования метрик на базе Python-модуля
3. На базе BI-решений создали набор дашбордов, которые позволяют быстро и прозрачно принимать управленческие решения на базе Data-продуктов
Результат
Бизнес-ценности
Гарантия корректности данных
Широкие возможности работы с данными
мониторинг качества загружаемых данных на всех слоях Озера в режиме реального времени
список источников для интеграции
автоматические рассылки руководителям в случае наличия проблем с витринами