Внедрение фреймворка по качеству данных
2-4
30%
сократилось время интеграции одного источника
с 3 дней до
на
повысилось качество данных в Озере
ч
управление качеством данных и Data-каталог
туризм
Заказчик
Крупнейшая туристическая организация в РФ – более 3 млн клиентов/пользователей
ВЫЗОВЫ/ОСОБЕННОСТИ
большое количество дублей в разрозненных гетерогенных данных во всех источниках
Обеспечить контроль качества данных на всех этапах жизненного цикла движения данных – от систем источников до передачи данных во внешние системы
Задача
решение
Техническое решение
  1. Провели анализ бизнес-процессов и потребностей заказчика
2. Разработали подсистему по управлению качеством данных, которая включает:
инструменты визуализации метрик качества регламентных процессов, ошибок данных и проч. на базе Grafana
компоненту хранения метрик качества на базе PostgreSQL
компоненту формирования метрик на базе Python-модуля
3. На базе BI-решений создали набор дашбордов, которые позволяют быстро и прозрачно принимать управленческие решения на базе Data-продуктов
Результат
Бизнес-ценности
Гарантия корректности данных
Широкие возможности работы с данными
мониторинг качества загружаемых данных на всех слоях Озера в режиме реального времени
список источников для интеграции
автоматические рассылки руководителям в случае наличия проблем с витринами
повышение качества данных в Озере на 30%
снижение ошибок в Data-продуктах в 5 раз
формирование «проверенных» витрин данных
обнаружение проблем с данными в реальном времени
Разработка программного обеспечения и решений Big Data
Отправьте запрос, и генеральный директор свяжется с вами в течение 1 часа
Выберите удобный способ связи
Можно прикрепить не более 3 файлов размером
до 3 Мб каждый. Форматы: doc, docx, pdf, ppt, pptx.
Сообщение об успешной отправке!
Made on
Tilda