Мы используем файлы cookie для быстрой и удобной работы сайта. Выберите, какие файлы cookie вы разрешаете нам использовать. Подробнее в Политике конфиденциальности.
Сайт использует файлы cookie
Настроить cookies
Файлы cookie, необходимые для корректной работы сайта, всегда включены. Другие можно настраивать.
ИТ-подразделение органа исполнительной власти, Московский регион
ВЫЗОВЫ/ОСОБЕННОСТИ
ограниченность сроков проекта (менее 2 месяцев)
высокие требования к быстродействию системы
Разработка единого инфопространства для органов исполнительной власти по обмену витринами данных и передачи в BI-системы
Задача
решение
Техническое решение
1. Провели анализ бизнес-процессов работы с данными
2. Спроектировали архитектуру быстрого хранилища данных на базе Apache Druid (СУДИР, высокопроизводительная, масштабируемая, открытая распределенная система для анализа данных в реальном времени)
3. Разработали высокоскоростное хранилище для работы с разными форматами данных и файлами: документы, отчеты, электронные таблицы
4. Разработали фронтенд, клиентская часть приложения, на языке React, интегрировали с системой управления доступом пользователей СУДИР
5. Реализовали бэкенд, серверная сторона решения на базе Python
Результат
Бизнес-ценности
Поддержка масштабных проектов
Решение подходит для масштабных отраслевых проектов, где необходима обработка больших объемов данных:
управление и анализ больших объемов данных, учитывая специфику каждого ОИВа
Удобство использования и надежность
интуитивно понятный интерфейс
поддержка большого количества файлов
возможности горизонтального масштабирования и отказоустойчивости
Быстрый доступ и анализ
Ключевые преимущества решения:
быстрый доступ к необходимой информации
высокая скорость и надежность хранения данных
одновременная работа более 150 пользователей
на 15% снизилась стоимость затрат на хранение данных
на 20% сократились затраты на аппаратные средства
на 10% уменьшились затраты на поддержку систем хранения данных
Получите рекомендации от экспертов «ДЮК Технологии»
Временное хранилище данных на Apache Druid: почему это эффективно сработало для загрузки табличных файлов
Статья Data Engineer «ДЮК Технологии» по технологиям разработки проекта на Хабр
Временное хранилище данных на Apache Druid: почему это эффективно сработало для загрузки табличных файлов