Big Data решения
АМ-БИТС собрал команду сертифицированных Big Data инженеров, которые обеспечивают полный цикл разработки, построения, внедрения и поддержки решений на базе Apache Hadoop.
Накопленные массивы бизнес-данных должны обеспечивать игрокам рынка дополнительные конкурентные преимущества за счет более качественной коммуникации с заказчиком, скорости реакции на события, прогнозирования и т.д. Стандартные подходы, основанные на реляционных базах данных и одноузловых вычислительных ресурсах, часто не в состоянии обрабатывать объемы архивных данных, а также своевременно реагировать на поток онлайн-данных.
Наши инновационные решения на основе технологий Big Data позволяют решать бизнес-задачи по управлению большими корпоративными данными наиболее эффективным и экономичным способом, обеспечивая следующие преимущества:
- Оптимальное хранение
- Своевременная обработка
- Анализ информации
- Построение прогнозов
Кейсы по Big Data решениям
- BDWE – расширение корпоративного хранилища
- Разработка и построение корпоративного Data HUB
- Расчет KPI сотрудников
Задача:
Разработка экономически эффективного решения, позволяющего масштабировать емкости хранения больших корпоративных данных.
Решение:
Предложено перенести редко используемые данные и часть ETL процессов в Hadoop, а также использовать виртуализацию данных для построения витрин представлений для BI.
Результат:
Увеличение ROI на 200% и на 500% для 1 и 2 уровней соответственно. Снижение затрат до 75% на подготовку и публикацию данных для дальнейшей аналитики.
Задача:
Создание многофункционального центра агрегации, обработки и представления данных с обеспечением безопасности обмена корпоративными данными в реальном времени.
Решение:
Структура функциональных компонентов:
- Data Broker (Kafka) – обеспечивает обмен данными в реальном времени.
- Big Data Platform (Hortonworks/Cloudera Hadoop Data Platform, Hadoop Data Float) – хранит все данные, поступающие через брокер.
- Logical Datawarehouse (Tibco Data Virtualization) – логическое хранилище данных, инструмент для формирования отчетов бизнес-пользователями. TDV обеспечивает быстрый доступ к данным оперативному и технического мониторингу.
- Data Governance – управление данными, включает качество и безопасность данных.
Результат:
Построена масштабируемая архитектура для обмена данными в реальном времени, 24/7 с допустимой временной задержкой 10 секунд.
Количество обрабатываемых событий в день – 2-3 млн., до 200 событий в секунду.
Задача: Предоставить эффективный инструмент для расчета KPI сотрудников отдела продаж.
Решение:
- Построена инфраструктура Azure Cloud. В основу архитектуры легли контейнеры в Azure Blob Storage. Автоматизация процесса загрузки локальных файлов в blob контейнеры вместе с обогащением данных.
- Создана модель Azure Analysis Services для подсчета KPI сотрудников на основе бизнес-логики и данных заказчика.
- Построение аналитических дашбордов в Power BI, интеграция между Power BI и моделью AAS. Автоматизация процессов загрузки данных за день, пересчёт KPI как отдельных, так и всех сотрудников с учётом даты, метрики, города, отделения.
- Создание трёх групп доступа в AD, прописаны правила фильтрации данных в AAS и протестирован процесс перехода пользователя из одной группы в другую.
Результат: Создание мощного инструмента для расчёта KPI сотрудников отдела продаж. Создание модели Azure Analysis Services и аналитических дешбордов в Power BI. Глубокая аналитика с использованием ML, Azure Cognitive Services и данных из EDWH. Обеспечена единая достоверная версия отчетности.
Запросить полную версию решения: