AM-BITS | Big Data решения

Big Data решения

АМ-БИТС собрал команду сертифицированных Big Data инженеров, которые обеспечивают полный цикл разработки, построения, внедрения и поддержки решений на базе Apache Hadoop.

Накопленные массивы бизнес-данных должны обеспечивать игрокам рынка дополнительные конкурентные преимущества за счет более качественной коммуникации с заказчиком, скорости реакции на события, прогнозирования и т.д. Стандартные подходы, основанные на реляционных базах данных и одноузловых вычислительных ресурсах, часто не в состоянии обрабатывать объемы архивных данных, а также своевременно реагировать на поток онлайн-данных.

Наши инновационные решения на основе технологий Big Data позволяют решать бизнес-задачи по управлению большими корпоративными данными наиболее эффективным и экономичным способом, обеспечивая следующие преимущества:

Оптимальное хранение
Своевременная обработка
Анализ информации
Построение прогнозов

Кейсы по Big Data решениям

Задача:
Разработка экономически эффективного решения, позволяющего масштабировать емкости хранения больших корпоративных данных.

Решение:

Предложено перенести редко используемые данные и часть ETL процессов в Hadoop, а также использовать виртуализацию данных для построения витрин представлений для BI.

Результат:
Увеличение ROI на 200% и на 500% для 1 и 2 уровней соответственно. Снижение затрат до 75% на подготовку и публикацию данных для дальнейшей аналитики.

Задача:
Создание многофункционального центра агрегации, обработки и представления данных с обеспечением безопасности обмена корпоративными данными в реальном времени.

Решение:

Структура функциональных компонентов:

Data Broker (Kafka) – обеспечивает обмен данными в реальном времени.
Big Data Platform (Hortonworks/Cloudera Hadoop Data Platform, Hadoop Data Float) – хранит все данные, поступающие через брокер.
Logical Datawarehouse (Tibco Data Virtualization) – логическое хранилище данных, инструмент для формирования отчетов бизнес-пользователями. TDV обеспечивает быстрый доступ к данным оперативному и технического мониторингу.
Data Governance – управление данными, включает качество и безопасность данных.

Результат:
Построена масштабируемая архитектура для обмена данными в реальном времени, 24/7 с допустимой временной задержкой 10 секунд.

Количество обрабатываемых событий в день – 2-3 млн., до 200 событий в секунду.

Задача: Предоставить эффективный инструмент для расчета KPI сотрудников отдела продаж.

Решение:

Построена инфраструктура Azure Cloud. В основу архитектуры легли контейнеры в Azure Blob Storage. Автоматизация процесса загрузки локальных файлов в blob контейнеры вместе с обогащением данных.
Создана модель Azure Analysis Services для подсчета KPI сотрудников на основе бизнес-логики и данных заказчика.
Построение аналитических дашбордов в Power BI, интеграция между Power BI и моделью AAS. Автоматизация процессов загрузки данных за день, пересчёт KPI как отдельных, так и всех сотрудников с учётом даты, метрики, города, отделения.
Создание трёх групп доступа в AD, прописаны правила фильтрации данных в AAS и протестирован процесс перехода пользователя из одной группы в другую.

Результат: Создание мощного инструмента для расчёта KPI сотрудников отдела продаж. Создание модели Azure Analysis Services и аналитических дешбордов в Power BI. Глубокая аналитика с использованием ML, Azure Cognitive Services и данных из EDWH. Обеспечена единая достоверная версия отчетности.

Запросить полную версию решения: