Loader

Big Data рішення

АМ-БІТС зібрав команду сертифікованих Big Data інженерів, які забезпечують повний цикл розробки, побудови, впровадження та підтримки рішень на базі Apache Hadoop.

Накопичені масиви бізнес-даних повинні забезпечувати гравцям ринку додаткові конкурентні переваги за рахунок більш якісної комунікації з замовником, швидкості реакції на події, прогнозування тощо. Стандартні підходи, засновані на реляційних базах даних та одновузлових обчислювальних ресурсах, часто не в змозі обробляти обсяги архівних даних, а також своєчасно реагувати на потік онлайн-даних.

Наші інноваційні рішення на основі технологій Big Data дозволяють вирішувати бізнес-завдання з управління великими корпоративними даними у найбільш ефективний і економічний спосіб, забезпечуючи наступні переваги:

  • Оптимальне зберігання
  • Своєчасна обробка
  • Аналіз інформації
  • Побудова прогнозів

Наші кейси з напрямку Big Data рішення

Задача:
Розробка економічно ефективного рішення, що дозволяє масштабувати ємності зберігання великих корпоративних даних.

Рішення:

Запропоновано перенести дані, що рідко використовуються та частину ETL процесів у Hadoop, а також використовувати віртуалізацію даних для побудови вітрин представлення для BI.

Результат:
Збільшення ROI на 200% та на 500% для 1 і 2 рівнів відповідно. Зниження витрат до 75% на підготовку та публікацію даних для подальшої аналітики.

Задача:
Створення багатофункціонального центру агрегації, обробки та надання даних із забезпеченням безпеки обміну корпоративними даними в реальному часі.

Рішення:

Структура функціональних компонентів:

  • Data Broker (Kafka) – забезпечує обмін даними в реальному часі.
  • Big Data Platform (Hortonworks / Cloudera Hadoop Data Platform, Hadoop Data Float) – зберігає всі дані, що надходять через брокер.
  • Logical Datawarehouse (Tibco Data Virtualization) – логічне сховище даних, інструмент для бізнес-користувачів для доступу і роботи з даними, також забезпечує швидкий доступ до даних для оперативного моніторингу наскрізного технічного процесу (від збору даних до споживання даних), надає дані для технічного моніторингу.
  • Data Governance – управління даними, включає якість і безпеку даних.

Результат:
Побудована масштабируемая архітектура на Apache Kafka для обміну даними в реальному часі, 24/7. Кількість оброблюваних подій у день – близько 2-3 млн., в секунду – до 200. Оптимізація управління даними, включаючи їх якість та безпеку.

Задача: Надати ефективний інструмент для розрахунку KPI співробітників відділу продажів.
Рішення:
  • Побудована інфраструктура Azure Cloud. В основу архітектури лягли контейнери в Azure Blob Storage. Автоматизація процесу завантаження локальних файлів у blob контейнери разом із збагаченням даних.
  • Створено модель Azure Analysis Services для підрахунку KPI співробітників на основі бізнес-логіки та даних замовника.
  • Побудова аналітичних дашбордів у Power BI, інтеграція між Power BI та моделлю AAS. Автоматизація процесів завантаження даних за день, перерахунок KPI як окремих, так і всіх співробітників з урахуванням дати, метрики, міста, відділення.
  • Створення трьох груп доступу в AD, прописані правила фільтрації даних в AAS та протестований процес переходу користувача з однієї групи в іншу.
Результат: Створення потужного інструменту для розрахунку KPI співробітників відділу продажів. Побудова моделі Azure Analysis Services та аналітичних дешбордів в Power BI. Глибока аналітика з використанням ML, Azure Cognitive Services та даних з EDWH. Забезпечено єдину достовірну версію звітності.

Запросити повну версію:

BDWE - розширення корпоративного сховищаРозробка та побудова корпоративного Data HUBРозрахунок KPI працівників