BIG DATA: РОЗШИРЕННЯ КОРПОРАТИВНОЇ СИСТЕМИ ЗБЕРІГАННЯ ДАНИХ

Замовник: Банк

Галузь: Фінансовий сектор

Масштаб: 5000+

Мета проекту:

  • Побудова економічно ефективної системи збереження даних з можливістю аналізу історичних даних будь-якої глибини.
  • Забезпечення паралельної багатопотокової обробки даних.
  • Уніфікація доступу до різноманітних джерел даних з боку BI систем і аналітичних груп.
  • Оптимізація роботи аналітичних підрозділів за рахунок скорочення часу побудови звітів.
  • Зниження пікових навантажень, які виникають під час побудови звітності.

Опис: У замовника в якості EDW було впроваджено рішення від Teradata, подальше розширення системи збереження вимагало значних інвестицій. Доводилося робити вибір між глибиною зберігання даних та економічною ефективністю, перенесення архівних даних на системи, які використовують в якості носія інформації стрічки, унеможливлював їх використання для розширеної аналітики.

Рішення: Запропоновано перенести дані, які рідко використовуються, та частину ETL процесів в Hadoop, а також використовувати віртуалізацію даних.

Архітектура оптимізації Data Warehouse

Результат: Вирішено питання економічно ефективного масштабування ємності зберігання та обчислювальної потужності сховища. ROI> 200% для першого етапу і більше 500% для подальшого розширення. Завдяки віртуалізації даних досягнуто цілісної і гнучкої роботи з даними. Швидкість підготовки даних для аналітики значно зросла, що дозволяє знизити витрати (до 75%) на підготовку і публікацію даних для аналітичних інструментів і додатків.